使用 Amazon AppFlow 实现 SaaS 数据集成 - 与 Salesforce、Slack、Google Analytics 的整合

将 Salesforce 和 Slack 的数据以零代码方式同步到 S3 和 Redshift。介绍事件驱动触发器、PII 脱敏以及通过 PrivateLink 实现的安全传输。

AppFlow 的特点与使用场景

AppFlow 配备 50 多个 SaaS 连接器,是一项以零代码方式构建 SaaS 应用与 AWS 服务之间数据传输的服务。单个流最多可传输 100 GB 数据。以往将 Salesforce 数据同步到 S3 需要编写 API 客户端、管理认证令牌、处理分页和错误处理。使用 AppFlow 只需在控制台选择连接目标,指定要传输的对象和字段即可完成流的创建。典型使用场景包括:将 Salesforce 商机数据同步到 Redshift 用于 BI 分析、将 Zendesk 工单数据积累到 S3 作为机器学习训练数据、将 Slack 消息发送到 EventBridge 触发工作流等。

流设计与数据转换

流由源(SaaS)、目标(AWS 服务)、触发器和字段映射组成。触发器可选择按需(手动执行)、定时(每小时、每天、每周)或事件(源端数据变更)。Salesforce 的事件驱动触发器可实时检测记录的创建和更新并执行流。字段映射中可对应源和目标的字段,并插入数据转换任务。支持脱敏(PII 哈希化)、截断(字符串长度限制)、算术运算、字段合并与拆分。还可通过验证任务检验字段值,排除不满足条件的记录。

安全性与私有连接

AppFlow 使用 TLS 加密传输中的数据,存储数据可使用 KMS 客户托管密钥加密。对于支持 AWS PrivateLink 的 SaaS(Salesforce、Slack 等),数据不经过公共互联网,在 AWS 私有网络内传输。这对金融机构和医疗机构等对数据传输路径有严格要求的场景非常有效。所有流的执行历史均有记录,可查看传输的记录数、错误数和执行时间。建议通过 CloudWatch 指标监控流的成功率,并设置失败时通过 SNS 通知的告警。 如需深入了解 AppFlow,也可参考Amazon 上的相关书籍

AppFlow 的定价

AppFlow 的费用由流的执行次数和处理的数据量构成。每次流执行约 0.001 美元,数据处理约每 GB 0.02 美元。使用 Salesforce 事件驱动触发器按记录级别频繁执行流时,执行次数会累积,因此与批处理(定时触发器每小时差量同步)的合理搭配非常重要。通过 PrivateLink 传输不产生额外费用,但 PrivateLink 接口端点费用需另行支付。没有免费额度,从首次使用即按量计费。

总结

AppFlow 是一项以零代码方式构建 SaaS 与 AWS 之间数据集成的服务。提供 50 多个 SaaS 连接器、声明式数据转换和通过 PrivateLink 的安全传输,消除了自定义 API 客户端的开发和维护成本。适用于将 SaaS 数据汇聚到数据湖以及与事件驱动架构的集成。