使用 AWS Data Exchange 活用第三方数据 - 数据采购与订阅管理

通过 Marketplace 采购第三方数据产品,构建自动配送到 S3 的管道。介绍自有数据的产品化和变现方法。

Data Exchange 的机制

AWS Data Exchange 提供 3,500 多个数据产品,是在 AWS 上采购和配送第三方数据集的服务。数据提供商发布数据产品,数据消费者订阅,与 AWS Marketplace 集成。传统第三方数据采购需要单独的合同谈判、API 集成开发和数据格式转换,Data Exchange 将这些简化为几次点击即可完成。

数据采购与自动导入

从 AWS Marketplace 的数据类别搜索目标数据集并签订订阅合同。也提供大量免费数据集,可从试用开始。订阅的数据集发布新修订版(更新版)时,EventBridge 会发送事件。通过 Lambda 函数接收事件并将新修订版数据导出到 S3,构建自动导入管道。导入的数据可直接用 Athena 查询或加载到 Redshift 进行分析。 关于数据市场的详细信息,可参考相关书籍 (Amazon)

数据产品的发布与变现

也可将自有数据在 Data Exchange 上发布,通过 AWS Marketplace 销售。数据产品由数据集、修订版和资产(实际文件或 API)构成。定价可选择订阅(月付/年付)或按修订版的按量计费。AWS Marketplace 代理合同管理、计费和支付处理,数据提供商可专注于数据质量的维护。API 类型的数据产品可提供实时数据访问。

Data Exchange 的费用

Data Exchange 本身的使用费免费,成本是订阅的数据产品价格。数据产品价格由提供商设定,从免费数据集到每月数千美元的高级数据广泛提供。数据导出到 S3 不产生额外费用,但 S3 存储费用另行计算。作为数据提供商发布产品时,AWS Marketplace 收取销售额的一定比例作为手续费。

总结

AWS Data Exchange 是通过 Marketplace 采购第三方数据并自动配送到 S3 的服务。EventBridge 联动实现数据更新的自动导入,Athena 和 Redshift 联动实现即时分析。也可将自有数据产品化并通过 Marketplace 变现。