借助 AWS Data Exchange 利用第三方数据 - 数据采购与订阅管理
通过 Marketplace 采购第三方数据产品，并构建向 S3 自动配送的管道。还介绍将自有数据产品化并实现变现的方法。
Data Exchange 的机制
AWS Data Exchange 是一项提供 3,500 个以上数据产品、在 AWS 上采购 / 配送第三方数据集的服务。其机制是由数据提供商发布数据产品、由数据消费者进行订阅，并与 AWS Marketplace 集成。过去，采购第三方数据需要逐一进行合同谈判、开发 API 对接以及转换数据格式，而在 Data Exchange 中这些都已标准化。数据以 S3 文件、API、Amazon Redshift 表、AWS Lake Formation 表的形式提供，订阅后可以在自己的 AWS 账户内直接访问。
数据采购与自动导入
在 AWS Marketplace 的数据类别中搜索目标数据集，并订购订阅。还提供了大量免费数据集，可以从试用开始。所订阅数据集的新修订版（更新版）发布后，会向 EventBridge 发送事件。可以构建这样的自动导入管道：由 Lambda 函数接收事件，并将新修订版的数据导出到 S3。配送到 S3 的数据可以用 Athena 直接查询，也可以用 Glue ETL 转换后加载到 Redshift，或者用作 SageMaker 的训练数据。
数据产品的发布与变现
也可以在 Data Exchange 上发布本公司持有的数据，并通过 AWS Marketplace 销售。数据产品由数据集、修订版和资产（实际的文件或 API）构成。定价可以在订阅（按月/按年）和按修订版计费的按量付费之间选择。由于 AWS Marketplace 代为处理合同管理、计费和付款，数据提供商可以专注于数据的质量与更新。发布前需要实施数据质量检查和隐私确认，验证其中不包含个人信息。
Data Exchange 的费用
Data Exchange 本身的使用费用免费，费用为所订阅数据产品的价格。数据产品的价格由提供商设定，提供范围很广，从免费数据集到每月数千美元的高级数据都有。将数据导出到 S3 不产生额外费用，但 S3 的存储费用需另行支付。作为数据提供商发布产品时，AWS Marketplace 的手续费会按销售额的一定比例扣除。推荐采用分阶段的方法：先通过免费数据集了解 Data Exchange 的机制，再针对已确认具有业务价值的数据考虑付费订阅。
数据产品的提供形式
Data Exchange 的数据产品有几种提供形式。通过 S3 以文件形式接收的形式，适合导入定期更新的数据集。每次通过 API 查询的形式，适合希望实时参考最新值的场合。也有可以直接从数据仓库使用的形式。不同的形式，导入机制、更新频率以及嵌入应用程序的方式都会不同。结合想要使用的数据的性质及其与本公司分析平台的契合度，选择易于处理的提供形式的产品，会带来顺畅的数据利用。
数据治理与质量
使用从外部采购的数据时，确认其质量和使用条件很重要。判断数据的来源、更新频率和覆盖范围对于本公司的用途是否充分。许可条件规定了可使用的范围以及能否再分发，因此理解并遵守合同内容。对导入的数据检查是否存在缺失值或异常值，并在与本公司数据对照之前确认其一致性。在重视数据新鲜度的分析中，掌握更新的时机，避免依据过时的数据做出判断。将外部数据的质量管理纳入运维，是可靠分析的前提。
融入分析平台
Data Exchange 的价值在于能够将采购的数据顺畅地导入本公司的分析。文件形式的产品可以设置为更新后自动配送到 S3，并以到达为契机启动后续处理。如果将导入的数据注册到数据目录，就可以从 Athena 等查询引擎跨本公司数据和外部数据进行分析。将市场数据、人口统计、气象数据等外部信息与本公司数据相结合，会产生单独无法获得的洞察。构建从采购到分析全程自动化的管道，将使外部数据利用的效果最大化。
提供自有数据时的考虑
借助 Data Exchange，企业也可以成为将自身持有的数据作为产品提供的一方。将数据商品化时，适当设计订阅者的管理以及谁能访问哪些范围的权限控制。对数据进行加工和匿名化，使所提供的数据不包含个人信息或敏感信息，确保合规。还需要持续交付数据更新的机制，并明示使用条款。在将数据作为资产变现的同时，提供数据也伴随着责任，因此建立兼顾质量维护与法规遵守的体制，是成为值得信赖的提供者的条件。
总结
Data Exchange 是将第三方数据的采购与配送标准化的服务。它与 AWS Marketplace 集成，将金融数据、气象数据、地理空间数据等直接配送到 S3。通过数据集订阅接收自动更新，并可以用 Athena 或 Redshift 立即分析。也可以作为数据提供商用于将自有数据变现。
参考资料（AWS 官方）
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致，请以官方文档为准。