AWS Data Exchange のアイコン

AWS Data Exchange 专业2019年〜

轻松搜索、订阅和使用第三方数据集的数据市场

它能做什么

AWS Data Exchange 是一项数据市场服务,可以轻松查找、订阅和使用来自第三方数据提供商的数据集。数据提供商将数据集发布到市场,订阅者可以直接将数据传送到自己的 S3 存储桶或通过 API 访问。涵盖金融数据、天气数据、地理空间数据、医疗数据等多个领域的数据集。

使用场景

用于获取金融市场数据进行投资分析、获取天气数据用于需求预测、获取人口统计数据用于市场分析、获取医疗数据用于研究、将第三方数据与自有数据结合进行高级分析等。

日常类比

可以将其比作数据的应用商店。就像在 App Store 中搜索和下载应用一样,在 Data Exchange 中可以搜索和订阅数据集。数据提供商发布数据,消费者订阅后数据会自动传送到自己的环境中,无需复杂的数据传输协商。

什么是 Data Exchange

AWS Data Exchange 是一项简化第三方数据获取的市场服务。传统上,获取外部数据需要与提供商签订合同、协商数据格式和传输方式,过程繁琐。Data Exchange 将这些流程标准化,通过 AWS Marketplace 即可完成数据的发现、订阅和传送。

数据集类型

Data Exchange 提供多种类型的数据集。文件型数据集以 S3 对象形式传送(CSV、JSON、Parquet 等)。API 型数据集通过 REST API 实时访问。数据库型数据集可以直接查询 Redshift 中的数据。Lake Formation 型数据集通过 Lake Formation 权限共享。提供商包括 Reuters、Dun & Bradstreet 等知名数据公司。

数据订阅与更新

订阅数据集后,数据会自动传送到指定的 S3 存储桶。许多数据集定期更新(每日、每周、每月),更新时新数据会自动传送。可以设置 EventBridge 规则在数据更新时触发后续处理(如 Glue ETL 作业)。 关于数据分析的方法,也可以参考相关书籍(Amazon)

开始使用

在 AWS Marketplace 中浏览 Data Exchange 类别的数据集。找到感兴趣的数据集后查看详情(数据样本、更新频率、价格)。订阅后在 Data Exchange 控制台中配置数据传送目标(S3 存储桶)。免费数据集可以立即开始使用,付费数据集在订阅确认后开始传送。

注意事项

  • 数据集的价格由提供商设定,从免费到每月数千美元不等,订阅前请确认价格
  • 订阅的数据集受提供商的使用条款约束,请确认是否允许用于您的用途
  • 数据质量和更新频率因提供商而异,建议先试用免费样本评估后再订阅付费数据集
共有するXB!