AWS Data Exchange
通过 AWS Marketplace 订阅第三方数据集并直接导入 S3 或 Redshift 的数据流通服务
概述
AWS Data Exchange 是一个数据流通平台,可通过 AWS Marketplace 搜索和订阅第三方数据提供商发布的数据集,并直接导入 S3 存储桶或 Redshift 集群。提供金融市场数据、气象数据、地理空间数据、医疗数据等 3,000 多种数据产品,数据获取和更新可通过 API 或事件驱动自动化。还具备作为数据提供商发布和销售数据的功能。
数据集与修订版的分发模型
Data Exchange 的数据结构由数据集、修订版和资产三层组成。数据集是逻辑数据单位 (如日频股价数据),修订版是该时间点的快照 (如 2026 年 3 月份),资产是修订版内的单个文件 (如 CSV、Parquet)。提供商发布新修订版后,订阅者自动获得该修订版的访问权限。AWS 文档列出的数据集类型有文件 (S3 快照)、API、Amazon Redshift 数据共享、Amazon S3 数据访问和 AWS Lake Formation 数据权限 (预览版) 5 种 (截至 2026 年 10 月),根据数据性质和使用模式选择。文件适合批量分析。通过与 EventBridge 集成,可在新修订版发布时触发 Lambda 函数,自动执行数据导入管道。
作为提供商的数据发布流程
Data Exchange 不仅支持数据消费,还可作为提供商发布和销售数据。数据产品发布流程为:首先创建数据集并上传资产,确定修订版。然后在 AWS Marketplace 注册为数据产品,定义定价 (月度订阅、年度或免费) 和使用条款。通过 Marketplace 审核后,所有 AWS 用户即可搜索和订阅该数据产品。提供商承诺更新频率 (日频、周频、月频),按计划发布新修订版。修订版发布可通过 API 自动化,并可作为数据管道的最后一步嵌入。订阅管理可追踪谁在访问数据,使用报告可确认收入。私有数据产品功能可仅向特定 AWS 账户发布,用于集团企业间或合作伙伴间的数据共享。
通过 S3、Redshift 和 API 获取数据的模式
订阅者获取数据的代表性方式之一是 S3 导出作业。指定订阅数据集的修订版,将资产导出到自己的 S3 存储桶。导出作业异步执行。在将新修订版自动导出到自己的 S3 存储桶的设置 (自动导出) 中,作业的完成和失败会作为 EventBridge 事件通知,因此可自动触发后续 ETL 处理。Redshift 数据共享类型的数据产品可直接查询提供商的 Redshift 集群数据,无需复制数据。分析工作负载中,还可通过 Redshift Spectrum 执行将 S3 导出数据与 Redshift 数据共享数据联合的查询。API 类型数据产品由订阅者调用 Data Exchange 管理的端点,再由其转发到提供商的 API (API Gateway)。适合汇率、股价等按请求获取数据的场景。Lake Formation 数据权限类型 (预览版) 可获得提供商 Lake Formation 数据湖中数据的访问权限,并从自己的环境进行查询。
参考资料(AWS 官方)
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致,请以官方文档为准。