AWS Glue

类型: 热门
推出: 2016年

自动化数据抽取、转换和加载的无服务器 ETL 服务

阅读约需 1 分钟最后更新： 2026-05-01

它能做什么

AWS Glue 是自动化从各种数据源抽取数据、转换为适合分析的格式并加载到数据仓库或数据湖的一系列处理 (ETL) 的无服务器服务。无需构建和管理服务器，数据目录功能可自动发现和管理数据的位置和模式 (结构)。内置基于 Apache Spark 的处理引擎，可并行高速执行大规模数据转换。

使用场景

适用于将 S3 中积累的原始数据格式转换并集成到数据湖、构建从多个数据库和应用整合数据的管道、在 Redshift 或 Athena 分析前进行数据清洗和规范化、将日志数据转换为 Parquet 格式以优化查询成本等需要数据预处理和集成的场景。

日常类比

可以将其比作食品加工厂。从农户 (数据源) 送来的蔬菜水果 (原始数据) 形状大小各异。加工厂 (Glue) 自动进行清洗、切割、包装，使其能整齐地摆放在超市货架 (数据仓库) 上。工厂设备只按使用时间收费，不运行时维护费为零。

什么是 Glue

AWS Glue 是 2017 年推出的无服务器数据集成服务。ETL 是 Extract (抽取)、Transform (转换)、Load (加载) 的缩写，指收集分散在不同系统中的数据、整理成易于分析的形式并存储的处理。传统 ETL 工具需要大量精力构建运维服务器和配置作业调度，而 Glue 将这些全部交由 AWS 管理，开发者可专注于数据转换逻辑。

数据目录

Glue 的核心功能之一是数据目录。称为爬虫的功能自动扫描 S3、RDS、Redshift 等数据源，将表定义和模式信息注册到目录中。该目录可被 Athena、Redshift Spectrum、EMR 等其他 AWS 分析服务引用，作为集中管理数据位置和结构的元数据存储。数据添加或变更时，爬虫检测差异并自动更新目录。

ETL 作业机制

Glue 的 ETL 作业在基于 Apache Spark 的分布式处理引擎上运行。可用 Python (PySpark) 或 Scala 编写作业脚本，使用 Glue Studio 的可视化编辑器还可以通过拖放构建 ETL 管道而无需编写代码。作业执行时自动分配所需计算资源，处理完成后释放。定价基于 DPU (Data Processing Unit) 使用时间按量计费。

作业调度与工作流

Glue 内置了管理作业执行计划的调度器和连接多个作业的工作流功能。可用 cron 表达式设置作业定期执行，或定义前置作业成功后才执行下一个作业的依赖关系。使用触发器功能还可以构建以文件到达 S3 为触发自动启动 ETL 作业的事件驱动管道。

入门指南

要开始使用 Glue，首先在 Glue 控制台创建爬虫，指定 S3 存储桶等数据源并执行。爬虫检测数据并在目录中注册表后，在 Glue Studio 中创建可视化 ETL 作业。将源 (输入)、转换 (过滤和列变更)、目标 (输出目的地) 作为节点放置并连接，即可完成 ETL 管道。测试运行确认结果后，设置计划转入定期执行。

注意事项

Pricing is based on DPU usage time, so costs increase with large data transformations. Use small datasets for development and testing
Running crawlers too frequently increases costs. Set appropriate schedules based on data update frequency
Glue Studio's visual editor enables no-code ETL, but for complex transformation logic, writing PySpark scripts directly is more appropriate