Amazon EMR Serverless 图标

Amazon EMR Serverless

类型
专业
推出
2022年

无需集群管理即可以无服务器方式运行 Spark 和 Hive 作业的服务

它能做什么

Amazon EMR Serverless 是无需管理集群即可运行 Apache Spark 和 Hive 作业的无服务器服务。只需提交作业,资源即自动预置,仅按执行时间和资源使用量计费。无需集群大小和扩缩容配置。

使用场景

适用于定期 ETL 批处理、S3 数据湖上的即席查询、作为数据管道一部分的 Spark 作业执行等希望省去集群管理工作的大数据处理场景。

日常类比

可以将其比作出租车。EMR (集群版) 相当于购买和维护自有车辆,而 EMR Serverless 只需叫一辆出租车就能到达目的地。无需管理车辆,只需支付乘车费用。

什么是 EMR Serverless

Amazon EMR Serverless 是以无服务器方式执行大数据处理的服务。EMR on EC2 需要决定集群的实例类型和节点数量,而 EMR Serverless 只需提交作业即可自动分配资源。作业完成后资源释放,不产生空闲成本。

应用程序与作业运行

在 EMR Serverless 中首先创建应用程序,选择 Spark 或 Hive 运行时。向应用程序提交作业运行后,所需的 vCPU 和内存会自动预置。设置预初始化工作器可预先池化工作器,将作业启动时间缩短到数秒。

入门指南

在 EMR 控制台选择「创建无服务器应用程序」,指定运行时 (Spark/Hive)。应用程序创建后,指定 S3 上的脚本和数据提交作业运行。与 Glue Data Catalog 集成后可共享表元数据执行查询。

注意事项

  • Pay-per-use pricing based on execution time and resource usage makes it cost-effective for short batch jobs
  • For long-running interactive workloads, EMR on EC2 may be more cost-effective

可用区域

Amazon EMR Serverless 可在 37 个区域使用 (截至 2026-10-09)。

亚太地区:香港、台北、东京、首尔、大阪、孟买、海得拉巴、新加坡、悉尼、雅加达、墨尔本、马来西亚、新西兰、泰国

北美:加拿大 (中部)、加拿大西部 (卡尔加里)、墨西哥 (中部)、美国东部 (弗吉尼亚北部)、美国东部 (俄亥俄)、美国西部 (加利福尼亚北部)、美国西部 (俄勒冈)

南美洲:圣保罗

欧洲:法兰克福、苏黎世、斯德哥尔摩、米兰、西班牙、爱尔兰、伦敦、巴黎

AWS 欧洲主权云:德国

中东:以色列 (特拉维夫)、阿联酋、巴林

非洲:开普敦

AWS GovCloud (美国):AWS GovCloud (美国东部)、AWS GovCloud (美国西部)

查看按区域的服务一览

参考资料(AWS 官方)

本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。

如本页内容与官方文档不一致,请以官方文档为准。

分享