AWS Batch 专业2016年〜
高效调度和执行批处理计算作业的托管服务
它能做什么
AWS Batch 是一项全托管服务，可高效调度大量批处理作业，并在最优计算资源（EC2 实例或 Fargate）上自动执行。可定义作业依赖关系控制执行顺序，计算资源根据作业量自动扩展。作业队列、调度器和计算环境的管理全部由 AWS 负责。
使用场景
用于机器学习模型训练、大规模数据转换/ETL 处理、视频编码/转码、科学技术计算和仿真、金融风险分析批处理等。特别适合需要并行执行数百到数万个作业的大规模批处理。
日常类比
可以将其比作工厂生产线的管理者。大量订单（作业）进来时，管理者（Batch）确认订单的优先级和依赖关系，准备所需数量的工作台（计算资源），高效分配工作。订单减少时收起工作台，控制不必要的成本。
什么是 AWS Batch
AWS Batch 是一项用于高效运行大规模批处理工作负载的服务。批处理是指将大量数据或任务集中处理的方式，与实时处理不同，不需要即时响应。AWS Batch 管理作业队列和计算资源，按最优顺序执行作业。
作业定义与执行
在 AWS Batch 中，通过作业定义指定要执行的容器镜像、CPU/内存需求和环境变量。将作业提交到作业队列后，Batch 调度器会在适当的计算资源可用时自动启动作业。可定义作业间的依赖关系，例如"作业 B 在作业 A 完成后执行"。
计算环境
AWS Batch 的计算环境支持 EC2 实例和 Fargate 两种。EC2 环境可利用 Spot 实例大幅降低成本（最高可节省 90%）。Fargate 环境无需管理实例，适合希望简化运维的场景。计算环境根据队列中的作业数量自动扩缩。 关于计算环境的选择和优化，可以参考相关书籍（Amazon）。
开始使用
在 AWS Batch 控制台中创建计算环境（选择 Fargate 最为简单），创建作业队列并关联计算环境。然后创建作业定义指定容器镜像和资源需求。提交作业后，Batch 会自动分配资源并执行。可通过 CloudWatch Logs 确认作业的执行日志。
注意事项
- 使用 Spot 实例可大幅降低成本，但 Spot 实例可能被中断，需要设计作业的重试机制
- 作业定义中的 CPU/内存设置过大会导致资源浪费，过小则作业可能失败。请根据实际工作负载适当设置
- 大量作业同时提交时，计算环境的扩展需要几分钟时间。对时间敏感的处理请预先启动计算资源
