Amazon Elastic Inference
【已停止服务】曾为 EC2 和 SageMaker 附加部分 GPU 加速器以加速推理的服务。现由 Inferentia（Inf1 / Inf2）、GPU 实例和 SageMaker AI 推理承接
概述
【已停止服务】Amazon Elastic Inference 已停止提供，目前无法使用。以下为服务停用前的介绍。Amazon Elastic Inference 允许将低成本的 GPU 推理加速器附加到 EC2 或 SageMaker 实例，无需使用完整的 GPU 实例即可加速机器学习推理。相比使用 p3 或 g4 等 GPU 实例，可以将推理成本降低最多 75%。
服务终止与迁移方案
Amazon Elastic Inference 已分阶段退役，AWS 现行文档明确写道「Amazon Elastic Inference (EI) is no longer available to customers（不再向客户提供）」。在停止新客户注册时，AWS 官方即建议迁移到性价比更高的硬件加速方案，例如 AWS Inferentia。目前推理工作负载的承接方案包括基于 AWS Inferentia 的 EC2 Inf1 / Inf2 实例、GPU 实例，以及 SageMaker AI 的各类推理选项（实时、无服务器、异步）。本页面作为历史参考资料与迁移指南予以保留。
加速器类型与附加方式
Elastic Inference 提供三种加速器大小：eia2.medium（1 GB GPU 内存）、eia2.large（2 GB）和 eia2.xlarge（4 GB）。加速器通过网络附加到实例，不占用实例的 PCIe 插槽。选择加速器大小时需要考虑模型大小和推理批次大小。对于大多数计算机视觉和 NLP 模型，eia2.medium 或 eia2.large 即可满足需求。
框架集成与推理优化
Elastic Inference 支持 TensorFlow、PyTorch 和 Apache MXNet 框架。使用时需要安装对应的 EI 版本运行时（如 tensorflow-serving-ei）。模型加载后，推理计算自动卸载到附加的加速器上，CPU 处理预处理和后处理。对于 TensorFlow，支持 SavedModel 格式；对于 PyTorch，需要使用 TorchScript 格式。推理延迟取决于模型复杂度和加速器大小。
成本优化与用例设计
Elastic Inference 的核心价值是将 GPU 成本与实例成本解耦。传统方式下，即使推理只需要少量 GPU 算力，也必须使用完整的 GPU 实例。EI 允许选择适合 CPU 工作负载的实例类型，再附加恰好满足推理需求的加速器。适合的场景：推理请求间歇性到达（非持续满载）、模型较小不需要完整 GPU、需要在多个实例上分布式推理。注意：对于持续高吞吐量的推理工作负载，专用 GPU 实例（如 Inf1/Inf2）可能更具性价比。