Amazon Elastic Inference
【提供終了】EC2 や SageMaker に GPU アクセラレーターを部分単位で追加した推論高速化サービス。現在は Inferentia (Inf1 / Inf2) や GPU インスタンス、SageMaker AI 推論が受け皿
概要
【提供終了】Amazon Elastic Inference は提供を終了しており、現在は利用できません。以下は提供当時の解説です。Amazon Elastic Inference は、EC2 インスタンスや SageMaker エンドポイントに GPU ベースの推論アクセラレーターをアタッチし、機械学習モデルの推論コストを最大 75% 削減するサービスです。フル GPU インスタンス (p3、g4dn) を使用する場合、推論ワークロードでは GPU の計算能力が余剰になりがちですが、Elastic Inference は必要な分だけの GPU リソースを追加する仕組みにより、コストとパフォーマンスの最適なバランスを実現します。TensorFlow、PyTorch、MXNet の主要フレームワークに対応しています。
提供終了と移行先
Amazon Elastic Inference は段階的に縮小され、現在は AWS 公式ドキュメントに「Amazon Elastic Inference (EI) is no longer available to customers (顧客への提供は終了)」と明記されています。新規受付の停止時点で AWS は「AWS Inferentia など、より価格性能に優れたハードウェアアクセラレーションへの移行」を公式に推奨していました。現在の推論ワークロードの受け皿は、AWS Inferentia ベースの EC2 Inf1 / Inf2 インスタンス、GPU インスタンス、そして SageMaker AI の各種推論オプション (リアルタイム / サーバーレス / 非同期) です。本ページは提供当時の仕様を記録した歴史的資料 + 移行ガイドとして残しています。
アクセラレータータイプとアタッチ方式
Elastic Inference は eia2.medium (1GB GPU メモリ)、eia2.large (2GB)、eia2.xlarge (4GB) の 3 サイズのアクセラレーターを提供します。アクセラレーターは EC2 インスタンスの起動時にアタッチし、VPC 内のプライベートリンク経由で接続されます。CPU インスタンス (c5、m5 など) にアクセラレーターを追加する構成が典型的で、たとえば c5.xlarge + eia2.medium の組み合わせは、p3.2xlarge と同等の推論スループットを約 1/3 のコストで実現します。モデルのサイズと推論レイテンシの要件に応じてアクセラレーターサイズを選択し、GPU メモリにモデルが収まるサイズを選ぶことが重要です。SageMaker エンドポイントでは、エンドポイント設定でアクセラレータータイプを指定するだけで自動的にアタッチされ、推論リクエストの GPU 処理部分がアクセラレーターにオフロードされます。
フレームワーク統合と推論最適化
Elastic Inference は TensorFlow Serving、PyTorch、Apache MXNet の推論ランタイムと統合されています。TensorFlow の場合、SavedModel 形式のモデルをそのまま使用でき、コード変更なしで GPU アクセラレーションが適用されます。推論グラフの中で GPU で高速化可能なオペレーション (畳み込み、行列乗算、活性化関数) は自動的にアクセラレーターで実行され、それ以外のオペレーションは CPU で処理される分割実行が透過的に行われます。モデルの量子化 (FP32 → FP16 や INT8) と組み合わせることで、アクセラレーターのメモリ使用量を削減しつつ推論スループットをさらに向上させることが可能です。バッチ推論では、複数のリクエストをまとめて GPU に送信するバッチング戦略により、アクセラレーターの利用効率を最大化できます。
コスト最適化とユースケース別設計
Elastic Inference の最大の価値は、推論ワークロードのコスト最適化です。トレーニングには大量の GPU 計算が必要ですが、推論は 1 リクエストあたりの計算量が少なく、フル GPU インスタンスでは GPU 利用率が 10-30% に留まることが多いです。Elastic Inference はこの非効率を解消し、必要最小限の GPU リソースのみを課金対象とします。リアルタイム推論 (画像分類、自然言語処理、レコメンデーション) では、レイテンシ要件を満たす最小のアクセラレーターサイズを選択し、Auto Scaling でインスタンス数を調整する設計が効果的です。コンピュータビジョンのモデル (ResNet、YOLO) では eia2.medium で十分な場合が多く、大規模言語モデルの推論では eia2.xlarge が必要になります。CloudWatch メトリクスでアクセラレーターの GPU 利用率を監視し、常時 80% を超える場合はサイズアップ、30% 以下の場合はサイズダウンを検討します。
参考資料 (AWS 公式)
本ページの一次情報は AWS 公式サイトおよび公式ドキュメントです。最新の仕様 / 料金は次の公式ページで確認できます。
本ページと公式ドキュメントの記述が食い違う場合は、公式ドキュメントを正としてください。