Amazon SageMaker AI、ジェネレーティブ AI の推論スケールアウト時間を最大半分に短縮

Amazon SageMaker Inference がコンテナイメージキャッシュを導入し、ジェネレーティブ AI モデルのスケールアウトイベント中のエンドツーエンドスケーリングを最大 2 倍高速化する。この機能により、スケールアウト時にサービスがコンテナイメージを事前キャッシュし、新しいインスタンスが Amazon ECR から画像を引き出すことなくトラフィックの提供を始められる。従来、スケールアウト中に起動された新しいインスタンスは深層学習フレームワークやモデルサービング用に 10 GB 以上の大きなコンテナイメージを ECR から引き出す必要があり、数分のコールドスタートラテンシーが発生していた。コンテナイメージキャッシュはこのボトルネックを解消し、新しいインスタンスがコンテナをローカルで利用可能な状態で起動できるようにする。顧客は変更を必要とせず、サービスがエンドポイントまたは推論コンポーネント構成で指定された画像 URI を自動的にキャッシュする。この機能はアクセラレータインスタンスタイプ、単一モデルのエンドポイント、および推論コンポーネントベースのエンドポイントをサポートする。SageMaker Inference は現在、ジェネレーティブ AI 向けにサブ分のコンカレンシーメトリクスによる最大 6 倍のロード検出速度、インスタンスストアコンテナキャッシュによる既存インスタンスでのより速いスケーリング、および新しいインスタンスでの最大 2 倍のスケーリングを実現する包括的なスケーリング最適化スイートを提供している。この機能は、SageMaker Inference がサポートされているすべての AWS 商用リージョンで利用可能である。