Amazon SageMaker HyperPod がモデルキャッシュをサポートし、推論の自動スケーリングを高速化し、コールドスタートを削減

Amazon SageMaker HyperPod がモデルキャッシュをサポートし、クラスターのノードにモデル重みとコンテナイメージを事前読み込みすることで、ポッドの起動を数秒から数分に短縮する推論最適化機能を提供する。LLM 推論を大規模に実行する際のコールドスタートがボトルネックになる問題を解決し、モデルキャッシュは 2 つの機能で対応する。ウェイトキャッシュはモデル重みをローカル NVMe に保存し、ポッドが高速なローカルストレージから読み込むことで、S3 や FSx を経由するネットワーク経由の読み込みを回避する。イメージキャッシュはコンテナイメージを事前読み込みし、ECR のダウンロードを完全にスキップする。ポッドがウォームキャッシュがないノードに配置された場合、自動的に元のソースから読み込むため、ポッドが停止したり失敗したりするリスクはない。57 GB から 145 GB のモデルのベンチマークでは、スケールアウトが約 60% 高速化され、イメージキャッシュによりイメージプル時間が 2 分以上短縮され (97% の削減)、モデルサイズが大きいほど効果が増大する。顧客は HyperPod Inference Operator を介して、InferenceEndpointConfig または JumpStartModel リソースに modelCacheConfig セクションを追加することでモデルキャッシュを有効にする。オペレーターが完全なライフサイクルを管理し、手動の設定やクリーンアップは不要である。モデルキャッシュは、SageMaker HyperPod が提供されているすべてのリージョンで一般提供されている。

この更新の位置づけ

LLM 推論を大規模に実行する際、コールドスタートがパフォーマンスのボトルネックになる問題を解決する機能。特に大規模なモデルを使用するケースで効果が高い