Amazon SageMaker HyperPod がモデルキャッシュをサポートし、推論の自動スケーリングを高速化し、コールドスタートを削減

Amazon SageMaker HyperPod がモデルキャッシュをサポートし、クラスターのノードにモデル重みとコンテナイメージを事前読み込みすることで、ポッドの起動を数秒から数分に短縮する。LLM 推論などの大規模ワークロードで、コンテナイメージやモデル重みのダウンロードがボトルネックとなっていた問題を解決する。モデルキャッシュは、モデル重みをローカル NVMe に格納して高速なローカルストレージから読み込む「重みキャッシュ」と、コンテナイメージを事前ダウンロードして ECR のダウンロードをスキップする「イメージキャッシュ」の 2 つの機能で構成される。57 GB から 145 GB のモデルに対するベンチマークでは、スケールアウトが約 60% 高速化され、イメージキャッシュによりイメージプル時間が 2 分以上短縮 (97% 削減) された。モデルサイズが大きいほど効果は増大しつつも、元のソースパスによる信頼性は維持される。顧客は HyperPod Inference Operator を使用して、InferenceEndpointConfig または JumpStartModel リソースに modelCacheConfig セクションを追加することでモデルキャッシュを有効にできる。オペレーターがライフサイクル全体を管理し、手動での設定やクリーンアップは不要である。モデルキャッシュは、SageMaker HyperPod が提供されているすべてのリージョンで一般提供されている。

この更新の位置づけ

大規模な LLM 推論やチャットアシスタント、RAG、ドキュメント分析などのワークロードで、モデルキャッシュはコールドスタートを解消し、応答時間を大幅に改善する