Amazon SageMaker HyperPod Inference Gateway が大規模 LLM 推論用に提供開始

Amazon SageMaker HyperPod Inference Gateway は、既存の SageMaker HyperPod インフラ上で EKS マネージドアドオンとしてデプロイされる Kubernetes ネイティブの GPU 認識ルーティングシステムであり、アプリケーションコードの変更は不要です。従来の無知なラウンドロビン負荷分散を、リアルタイムの推論信号に基づくルーティングに置き換えることで、ミックスハードウェアおよびバーストトラフィックシナリオでファーストトークン遅延を最大 82% 削減し、p99 TTFT を 97-98% 削減します。このゲートウェイは 3 つのコアコンポーネントで構成されています。Envoy エンドポイントは HTTPS トラフィックを終了し、クラスターあたり 1 つのプライベートエンドポイントを公開します。ボディベースルーターは、各受信リクエストからモデル名を直接読み取り、正しい GPU プールにルーティングします。これにより、1 つのエンドポイント URL で多くのモデルを 1 つのゲートウェイで提供し、クライアント側変更は不要になります。エンドポイントピッカーは、KV キャッシュの使用率、キューの深さ、LoRA アダプターのレジデンシー、プレフィックスキャッシュヒット率、予測遅延、実行中のリクエストという 6 つの推論レベル信号にわたって各モデルサーバーポッドをリアルタイムにスコアリングし、各リクエストに最適なポッドを選択します。このゲートウェイは vLLM や SGLang を含む OpenAI 互換のモデルサーバーと任意に動作し、アプリケーションコードの変更は不要です。現在、クラスターごとのルーティングは SageMaker HyperPod 推論アドオンがサポートされているすべての AWS リージョンで利用可能です。近日中に、集中型フリートゲートウェイによるクロスクラスターおよびクロスリージョンルーティング、グローバルレート制限、コストティア認識トラフィックシェーピングが提供されます。

この更新の位置づけ

大規模な言語モデル (LLM) の推論パフォーマンスを向上させるための新しいルーティングシステム。既存の SageMaker HyperPod インフラに統合され、アプリケーションコードの変更なしでリアルタイムの推論信号に基づく最適なリクエストルーティングを提供します。