Amazon SageMaker HyperPod が分離型プレフィルとデコードをサポート

Amazon SageMaker HyperPod は、分離型プレフィルとデコード (DPD) をサポートする。DPD は、LLM の推論フェーズであるプレフィルとデコードを専用 GPU プールに分離し、Elastic Fabric Adapter (EFA) を介して KV キャッシュを転送する。これにより、プレフィルとデコードが同じリソースで競合しなくなり、一貫したトークンごとの遅延と高いスループットを実現する。コンピュート集約型プレフィルとメモリ帯域幅集約型デコードを独立にスケールできる。インテリジェントルーターが自動的に長コンテキストリクエストを分離パスに転送し、短いプロンプトは直接デコーダーに送る。DPD は、HyperPod 推論オペレーターの `InferenceEndpointConfig` カスタムリソースに `pdSpec` セクションを追加することで有効化できる。DPD は、EFA 対応インスタンスタイプを使用する EKS オーケストレーターの SageMaker HyperPod クラスターで利用可能である。