Amazon SageMaker AI インフェレンスが GPU パーティショニングをサポート

Amazon SageMaker AI インフェレンスが GPU パーティショニングをサポートし、1 つの GPU で複数のモデルを実行できるようにする。NVIDIA Multi-Instance GPU (MIG) 技術を使用して、GPU を最大 7 つの分離されたパーティションに分割し、それぞれに独自のメモリとコンピュートを割り当てる。細調整されたバリアントや埋め込みモデル、リランクラー、分類子など、小規模から中規模のモデルを提供する顧客は、これまで各モデルに完全なアクセラレータを割り当てる必要があり、インスタンスが GPU の数だけモデルをホストし、モデルが使用しない GPU キャパシティを支払わなければならなかった。GPU パーティショニングでは、エンドポイントの背後にある GPU の分割方法を選択し、各モデルをそれに合うサイズのパーティションに配置できる。複数のモデルが 1 つのアクセラレータを共有し、ハードウェアで強制された分離により、忙しいモデルが隣のモデルのメモリやスループットを奪うことはない。ワークロードに適切なアクセラレータを右サイズにすることで、1 つのモデルに必要なよりも多くのキャパシティを持つ新しいインスタンス世代も利用可能になる。エンドポイントを作成して推論コンポーネントをホストするときに GPU パーティショニングを構成し、各モデルを名前で呼び出し続けるため、アプリケーションコードは変更されない。GPU パーティショニングは、P4d、P5、G7、G7e インスタンスで US East (N. Virginia)、US East (Ohio)、US West (Oregon)、Asia Pacific (Singapore)、Asia Pacific (Tokyo)、Europe (Frankfurt)、Europe (Ireland) で利用可能。

この更新の位置づけ

小規模から中規模のモデルをホストする顧客にとって、コスト効率とリソースの最適化に役立つ