SageMaker AI Studio で生成 AI 推論推奨機能が提供開始

Amazon SageMaker AI は、SageMaker AI Studio で生成 AI 推論推奨機能を提供開始した。この機能により、ユーザーは作業負荷を最小限に抑えつつ、最適な推論構成を見つけることができる。ユーザーは使用ケースプロファイルや最適化目標を選択し、SageMaker AI が実際の GPU インフラで複数の構成をベンチマークし、パフォーマンスデータを添えて推奨設定を返す。推奨設定は TTFT、トークン間遅延、スループット、コストの観点からランク付けされ、Studio から直接エンドポイントにデプロイできる。推奨生成には追加料金はかからず、オプティマイズジョブとベンチマーク中のエンドポイントには標準の計算コストが適用される。この機能は複数のリージョンで利用可能となっている。

この更新の位置づけ

この更新は、生成 AI モデルのデプロイを効率化する必要がある開発者やデータサイエンティストに有用である。SageMaker の既存機能を拡張し、推論最適化をより直感的に行えるようにする。