Amazon SageMaker AI が推論エンドポイント向けの新しい観測機能を提供

Amazon SageMaker AI は、生成 AI の推論ワークロードを確実に実行できる新しい観測機能を提供する。この機能は、トークン性能、GPU 状態、インフラヘルス、自動スケーリング動作を包括的に可視化し、クラウドウォッチでの手動作業を不要にする。リアルタイムでトークン待ち時間、GPU 使用率、スケーリングイベントなどを監視でき、問題を数分で特定して解決できる。SageMaker AI の事前構築されたダッシュボードがクラウドウォッチに提供され、OpenTelemetry メトリクスを自動公開する。Grafana などのツールにも接続可能で、事前設定されたテンプレートをインポートできる。