Amazon SageMaker HyperPod が Ray のサポートを強化

Amazon SageMaker HyperPod は Ray のサポートを強化し、統合された監視機能、回復可能なトレーニング、加速された推論、および管理された開発環境を提供する。データ科学者は SageMaker Studio のウェブベースのインターフェースから Ray クラスターを作成、編集、監視、削除でき、JupyterLab やコードエディターをクラスターにアタッチして対話的に作業できる。HyperPod は Grafana ダッシュボードをプロビジョニングし、Prometheus にメトリクスを記録し、Ray ダッシュボードへの安全なアクセスを提供する。トレーニングではノードの自動回復やハングしたジョブの検出が GPU 故障やジョブ停止に対処し、階層型チェックポイントやタスク管理でコンピュートリソースを最適化する。Ray Serve では階層型 KV キャッシュで最初のトークンの時間を短縮し、SageMaker JumpStart モデルを直接デプロイできる。Ray のコードは変更せずに、SageMaker Studio で専用環境を使用するか、個別の機能を自らの ML プラットフォームに統合できる。

この更新の位置づけ

この更新は、Kubernetes 上で Ray を運用する際の運用負荷を軽減し、開発効率とトレーニングの信頼性を向上させることを目的としたものです