新機能重要度 中

Amazon SageMaker AI 推論が G7 インスタンスをサポート

Amazon SageMaker AI 推論は NVIDIA RTX PRO 4500 Blackwell Server Edition GPU を搭載した G7 インスタンスをサポートし、最大 4.6 倍の推論性能を実現する

Amazon SageMaker AI 推論が G7 インスタンスをサポートする。これらのインスタンスは NVIDIA RTX PRO 4500 Blackwell Server Edition GPU を搭載し、従来の G6 インスタンスに比べて最大 4.6 倍の AI 推論性能を提供する。G7 インスタンスは 1GPU あたり 32GB の GPU メモリ、5 世代テンソルコア、最大 700Gbps の EFA 対応ネットワーク、最大 7.6TB のローカル NVMe SSD ストレージを備える。これにより、7B～30B パラメータのモデル、画像・動画生成ワークロード、マルチモデル推論エンドポイントに適している。SageMaker AI 推論コンソール、API、SDK を使用して、ml.g7.xlarge から ml.g7.48xlarge までのインスタンスタイプを指定してデプロイできる。

AWS 公式の元記事を読む

関連する記事・用語

Amazon SageMaker機械学習モデルの構築、トレーニング、デプロイを一貫して行えるフルマネージドプラットフォームで、データサイエンティストと ML エンジニアの生産性を大幅に向上させるAmazon Elastic Inference【提供終了】EC2 や SageMaker に GPU アクセラレーターを部分単位で追加した推論高速化サービス。現在は Inferentia (Inf1 / Inf2) や GPU インスタンス、SageMaker AI 推論が受け皿Amazon SageMaker で構築する ML プラットフォーム - モデルの構築からデプロイまでStudio での開発からマネージドスポットトレーニング、Pipelines による MLOps、Model Monitor のデータドリフト検出まで、ML ライフサイクル全体を統合する手法を紹介します。AWS の AI/ML サービス階層構造 - SageMaker・Bedrock・API 型サービスの 3 層が実現する柔軟性AWS の AI/ML サービスを SageMaker (フル制御)、Bedrock (マネージド生成 AI)、Rekognition 等 (API 型) の 3 層構造として整理し、GCP Vertex AI や Azure OpenAI Service との比較を通じて、カスタムシリコンとの統合を含む AWS の柔軟性を解説します。AWS Batch で実行する GPU ベースの機械学習トレーニング - コスト効率の高い大規模学習既存の Docker コンテナで GPU トレーニングを実行し、スポットインスタンスとチェックポイントでコストを最大 90% 削減する。SageMaker との使い分けも紹介します。