Amazon SageMaker
機械学習モデルの構築、トレーニング、デプロイを一貫して行えるフルマネージドプラットフォームで、データサイエンティストと ML エンジニアの生産性を大幅に向上させる
概要
Amazon SageMaker は、機械学習 (ML) のワークフロー全体をカバーするフルマネージドプラットフォームです。Jupyter ノートブック環境 (SageMaker Studio) でのデータ探索と前処理、組み込みアルゴリズムやカスタムコンテナによるモデルトレーニング、ワンクリックでのモデルデプロイ (リアルタイム推論エンドポイント、バッチ変換、サーバーレス推論) を提供します。SageMaker Autopilot は、データセットを指定するだけで最適なモデルを自動的に構築する AutoML 機能です。SageMaker Canvas はノーコードの ML ツールで、プログラミング不要で予測モデルを構築できます。
ML ワークフローの統合環境
SageMaker Studio は、ML ワークフローのすべてのステップを統合した IDE です。データの前処理 (SageMaker Data Wrangler)、特徴量の管理 (Feature Store)、モデルのトレーニング、ハイパーパラメータの自動チューニング、モデルの評価、デプロイ、モニタリングを一つの環境で行えます。トレーニングジョブは、指定したインスタンスタイプ (CPU、GPU、Trainium) で実行され、完了後にインスタンスは自動的に終了します。Spot インスタンスを使用すれば、トレーニングコストを最大 90% 削減できます。分散トレーニングにも対応しており、複数の GPU インスタンスにデータとモデルを分散して大規模なモデルをトレーニングできます。
推論エンドポイントの選択肢
SageMaker は 4 種類の推論オプションを提供します。リアルタイム推論エンドポイントは、常時稼働のインスタンスでミリ秒単位のレイテンシで推論を返します。バッチ変換は、大量のデータに対してオフラインで推論を実行します。サーバーレス推論は、リクエストがない時間帯はコストゼロで、リクエスト到着時に自動的にスケールします。非同期推論は、処理に時間がかかる大きなペイロード (画像、動画) の推論に適しています。リアルタイムエンドポイントのコストが課題になる場合、マルチモデルエンドポイントを使用すれば、1 つのエンドポイントに複数のモデルをロードし、リクエストに応じて動的にモデルを切り替えることでコストを削減できます。Azure の対応サービスは Azure Machine Learning で、同様にエンドツーエンドの ML プラットフォームを提供します。
実務での活用パターン
SageMaker の実務での活用は、需要予測、不正検知、レコメンデーション、自然言語処理、画像認識など多岐にわたります。SageMaker Pipelines は、ML ワークフローを CI/CD パイプラインとして定義し、モデルの再トレーニングとデプロイを自動化する機能です。データが更新されるたびにパイプラインが自動実行され、新しいモデルがトレーニングされ、評価基準を満たせば自動的にデプロイされます。SageMaker Model Monitor は、デプロイ済みモデルの推論品質を継続的に監視し、データドリフト (入力データの分布変化) やモデルの精度低下を検出します。SageMaker の基礎から応用まで、書籍 (Amazon)で体系的に学べます。