Amazon SageMaker HyperPod が Slurm オーケストレーションクラスターでパーティション単位のネットワークトポロジーをサポート

Amazon SageMaker HyperPod は、Slurm オーケストレーションクラスターでパーティション単位のネットワークトポロジー設定をサポートする。単一のクラスターで、一つのパーティションはツリートポロジー、もう一つのパーティションはブロックトポロジーを実行でき、それぞれのパーティションはインスタンスタイプに最適なトポロジーを利用する。これにより、ジョブ配置が各インスタンスタイプの相互接続特性に合致し、GPU 間通信が速くなり、NCCL コレクティブ操作が効率的になり、トレーニングスループットが向上する。HyperPod は、コンピュートインスタンスグループのインスタンスタイプに基づいて各パーティションのトポロジーを決定する。ml.p6e-gb200.36xlarge などの Amazon EC2 UltraServer インスタンスタイプを持つパーティションはブロックトポロジーを、ml.p5.48xlarge や ml.p5e.48xlarge などの階層的相互接続インスタンスタイプを持つパーティションはツリートポロジーを使用する。ネットワークトポロジー情報を提供しないインスタンスタイプを持つパーティションは完全にスケジューラ可能である。HyperPod は、クラスターのスケールアップ、スケールダウン、ノード交換イベントを通じてこの設定を自動的に維持するため、各パーティションのトポロジーは常にクラスターの現在の状態を反映する。使用するには、サポートされている GPU インスタンスタイプを実行する Slurm 25.11 以降の SageMaker HyperPod Slurm クラスターを作成または更新する。トポロジー意識のあるスケジューリングはデフォルトで有効で、設定は必要ない。この機能は、Amazon SageMaker HyperPod がサポートされているすべての AWS リージョンで利用できる