AWS Neuron 2.32 が NKI の拡張、MXFP8 トレーニングカーネル、Trn2/Trn 用の可変サイズコレクティブを導入

AWS Neuron 2.32.0 が提供開始された。このバージョンでは、NKI 0.6.0 が導入され、デバイス上の top-K 命令や、異なるサイズのテンソルを保持するランク用の可変長 all-gather、データ依存ループ構造が追加された。また、Mixture of Experts (MoE) トレーニングとスパース注意用に 13 の新しい NKI ライブラリカーネルが追加され、Trn2 および Trn3 で可変サイズの all-gather、reduce-scatter、および all-to-all コレクティブがサポートされた。vLLM Neuron プラグインが vLLM 0.24.0 に更新され、Neuron Deep Learning AMI およびコンテナに含まれるようになった。

この更新の位置づけ

この更新は、Trn2 および Trn3 インスタンスを使用するユーザー、特に大規模なトランスフォーマーモデルや MoE モデルをトレーニングするユーザーに影響する