Amazon SageMaker AI がサーバーレスモデルカスタマイズジョブでカスタムシーケンス長をサポート

Amazon SageMaker AI は、サーバーレスモデルカスタマイズジョブで使用するシーケンス長を構成できる機能を発表した。この機能により、gpt-oss、Gemma、Llama、Nemotron、Qwen などの人気モデルファミリーでファインチューニングが可能になる。従来は固定のシーケンス長しかなかったが、今回のアップデートで、ユーザーは SFT および DPO ジョブでは dataset_max_len ハイパーパラメーター、RFT ジョブでは max_prompt_length および max_response_length ハイパーパラメーターを設定できる。これにより、短い質問と回答のペアから多ページのドキュメントまで、トレーニングデータの特性に合わせて制御が可能になる。多くのモデルで、公開されている最大値は最大 16K トークンまでである。サーバーレスモデルカスタマイズは、US East (N. Virginia)、US West (Oregon)、Asia Pacific (Tokyo)、Europe (Ireland) で利用可能。詳細は SageMaker AI ドキュメンテーションを参照。

この更新の位置づけ

この変更は、LLM のファインチューニングを行うユーザーに影響する。特に、長いテキストデータやドキュメント処理が必要なケースで有用。