Amazon Bedrock Advanced Prompt Optimization がプロンプト短縮をサポート

Amazon Bedrock Advanced Prompt Optimization がプロンプト短縮をサポートするようになった。これはオプション設定で、プロンプトの長さを短縮しつつ評価スコアを維持または向上させる機能である。Advanced Prompt Optimization は、Amazon Bedrock の任意のモデルに対してユーザーの評価基準に基づいてプロンプトを最適化する。これまで最適化は品質のみに焦点を当てており、最適化されたプロンプトは元のプロンプトより長くなる傾向があった。より長いプロンプトは入力トークンのコストを増加させ、初回トークンまでの時間を延長する。これは特に大規模なアプリケーションやレイテンシーが重要なアプリケーションで問題となる。プロンプト短縮を有効にすると、オプティマイザはプロンプトの長さを短縮する。最適化されたプロンプトは、元のプロンプトより短く、評価スコアが同等以上の場合のみ返される。結果には圧縮比と元のプロンプトおよび最適化されたプロンプトのトークン数が含まれる。例えば、圧縮比が 0.7 の場合、最適化されたプロンプトは 30% 少ないトークンを使用する。プロンプト短縮は、ステアリング基準、LLM-as-a-judge ルブリック、カスタム Lambda エバリュエーターを含む任意の評価方法で動作する。プロンプト短縮は、Advanced Prompt Optimization が提供されているすべての AWS リージョンで利用可能である。使用を開始するには、入力データセットでプロンプトテンプレートのプロンプト短縮を有効にし、通常通り最適化ジョブを作成する。

この更新の位置づけ

Amazon Bedrock は AI モデルを呼び出すためのサービスで、プロンプト最適化はモデルのパフォーマンスを向上させる重要な機能である。この更新により、プロンプトのコストとレイテンシーを削減できる。