AgentCore Gateway が Bedrock InvokeModel API とモデルフォールバックをサポート

Amazon Bedrock AgentCore Gateway は、推論エンドポイントで Amazon Bedrock の InvokeModel および InvokeModelWithResponseStream API をサポートし、モデルフォールバックルーティングも提供する。これにより、既存の Amazon Bedrock SDK インテグレーションを変更せずに、1 つの管理されたエンドポイントを通じて任意のモデルプロバイダーにアクセスできる。モデルフォールバックでは、ゲートウェイがプライマリ先がスロットリング、キャパシティ不足、または到達不能な場合に自動的にリクエストを代替モデルまたはプロバイダーにルーティングし、エージェントが利用可能状態を維持できるようにする。フォールバックルーティングでは、ゲートウェイルールで代替先を順序付きで定義し、スロットリングやサーバーエラー、応答タイムアウトなどの条件で切り替える。内蔵のサーキットブレーカーが現在失敗している先をスキップし、リクエストが健全な先に到達するまでの遅延を避ける。フォールバックルーティングは内部で処理され、1 つのリクエストを送信して 1 つのレスポンスを受け取るだけでよく、リクエストごとの内部の試行錯誤は不要である。これらの機能は、Amazon Bedrock AgentCore Gateway が提供されているすべての AWS リージョン (中国を除く) で利用可能である

この更新の位置づけ

開発者は、既存の Amazon Bedrock SDK を変更せずに、複数のモデルプロバイダーにアクセスできる。これにより、エージェントの可用性を向上し、リトライロジックの実装を簡素化できる