Amazon SageMaker JumpStart に langcache-embed-v3-small、Mellum2-12B-A2.5B-Thinking、LightOnOCR-2-1B モデルが追加

Redis の langcache-embed-v3-small、JetBrains の Mellum2-12B-A2.5B-Thinking、LightOn の LightOnOCR-2-1B の 3 つのモデルが Amazon SageMaker JumpStart で利用可能になった。これらのモデルは、セマンティックキャッシュ最適化、コードに焦った推論、エンドツーエンドの文書 OCR という専門的な機能を提供し、AWS 顧客が高性能でスケーラブルな AI ソリューションを構築できるようにする。langcache-embed-v3-small は LLM アプリケーションのセマンティックキャッシュに最適化されており、文や段落を密なベクトル空間にマッピングし、意味的に同等のクエリを識別する。これにより、高負荷の推論ワークロードで不要な LLM 呼び出しを減らし、応答時間を高速化する。Mellum2-12B-A2.5B-Thinking はコード生成、デバッグ、多段階推論、エージェント型コーディングワークフローに優れ、Mixture-of-Experts アーキテクチャ (64 の専門家、トークンあたり 8 がアクティブ) を採用し、12B パラメータのうちフォワードパスごとに 2.5B のみをアクティブ化する。131,072 トークンのコンテキスト長を持ち、最終回答前に明示的なチェーンオブソート推論トレースを発生させ、高スループット、低レイテンシーの推論を提供する。LightOnOCR-2-1B は PDF、スキャン画像、画像のマルチリンガルな文書からテキストへの変換をエンドツーエンドで提供し、脆弱な OCR パイプラインを必要としない。この 1B パラメータのビジョン言語モデルは、ページ画像を直接クリーンで自然な順序のテキストに変換し、OlmOCR-Bench で最先端のパフォーマンスを達成し、競合アプローチより約 9 倍小さく、かなり高速である。SageMaker JumpStart では、これらのモデルを数クリックでデプロイして、特定の AI ユースケースに対応できる。モデルのデプロートと使用については、SageMaker JumpStart のカタログまたは SageMaker Python SDK を使用して開始できる。詳細は Amazon SageMaker JumpStart ドキュメンテーションを参照。