機械学習

Amazon Bedrock Knowledge Bases で構築する RAG アプリケーション - 検索拡張生成の実装

S3 上のドキュメントを自動インデックス化し、RetrieveAndGenerate API で検索と生成を統合する。チャンキング戦略の選定と Guardrails による安全性確保を紹介します。

約 2 分で読めます

RAG パターンと Knowledge Bases の概要

RAG (Retrieval-Augmented Generation) は、大規模言語モデル (LLM) の回答を外部知識で補強するパターンです。LLM 単体ではトレーニングデータに含まれない最新情報や社内固有の情報に回答できませんが、RAG では質問に関連するドキュメントを検索し、その内容をコンテキストとして LLM に渡すことで、正確で根拠のある回答を生成します。Bedrock Knowledge Bases はこの RAG パターンをマネージドに提供し、ドキュメントのインデックス化、ベクトル検索、LLM による回答生成を統合します。

データソースとチャンキング戦略

データソースとして S3 バケットを指定し、PDF、HTML、Markdown、Word、CSV などのドキュメントを自動的にインデックス化します。ドキュメントはチャンク (断片) に分割され、各チャンクがベクトル化されてベクトルストアに格納されます。チャンキング戦略は検索精度に直結する重要な設計判断です。固定サイズチャンキングは指定した文字数で均等に分割し、シンプルですが文脈が途切れる可能性があります。セマンティックチャンキングは文の意味的なまとまりに基づいて分割し、文脈の保持に優れます。階層的チャンキングは親チャンク (大きな文脈) と子チャンク (詳細な情報) の 2 層構造で、検索時に子チャンクでマッチし、LLM には親チャンクの広い文脈を渡すことで精度を向上させます。

API の使い方と Guardrails 統合

RetrieveAndGenerate API は質問テキストを受け取り、関連ドキュメントの検索と LLM による回答生成を 1 回の API コールで実行します。レスポンスには生成された回答と、回答の根拠となったソースドキュメントの引用情報 (S3 URI 、該当箇所) が含まれます。 Retrieve API は検索のみを実行し、取得したチャンクをアプリケーション側で加工してから LLM に渡すカスタムフローに使用します。 Guardrails を Knowledge Bases に適用すると、回答生成時にコンテンツフィルター (不適切な内容のブロック)、 PII マスキング (個人情報の自動除去)、拒否トピック (回答を拒否するトピックの定義) が自動的に適用されます。 生成 AI について体系的に学びたい方は、関連書籍 (Amazon)も参考になります。

Knowledge Bases の料金

Knowledge Bases の料金はドキュメントのインデックス化 (ベクトル化) とクエリで構成されます。ベクトル化は使用する埋め込みモデル (Titan Embeddings V2 で 1,000 トークンあたり約 0.00002 ドル) の料金が適用されます。クエリ時は埋め込みモデルの料金に加え、回答生成に使用する LLM (Claude 3 Haiku で入力 1,000 トークンあたり約 0.00025 ドル) の料金が発生します。ベクトルストアとして OpenSearch Serverless を使用する場合、OCU (OpenSearch Compute Unit) の時間課金 (1 OCU あたり約 0.24 ドル/時) が主要なコスト要因になります。Pinecone や Aurora PostgreSQL pgvector を代替のベクトルストアとして選択し、コストを最適化できます。

まとめ

Bedrock Knowledge Bases は RAG パターンをマネージドに実装するサービスです。S3 上のドキュメントを自動インデックス化し、RetrieveAndGenerate API で検索と生成を統合します。チャンキング戦略の最適化と Guardrails の適用で、正確で安全な RAG アプリケーションを構築できます。

関連するサービス

Amazon Bedrock主要な基盤モデルを API 経由で利用できるフルマネージド生成 AI サービスAmazon S3スケーラブルなオブジェクトストレージサービスAmazon OpenSearch Serviceログ分析や全文検索を手軽に実現できるマネージド検索・分析サービス

関連する記事

Amazon Q Business で構築する企業向け AI アシスタント - 社内ナレッジの検索と業務自動化社内ドキュメント・Confluence・SharePoint などのデータソースを接続し、RAG ベースの企業内検索と質問応答を実現する。ガードレールとアクセス制御で安全な生成 AI 活用基盤を構築する方法を解説します。Amazon SageMaker で構築する ML プラットフォーム - モデルの構築からデプロイまでStudio での開発からマネージドスポットトレーニング、Pipelines による MLOps、Model Monitor のデータドリフト検出まで、ML ライフサイクル全体を統合する手法を紹介します。データ検索と分析の実践 - OpenSearch による全文検索と可視化基盤の構築Amazon OpenSearch Service を活用したデータ検索と分析の設計手法を解説し、全文検索、ログ分析、ダッシュボード可視化による分析基盤の構築方法を紹介します。

同じテーマの記事

AWS Batch で実行する GPU ベースの機械学習トレーニング - コスト効率の高い大規模学習既存の Docker コンテナで GPU トレーニングを実行し、スポットインスタンスとチェックポイントでコストを最大 90% 削減する。SageMaker との使い分けも紹介します。Amazon Bedrock における Claude の活用 - モデル選定からプロンプト設計、コスト最適化までAmazon Bedrock で利用できる Anthropic Claude モデルの特徴比較、ユースケース別のモデル選定指針、プロンプト設計のベストプラクティス、コスト最適化を解説します。Amazon Braket で始める量子コンピューティング - 量子回路の設計とシミュレーションローカルシミュレーターで無料プロトタイピングし、IonQ・Rigetti の実機で量子回路を実行する。ハイブリッドジョブで VQE や QAOA を実装する手法を紹介します。AWS Clean Rooms ML でプライバシー保護型 ML - データを共有せずにモデルを構築Clean Rooms ML によるルックアライクモデルの構築、差分プライバシーの適用、広告ターゲティングへの活用を解説します。Amazon Comprehend で実装する自然言語処理 - 感情分析とエンティティ抽出の活用Comprehend による感情分析、エンティティ抽出、カスタム分類モデルの構築を解説します。対話型ボット構築 - Amazon Lex と Polly で実現する自然な会話インターフェースAmazon Lex と Amazon Polly を活用した対話型ボットの構築方法を解説します。需要予測 - Amazon Forecast で時系列データから将来を予測する過去の時系列データと関連変数を入力し、ML ベースの需要予測モデルを自動構築する。予測精度の評価指標と、S3・QuickSight 連携による予測結果の活用パターンを解説します。ドキュメントテキスト抽出 - Amazon Textract で実現するインテリジェントな文書処理Amazon Textract による文書からのテキスト、テーブル、フォームデータの自動抽出と、Amazon Comprehend との連携による自然言語処理パイプラインの構築を解説します。請求書処理や契約書分析の自動化パターンを紹介します。

内容が近い記事・サービス

生成 AI プラットフォーム - Amazon Bedrock で構築するエンタープライズ AI 基盤Amazon Bedrock を活用した生成 AI アプリケーションの構築方法を解説します。基盤モデルの選択、RAG パターンの実装、ガードレールによる安全性確保、SageMaker との連携など、エンタープライズレベルの AI 基盤設計を紹介します。Amazon Bedrock複数の大規模言語モデルを API 経由で利用できるフルマネージドサービスで、自社データによるカスタマイズやガードレール設定も可能Amazon Kendra で構築するエンタープライズ検索 - 自然言語クエリと FAQ 自動抽出社内ドキュメントを自然言語で検索できるエンタープライズ検索基盤を構築する。データソースコネクタの設定と検索精度のチューニング、RAG 統合を紹介します。Amazon Q Business で構築する企業向け AI アシスタント - 社内ナレッジの検索と業務自動化社内ドキュメント・Confluence・SharePoint などのデータソースを接続し、RAG ベースの企業内検索と質問応答を実現する。ガードレールとアクセス制御で安全な生成 AI 活用基盤を構築する方法を解説します。