生成 AI の基礎
このドメインで学ぶこと
このドメインでは、生成 AI の基盤モデル (Foundation Model) の概念、Transformer や LLM の特徴、プロンプトエンジニアリングの基本、Retrieval-Augmented Generation (RAG)、ファインチューニングなどの中核技術に加え、トークン、コンテキストウィンドウ、推論パラメータ、埋め込みといった LLM を扱ううえでの基本概念を学びます。AIF-C01 で出題比率 24% を占める頻出ドメインで、現代 AI 活用の中心テーマです。
重要ポイント
- 基盤モデル (Foundation Model) - 大規模データで事前学習され、多様なタスクに転用できる汎用モデル
- 大規模言語モデル (LLM) - テキストを扱う基盤モデル。OpenAI、Anthropic、Meta 各社のモデルや Amazon の Nova が代表例
- Transformer - 自己注意機構 (self-attention) を使うアーキテクチャで、現在の LLM の標準構造
- プロンプトエンジニアリング - LLM に望む出力を引き出す指示文 (プロンプト) を設計する技術
- ゼロショット / フューショット - 例示なし / 数例の例示で LLM にタスクを実行させる手法
- RAG (Retrieval-Augmented Generation) - 外部知識ベースから関連情報を取得し、LLM のプロンプトに加えて回答精度を上げる
- ファインチューニングと事前学習の違い - 事前学習は大規模データで一から学習、ファインチューニングは既存モデルを特定用途向けに追加学習
- ハルシネーション - LLM が事実でない内容をもっともらしく生成してしまう現象。RAG や検証で抑制する
- トークンとコンテキストウィンドウ - トークンは LLM が扱うテキストの最小単位、コンテキストウィンドウは一度に処理できるトークン数の上限
- 推論パラメータ - temperature や top-p が低いほど決定的で一貫した出力、高いほど多様で創造的な出力になる
- 埋め込み (エンベディング) - テキストの意味を数値ベクトルで表現したもの。ベクトルデータベースと組み合わせて意味的な類似検索を実現する
- 生成結果の評価 - 要約は ROUGE、翻訳は BLEU など、タスクに応じた自動評価指標と人間評価を組み合わせる
用語と概念
基盤モデル (Foundation Model)
大量の汎用データで事前学習され、ファインチューニングやプロンプトで多様なタスクに応用できる大規模モデルです。テキスト用の LLM、画像生成、音声、マルチモーダルなど用途は広がっています。Bedrock では複数の基盤モデルを API 経由で使えます。
プロンプトエンジニアリング
LLM に望む出力を引き出す指示文を工夫する技術です。役割の指定 (「あなたは医師です」)、出力形式の指定 (「JSON で答えて」)、例示の付与 (フューショット)、ステップバイステップ思考の促し (Chain-of-Thought) などのテクニックがあります。
RAG (Retrieval-Augmented Generation)
外部の知識ベース (社内ドキュメント、データベース等) から質問に関連する情報を検索し、その情報を LLM のプロンプトに加えてから回答を生成する手法です。LLM の知識が古い・存在しない情報を補い、ハルシネーションを抑制できます。Bedrock Knowledge Bases や Kendra と組み合わせて実装します。
ファインチューニングと事前学習
事前学習 (pre-training) は基盤モデルを大規模データで一から学習させる工程で、莫大な計算リソースが必要です。ファインチューニングは事前学習済みのモデルに、特定領域 (法律、医療等) の少量データで追加学習させる工程で、コストを抑えつつ専門性を高められます。
ハルシネーション (Hallucination)
LLM が訓練データにない情報や事実と異なる内容をもっともらしく生成してしまう現象です。原因はモデルが「最も自然に続きそうな文字」を生成する性質によります。RAG での根拠提示、ガードレールでの出力検証、人間レビューなどで影響を抑えます。
トークンとコンテキストウィンドウ
トークンは LLM がテキストを処理する最小単位で、単語より細かく分割されることも多く、記号や単語の一部も 1 トークンになります。コンテキストウィンドウは、モデルが 1 回の呼び出しで扱えるトークン数の上限 (入力 + 出力) です。上限を超える長文ドキュメントを扱いたい場合は、チャンクに分割して RAG で関連部分だけを検索してコンテキストに含める方法が定石です。料金もトークン数に基づいて計算されるため、コスト管理の単位としても重要です。
推論パラメータ (temperature / top-p)
temperature は出力のランダム性を調整するパラメータで、低い値 (例: 0.1) ではより決定的で一貫した出力に、高い値では多様で創造的な出力になります。top-p (nucleus sampling) は、確率の高い順に累積確率が閾値に達するまでのトークン候補だけからサンプリングする手法です。事実に基づく QA では低め、ブレインストーミングや創作では高めに設定するのが基本です。
埋め込みとベクトルデータベース
埋め込み (エンベディング) は、テキストの意味を数百〜数千次元の数値ベクトルに変換したものです。意味が近い文はベクトル空間上でも近くに配置されるため、「意味で探す」類似検索ができます。大量のドキュメントをベクトル化してベクトルデータベースに格納しておき、質問のベクトルと近いものを高速に取り出す、というのが RAG の検索部分の仕組みです。AWS では OpenSearch のベクトル検索などが受け皿になります。
生成 AI モデルの評価 (ROUGE / BLEU)
生成結果の品質はタスクに応じた指標で評価します。ROUGE は要約の評価に使われ、生成した要約と参照要約の語の重なりを測ります。BLEU は機械翻訳の評価に使われ、参照訳との一致度を測ります。ただし自動指標だけでは流暢さや事実性を測り切れないため、人間による評価と組み合わせるのが実務の基本です。
理解度チェック
学んだ内容を 5 問で確認しましょう