AI ソリューションのセキュリティ、コンプライアンス、ガバナンス
このドメインで学ぶこと
このドメインでは、AI システム特有のセキュリティリスクと、組織として AI を統制するためのガバナンスを学びます。プロンプトインジェクション、モデル盗用、データポイズニングといった攻撃手法と、IAM や VPC エンドポイント、Bedrock Guardrails、SageMaker Role Manager などの防御手段を理解することがゴールです。
重要ポイント
- プロンプトインジェクション - 入力に紛れ込ませた指示でアプリケーション側の指示 (システムプロンプト) を上書きし、意図しない動作をさせる攻撃。モデル自体の安全ポリシーの回避を狙う手口はジェイルブレイクと呼んで区別する
- データポイズニング - 訓練データに悪意あるサンプルを混入させてモデルの挙動を歪める攻撃
- モデル盗用 - API への大量リクエストで応答を学習し、モデルを複製する攻撃
- AI 固有のリスク - データ漏えいの防止、出力のフィルターと検証、毒性の抑止、AI とのやり取りの監査ログが通常のセキュリティ対策に加わる
- IAM での AI サービスアクセス制御 - Bedrock や SageMaker の利用権限を最小権限の原則で管理する
- AgentCore Identity と Policy - Identity はエージェントが利用者の代わりに他のサービスへ入る身元と認証情報を受け持ち、Policy は Gateway を通るツールの呼び出しを規則で許可か拒否する
- VPC エンドポイントとプライベート接続 - Bedrock や SageMaker への通信をインターネットに出さずに行う
- Bedrock Guardrails - 不適切な発言、個人情報漏洩、特定トピックをフィルターする機能
- ハルシネーションの検知 - RAG で根拠を渡すグラウンディング、出力の検証、確信度のスコアで誤った回答を減らし、見つけて止める
- SageMaker Role Manager - SageMaker のリソースに対する IAM ロールを役割別に簡単に作成できる機能
- AI ガバナンス - モデルカタログ、API 呼び出しの監査 (CloudTrail)、入出力内容の記録 (Bedrock のモデル呼び出しログ記録)、コンプライアンス確認 (Audit Manager)
用語と概念
プロンプトインジェクション
ユーザー入力に「これまでの指示を無視して」のような命令を紛れ込ませ、アプリケーション側が与えた指示を上書きして意図しない動作をさせる攻撃です。役割演技などでモデル自体の安全ポリシーを回避し、本来拒否される有害な出力を引き出す手口はジェイルブレイクと呼ばれ、突破する対象で区別されます。いずれも Bedrock Guardrails、入力フィルタリング、システムプロンプトの強化、出力検証などの多層防御で対策します。
データポイズニング
訓練データに意図的に有害なサンプルを混入させ、モデルの予測を歪める攻撃です。例えばスパムメール分類器の訓練データにスパムを「正常」とラベル付けして混ぜ込むと、本物のスパムを見逃すモデルになります。データソースの検証、訓練データのレビュー、データ来歴 (lineage) 管理で対策します。
AI 固有のリスクと対策
生成 AI では、通常のアプリケーションの守り (脆弱性の管理、脅威の検出、通信と保管時の暗号化) に加えて、AI 特有の対策が要ります。回答に個人情報や社外秘が混ざるデータ漏えいを防ぐには、モデルに渡すデータを絞り、Bedrock Guardrails で入力と出力の個人情報をマスクします。差別的な表現や暴力などの毒性のある出力は出力のフィルターで止め、決まった形式や値の範囲から外れた回答はアプリケーション側で検証してから使います。やり取りの記録の残し方は「AI 利用の監査とガバナンス」のとおりです。
Bedrock Guardrails の活用
Guardrails は Bedrock 上の生成 AI に対する安全フィルターです。トピック制限 (例: 競合製品の話題を禁止)、コンテンツフィルター (暴力、性的内容)、個人情報マスキング (PII の自動マスク)、ワード制限 (社外秘ワード) を設定できます。プロンプトインジェクション対策にも有効です。
ハルシネーションの検知とグラウンディング
ハルシネーションは完全にはなくせないため、根拠を与えて減らすことと、出た回答を検知することの両方で備えます。グラウンディングは、RAG で検索した社内文書などを回答の根拠としてモデルに渡し、その範囲で答えさせる方法です。Bedrock Guardrails のコンテキストグラウンディングチェックは、回答が参照元に基づいているか (グラウンディング) と質問に合っているか (関連性) を判定します。グラウンディングと関連性のスコアが設定したしきい値を下回る回答は止めます。モデルの確信度のスコアが低い回答や形式の検証に通らない回答は、人の確認に回すか、回答を控えるようにします。
→ Bedrock Knowledge Bases による RAG / → Amazon Bedrock Guardrails 用語集
VPC エンドポイントによるプライベート接続
Bedrock や SageMaker などの AWS AI サービスへの通信を、VPC エンドポイント (PrivateLink) 経由でプライベートネットワーク内に閉じる構成です。インターネットに出さずに済むためデータ漏洩リスクを下げ、企業のコンプライアンス要件にも適合しやすくなります。
AgentCore Identity と Policy
Amazon Bedrock AgentCore Identity は AI エージェント専用の身元と認証情報の管理です。エージェントが利用者の代わりに AWS のリソースや外部のサービスへアクセスするときの認証と認可を受け持ちます。既存の ID プロバイダーとつなげられるので、利用者の移行や認証の作り直しが要りません。AgentCore の Policy は、エージェントがツールを呼び出す通信を AgentCore Gateway で受け止め、誰がどのツールをどんな入力で呼べるかを定めた規則に照らして、許可か拒否かを決めます。規則をエージェントのコードの外に置くので、エージェントが言葉巧みに操られても許可の範囲を越えにくくなります (2026 年 10 月時点の機能)。
AI 利用の監査とガバナンス
Bedrock や SageMaker の API 呼び出しは CloudTrail に記録され、誰がいつどのモデルを呼び出したかを後から監査できます。ただし CloudTrail に残るのは API 呼び出しのメタデータまでで、プロンプトや応答の内容は含まれません。内容まで監査したい場合は、既定では無効になっている Bedrock のモデル呼び出しログ記録を有効化し、CloudWatch Logs や S3 に出力します。さらに AWS Audit Manager を使えば、社内ポリシーや業界標準 (HIPAA、PCI DSS 等) に対する準拠状況を継続的に評価できます。