AI 解决方案的安全性、合规性和监管
您将学到什么
在本领域中，你将学习 AI 系统特有的安全风险，以及作为组织对 AI 进行管控的治理方法。目标是理解提示注入、模型窃取、数据投毒等攻击手法，以及 IAM、VPC 终端节点、Bedrock Guardrails、SageMaker Role Manager 等防御手段。
要点
- 提示注入 - 通过混入输入中的指令覆盖应用侧的指令（系统提示），使模型做出非预期行为的攻击。旨在绕过模型自身安全策略的手法则称为越狱（jailbreak），二者应加以区分
- 数据投毒 - 在训练数据中混入恶意样本以扭曲模型行为的攻击
- 模型窃取 - 通过向 API 发送大量请求学习其响应，从而复制模型的攻击
- AI 特有的风险 - 在常规的安全对策之外，还要加上防止数据泄露、输出的过滤与验证、抑制毒性、与 AI 交互的审计日志
- 用 IAM 进行 AI 服务访问控制 - 以最小权限原则管理 Bedrock 或 SageMaker 的使用权限
- AgentCore Identity 与 Policy - Identity 负责智能体代替用户访问其他服务时的身份和凭证，Policy 按规则允许或拒绝经过 Gateway 的工具调用
- VPC 终端节点与私有连接 - 让与 Bedrock 或 SageMaker 的通信不经过互联网
- Bedrock Guardrails - 过滤不当言论、个人信息泄露、特定主题的功能
- 幻觉的检测 - 通过用 RAG 提供依据的接地（grounding）、输出的验证、置信度分数来减少错误的回答，并发现和拦截
- SageMaker Role Manager - 可按角色轻松创建针对 SageMaker 资源的 IAM 角色的功能
- AI 治理 - 模型目录、API 调用审计（CloudTrail）、输入输出内容记录（Bedrock 的模型调用日志记录）、合规确认（Audit Manager）
术语与概念
提示注入
在用户输入中混入「忽略此前的指令」之类的命令，覆盖应用侧设定的指令、使模型做出非预期行为的攻击。而借助角色扮演等手段绕过模型自身的安全策略、诱导其生成本应被拒绝的有害输出的手法则称为越狱（jailbreak），二者按突破的对象加以区分。两者都可通过 Bedrock Guardrails、输入过滤、强化系统提示、输出验证等多层防御加以应对。
数据投毒
在训练数据中故意混入有害样本以扭曲模型预测的攻击。例如，在垃圾邮件分类器的训练数据中将垃圾邮件标注为「正常」并混入，就会得到一个漏判真实垃圾邮件的模型。可通过验证数据源、审查训练数据、管理数据来源（lineage）加以应对。
AI 特有的风险与对策
在生成式 AI 中，除了常规应用程序的防护（漏洞管理、威胁检测、传输中和存储时的加密）之外，还需要 AI 特有的对策。要防止回答中混入个人信息或公司机密的数据泄露，应精简交给模型的数据，并用 Bedrock Guardrails 对输入和输出中的个人信息进行脱敏。歧视性表达、暴力等有害的输出用输出过滤拦截，偏离既定格式或取值范围的回答则在应用程序一侧验证后再使用。交互记录的留存方式见「AI 使用的审计与治理」。
Bedrock Guardrails 的运用
Guardrails 是针对 Bedrock 上生成式 AI 的安全过滤器。可设置主题限制（例如：禁止谈论竞品话题）、内容过滤（暴力、性内容）、个人信息脱敏（自动脱敏 PII）、词语限制（保密词）。它对提示注入的防御也很有效。
幻觉的检测与接地
幻觉无法完全消除，因此要从提供依据加以减少和检测已产生的回答两方面做好准备。接地（grounding）是把通过 RAG 检索到的企业内部文档等作为回答的依据交给模型，让模型在该范围内回答的方法。Bedrock Guardrails 的上下文接地检查会判定回答是否基于参考来源（接地）以及是否切合问题（相关性）。接地和相关性的分数低于所设阈值的回答会被拦截。模型置信度分数低的回答或未通过格式验证的回答，应转交人工确认，或不作回答。
→ 使用 Bedrock Knowledge Bases 实现 RAG / → Amazon Bedrock Guardrails 术语表
通过 VPC 终端节点实现私有连接
将与 Bedrock、SageMaker 等 AWS AI 服务的通信经由 VPC 终端节点（PrivateLink）封闭在私有网络内的架构。由于无需经过互联网，可降低数据泄露风险，也更容易满足企业的合规要求。
AgentCore Identity 与 Policy
Amazon Bedrock AgentCore Identity 是 AI 智能体专用的身份和凭证管理。它负责智能体代替用户访问 AWS 资源或外部服务时的认证与授权。可以与现有的身份提供商对接，因此无需迁移用户或重建认证。AgentCore 的 Policy 在 AgentCore Gateway 接住智能体调用工具的通信，对照规定了谁可以用什么输入调用哪个工具的规则，决定允许还是拒绝。规则放在智能体的代码之外，因此即使智能体被花言巧语操纵，也不易越出许可的范围（截至 2026 年 10 月的功能）。
AI 使用的审计与治理
Bedrock 或 SageMaker 的 API 调用会被记录到 CloudTrail 中，可事后审计谁在何时调用了哪个模型。不过 CloudTrail 记录的仅限 API 调用的元数据，不包含提示和响应的内容。若希望连内容一并审计，需要启用默认处于关闭状态的 Bedrock 模型调用日志记录，并将其输出到 CloudWatch Logs 或 S3。此外，借助 AWS Audit Manager，还可持续评估对企业内部政策或行业标准（HIPAA、PCI DSS 等）的合规状况。