AI 监管与负责任的 AI 领导力
您将学到什么
在本领域中，你将学习把负责任 AI 的原则应用到业务判断中，并建立组织层面管控 AI 的机制的能力。内容包括负责任 AI 的维度、业务目标与原则冲突时的权衡方法、需要人工监督的场景与安全机制、跨部门的治理体制，以及风险分类和对法规的应对。目标是能够发现偏差、有害内容、知识产权、幻觉和模型漂移等生产环境中的风险，并指明应对方向。一贯的思路是让管控与风险大小成正比，并从规划阶段就融入其中。
要点
- 负责任 AI 的 8 个维度 - 公平性、可解释性、隐私与安全、安全性、可控性、真实性与稳健性、治理、透明性
- 目标与原则的冲突 - 以受影响的人和风险大小为标准决定权衡，并把判断记录下来
- 从设计阶段开始的治理 - 负责任 AI 不在导入后补充，而是从规划阶段就融入
- 需要人工监督的场景 - 涉及授信、招聘、医疗、法律、安全的判断，以及无法撤销的操作
- 人工监督的代表性方式 - 执行前由人审批的方式、由人监视自动执行并介入的方式、只把低风险的固定流程交给系统的完全自动方式
- 安全机制 - 幻觉检测、防护机制、升级处理的标准、审计记录、停止手段
- 治理体制 - 由业务、技术、法务、合规跨部门组建，明确问责的承担者
- 风险分类 - 根据受影响的人、严重程度、能否撤销、自动化程度、数据的机密性和法规来划分等级，风险越高管控越严
- 法规与框架的例子 - 欧盟 AI 法（禁止、高风险、有限、最低 4 个等级）、NIST AI RMF（GOVERN / MAP / MEASURE / MANAGE = 治理、映射、衡量、管理 4 项职能）、ISO/IEC 42001
- 责任共担模型 - AWS 保护云基础设施和基础模型的提供环境，用户对数据、提示词、访问权限、防护机制的设置和输出的使用方式负责
- Responsible AI Lens - AWS Well-Architected 框架中关于负责任 AI 的最佳实践集，用于确认 AI 工作负载是否符合治理方针
- 偏差 - 会在从数据收集到运营的生命周期多个阶段混入，因此要持续监控偏差漂移
- 有害内容与知识产权 - 有害内容用 Amazon Bedrock Guardrails 等防护机制抑制，知识产权通过输出确认和使用方针来管理
- 可靠性风险 - 幻觉、数据质量下降、模型漂移，通过生产环境的监控和依据的确认来抑制
术语与概念
负责任 AI 的维度
AWS 将负责任 AI 整理为公平性、可解释性、隐私与安全、安全性、可控性、真实性与稳健性、治理、透明性 8 个维度。考试不仅要求记住维度的名称，还考查在业务场景中判断哪个维度出现了问题的能力。例如，让用户知道自己在与 AI 对话属于透明性问题，避免结果因特定属性而出现偏向属于公平性问题。
业务目标与原则的权衡
如果优先考虑处理速度或费用削减，有时会牺牲可解释性或人工确认。在这种冲突中，要以谁会受到影响、出错时影响有多大为标准来决定权衡。把判断理由记录下来，事后就可以进行审计和复查。
人工监督与安全机制
对于授信、招聘、医疗这样关系到人的权利或安全的判断，以及无法撤销的操作，要设置人工监督。代表性的方式有执行前由人审批的方式、由人监视自动执行并介入的方式、只把低风险固定流程交给系统的完全自动方式，按风险选择。同时还要配备幻觉检测、防护机制、转交人工处理的升级标准、审计记录和停止手段。
跨部门的治理体制
AI 治理无法只由 IT 部门承担，要建立由业务、技术、法务、合规代表参与的跨部门体制。明确由谁对 AI 判断的结果负责，并按风险等级委派审批权限。所有项目都由经营层审批的形式，在使用范围扩大后会导致判断停滞。
风险分类
从受影响的人、错误的严重程度、结果能否撤销、自动化程度、数据的机密性、适用的法规等角度，把 AI 的用途划分为不同等级。风险越高的用途，人工监督、说明和审计越要加强；低风险的用途则用较轻的管控快速推进。让管控与风险成正比，就能兼顾安全与导入速度。
法规与框架
欧盟 AI 法把 AI 的用途分为禁止、高风险、有限风险、最低风险 4 个等级，并按等级规定相应义务。NIST AI RMF 是用治理（GOVERN）、映射（MAP）、衡量（MEASURE）、管理（MANAGE）4 项职能整理 AI 风险管理的框架。ISO/IEC 42001 是 AI 管理体系的标准，可以接受第三方认证。
责任共担模型与 AI
AWS 负责云基础设施以及提供基础模型的环境的安全。用户负责输入的数据、提示词、访问权限的设置、防护机制的设置以及输出的使用方式。与只使用现成 AI 服务的情况相比，自行调整或训练模型时，用户承担的范围会更大。
Responsible AI Lens
AWS Well-Architected 框架的 Responsible AI Lens 是按照负责任 AI 的维度审视 AI 工作负载设计与运营的最佳实践集。可以用共同的标准确认治理体制、人工监督、偏差监控等是否按方针发挥作用。考试考查的是能否把它选为确认治理最佳实践的手段。
访问控制与数据保护
在 AI 系统中，要把谁能使用哪些模型和数据限制在最小权限，并对机密数据进行分类、确定处理方式。提示词和输出中也可能包含机密信息，因此要纳入记录和审计的范围。考试考查的是方针层面的判断，IAM 策略或加密密钥的具体设置不在考试范围内。
生产环境的风险与对策
偏差在数据收集、训练、评估、运营的任何阶段都可能混入，因此不能以导入前的一次确认告终，而要持续监控。有害内容、禁止的话题和个人信息的输出用 Amazon Bedrock Guardrails 抑制，知识产权风险通过输出确认和使用方针来管理。幻觉、数据质量下降、模型漂移等可靠性风险，通过生产环境的监控和依据的确认来抑制。
检验理解程度
用 5 道题检验所学内容