Gobernanza de la IA y liderazgo para una IA responsable
Qué aprenderá
En este dominio se aprende a aplicar los principios de la IA responsable a las decisiones del negocio y a crear los mecanismos con los que la organización gobierna la IA. Se tratan las dimensiones de la IA responsable, cómo conciliar los objetivos del negocio con los principios cuando entran en conflicto, las situaciones que requieren supervisión humana y las medidas de seguridad, las estructuras de gobernanza interfuncionales, la clasificación de riesgos y la respuesta a la regulación. El objetivo es detectar los riesgos en producción, como los sesgos, el contenido dañino, la propiedad intelectual, las alucinaciones o la deriva de modelos, y saber indicar la dirección de las medidas. El enfoque constante es que los controles sean proporcionales a la magnitud del riesgo y se integren desde la fase de planificación.
Puntos clave
- Las 8 dimensiones de la IA responsable: equidad, explicabilidad, privacidad y seguridad, protección, controlabilidad, veracidad y robustez, gobernanza y transparencia
- Conflicto entre objetivos y principios: decidir el punto de equilibrio según las personas afectadas y la magnitud del riesgo, y dejar constancia de esa decisión
- Gobernanza desde el diseño: la IA responsable no se añade tras la implantación, sino que se integra desde la fase de planificación
- Situaciones que requieren supervisión humana: decisiones relacionadas con créditos, contratación, medicina, asuntos legales o seguridad, y operaciones que no se pueden deshacer
- Modelos habituales de supervisión humana: el modelo en el que una persona aprueba antes de ejecutar, el modelo en el que una persona supervisa la ejecución automática e interviene, y el modelo totalmente automático que solo se encarga de tareas rutinarias de bajo riesgo
- Medidas de seguridad: detección de alucinaciones, barreras de protección, criterios de escalamiento, registros de auditoría y medios de detención
- Estructura de gobernanza: crearla de forma interfuncional, con negocio, tecnología, legal y cumplimiento, y definir con claridad quién tiene la responsabilidad
- Clasificación de riesgos: fijar los niveles según las personas afectadas, la gravedad, la posibilidad de deshacer, el grado de automatización, la confidencialidad de los datos y la regulación, y reforzar los controles cuanto mayor sea el riesgo
- Ejemplos de regulaciones y marcos: la Ley de IA de la UE (4 niveles: prohibido, alto riesgo, limitado y mínimo), el NIST AI RMF (4 funciones: GOVERN / MAP / MEASURE / MANAGE = gobernar, mapear, medir y gestionar) e ISO/IEC 42001
- Modelo de responsabilidad compartida: AWS protege la infraestructura de la nube y el entorno en el que se ofrecen los modelos fundacionales, y el usuario es responsable de los datos, los prompts, los permisos de acceso, la configuración de las barreras de protección y el uso de las salidas
- Responsible AI Lens: conjunto de prácticas recomendadas de IA responsable del AWS Well-Architected Framework que sirve para comprobar si las cargas de trabajo de IA se ajustan a las políticas de gobernanza
- Sesgo: como se introduce en varias etapas del ciclo de vida, desde la recopilación de los datos hasta la operación, se supervisa de forma continua la deriva del sesgo
- Contenido dañino y propiedad intelectual: el contenido dañino se contiene con barreras de protección como Amazon Bedrock Guardrails, y la propiedad intelectual se gestiona con la revisión de las salidas y las políticas de uso
- Riesgos de fiabilidad: las alucinaciones, la degradación de la calidad de los datos y la deriva de modelos se contienen con la supervisión en producción y la verificación de los fundamentos
Términos y conceptos
Las dimensiones de la IA responsable
AWS organiza la IA responsable en 8 dimensiones: equidad, explicabilidad, privacidad y seguridad, protección, controlabilidad, veracidad y robustez, gobernanza y transparencia. En el examen no basta con recordar los nombres de las dimensiones: se evalúa la capacidad de distinguir qué dimensión está en juego en una situación del negocio. Por ejemplo, hacer que el usuario sepa que está hablando con una IA es una cuestión de transparencia, y evitar que los resultados se inclinen según determinados atributos es una cuestión de equidad.
Conciliar los objetivos del negocio con los principios
Si se prioriza la rapidez del procesamiento o la reducción de costes, hay situaciones en las que se sacrifican la explicabilidad o la revisión humana. En estos conflictos, el punto de equilibrio se decide según quiénes son las personas afectadas y cuán grande es el impacto de un error. Si se deja constancia del motivo de la decisión, después se puede auditar y revisar.
Supervisión humana y medidas de seguridad
En las decisiones que afectan a los derechos o a la seguridad de las personas, como los créditos, la contratación o la medicina, y en las operaciones que no se pueden deshacer, se establece supervisión humana. Los modelos habituales son el modelo en el que una persona aprueba antes de ejecutar, el modelo en el que una persona supervisa la ejecución automática e interviene, y el modelo totalmente automático que solo se encarga de tareas rutinarias de bajo riesgo, y se eligen según el riesgo. Además, se cuenta con detección de alucinaciones, barreras de protección, criterios de escalamiento para pasar el caso a una persona, registros de auditoría y medios de detención.
Estructura de gobernanza interfuncional
La gobernanza de la IA no puede recaer solo en el departamento de TI: se crea con una estructura interfuncional en la que participan representantes del negocio, la tecnología, el área legal y el cumplimiento. Se define con claridad quién responde de los resultados de las decisiones de la IA y se delegan las facultades de aprobación según el nivel de riesgo. Si la dirección aprueba todos los casos, las decisiones se atascan a medida que se extiende el uso.
Clasificación de riesgos
Los usos de la IA se dividen en niveles según las personas afectadas, la gravedad de los errores, si los resultados se pueden deshacer, el grado de automatización, la confidencialidad de los datos y la regulación aplicable. Cuanto mayor es el riesgo de un uso, más se refuerzan la supervisión humana, la explicación y la auditoría, y los usos de bajo riesgo avanzan rápido con controles ligeros. Hacer que los controles sean proporcionales al riesgo permite compatibilizar la seguridad con la rapidez de la adopción.
Regulaciones y marcos
La Ley de IA de la UE divide los usos de la IA en 4 niveles (prohibido, alto riesgo, riesgo limitado y riesgo mínimo) e impone obligaciones según el nivel. El NIST AI RMF es un marco que organiza la gestión de riesgos de la IA en 4 funciones: gobernar (GOVERN), mapear (MAP), medir (MEASURE) y gestionar (MANAGE). ISO/IEC 42001 es la norma de sistemas de gestión de la IA y admite la certificación por terceros.
El modelo de responsabilidad compartida y la IA
AWS es responsable de la seguridad de la infraestructura de la nube y del entorno en el que se ofrecen los modelos fundacionales. El usuario es responsable de los datos que introduce, los prompts, la configuración de los permisos de acceso, la configuración de las barreras de protección y el uso de las salidas. Cuando la empresa ajusta o entrena modelos por su cuenta, el ámbito que asume el usuario es más amplio que cuando solo usa servicios de IA ya preparados.
Responsible AI Lens
El Responsible AI Lens del AWS Well-Architected Framework es un conjunto de prácticas recomendadas para revisar el diseño y la operación de las cargas de trabajo de IA según las dimensiones de la IA responsable. Permite comprobar con criterios comunes si la estructura de gobernanza, la supervisión humana o la supervisión del sesgo funcionan conforme a las políticas. En el examen se evalúa si se sabe elegir como medio para comprobar las prácticas recomendadas de gobernanza.
Control de acceso y protección de los datos
En los sistemas de IA, quién puede usar qué modelos y qué datos se limita a los permisos mínimos, y los datos confidenciales se clasifican para decidir cómo tratarlos. Como los prompts y las salidas también pueden contener información confidencial, se incluyen en los registros y las auditorías. En el examen se evalúan las decisiones de política; la configuración concreta de las políticas de IAM o de las claves de cifrado queda fuera del alcance.
Riesgos en producción y medidas
Como el sesgo puede introducirse en cualquier etapa (recopilación de datos, entrenamiento, evaluación u operación), no basta con una comprobación antes de la implantación: se supervisa de forma continua. El contenido dañino, los temas prohibidos y la salida de información personal se contienen con Amazon Bedrock Guardrails, y los riesgos de propiedad intelectual se gestionan con la revisión de las salidas y las políticas de uso. Los riesgos de fiabilidad, como las alucinaciones, la degradación de la calidad de los datos o la deriva de modelos, se contienen con la supervisión en producción y la verificación de los fundamentos.
Compruebe su comprensión
Compruebe lo aprendido con 5 preguntas