Seguridad, cumplimiento y gobernanza para las soluciones de IA
Qué aprenderá
En este dominio se aprenden los riesgos de seguridad propios de los sistemas de IA y la gobernanza necesaria para que una organización controle la IA. El objetivo es comprender técnicas de ataque como la inyección de prompts, el robo de modelos y el envenenamiento de datos, así como medios de defensa como IAM, los puntos de conexión de VPC, Bedrock Guardrails y SageMaker Role Manager.
Puntos clave
- Inyección de prompts: ataque que, mediante instrucciones ocultas en la entrada, sobrescribe las instrucciones de la aplicación (el prompt de sistema) para provocar comportamientos no deseados. La técnica que busca eludir las políticas de seguridad integradas en el propio modelo se denomina jailbreak (evasión de restricciones) y se distingue por el objetivo que vulnera
- Envenenamiento de datos: ataque que introduce muestras malintencionadas en los datos de entrenamiento para distorsionar el comportamiento del modelo
- Robo de modelos: ataque que aprende las respuestas mediante un gran número de solicitudes a la API y replica el modelo
- Riesgos propios de la IA: a las medidas de seguridad habituales se suman la prevención de fugas de datos, el filtrado y la verificación de las salidas, la contención de la toxicidad y los registros de auditoría de las interacciones con la IA
- Control de acceso a los servicios de IA con IAM: gestionar los permisos de uso de Bedrock o SageMaker con el principio de privilegios mínimos
- AgentCore Identity y Policy: Identity se encarga de la identidad y las credenciales con las que el agente accede a otros servicios en nombre del usuario, y Policy permite o deniega mediante reglas las llamadas a herramientas que pasan por Gateway
- Puntos de conexión de VPC y conexión privada: realizar la comunicación con Bedrock o SageMaker sin salir a internet
- Bedrock Guardrails: función que filtra comentarios inapropiados, fuga de información personal y temas concretos
- Detección de alucinaciones: se reducen, detectan y detienen las respuestas erróneas con la fundamentación (grounding), que aporta fundamentos mediante RAG, la verificación de las salidas y las puntuaciones de confianza
- SageMaker Role Manager: función que permite crear fácilmente roles de IAM por función para los recursos de SageMaker
- Gobernanza de la IA: catálogo de modelos, auditoría de las llamadas a la API (CloudTrail), registro del contenido de las entradas y salidas (registro de invocación de modelos de Bedrock) y verificación del cumplimiento normativo (Audit Manager)
Términos y conceptos
Inyección de prompts
Es un ataque que oculta en la entrada del usuario una orden como "ignora las instrucciones anteriores" para sobrescribir las instrucciones dadas por la aplicación y provocar comportamientos no deseados. La técnica que, mediante juegos de rol u otros recursos, elude las políticas de seguridad integradas en el propio modelo para obtener salidas dañinas que normalmente se rechazarían se denomina jailbreak, y ambos ataques se distinguen por el objetivo que vulneran. En los dos casos se contrarresta con una defensa en profundidad: Bedrock Guardrails, filtrado de la entrada, refuerzo del prompt de sistema y verificación de la salida.
Envenenamiento de datos
Es un ataque que introduce de forma intencionada muestras dañinas en los datos de entrenamiento para distorsionar las predicciones del modelo. Por ejemplo, si en los datos de entrenamiento de un clasificador de correo basura se etiqueta el spam como "normal", el modelo resultante pasará por alto el spam real. Se contrarresta verificando las fuentes de datos, revisando los datos de entrenamiento y gestionando el linaje (lineage) de los datos.
Riesgos propios de la IA y sus contramedidas
En la IA generativa, además de la protección de una aplicación normal (gestión de vulnerabilidades, detección de amenazas y cifrado en tránsito y en reposo), se necesitan medidas propias de la IA. Para evitar fugas de datos en las que la respuesta mezcla información personal o confidencial, se acotan los datos que se pasan al modelo y se enmascara la información personal de las entradas y salidas con Amazon Bedrock Guardrails. Las salidas tóxicas, como expresiones discriminatorias o violencia, se detienen con el filtrado de salidas, y las respuestas que se salen del formato establecido o del rango de valores se verifican en la aplicación antes de usarlas. La forma de conservar el registro de las interacciones es la descrita en "Auditoría y gobernanza del uso de la IA".
→ Amazon Bedrock Guardrails Glosario / → Registro de auditoría con CloudTrail
Uso de Bedrock Guardrails
Guardrails es un filtro de seguridad para la IA generativa que se ejecuta sobre Bedrock. Permite configurar restricción de temas (por ejemplo, prohibir hablar de productos de la competencia), filtro de contenido (violencia, contenido sexual), enmascaramiento de información personal (enmascaramiento automático de PII) y restricción de palabras (palabras de carácter reservado). También es eficaz como medida contra la inyección de prompts.
Detección de alucinaciones y fundamentación
Como las alucinaciones no pueden eliminarse por completo, hay que prepararse tanto para reducirlas aportando fundamentos como para detectar las respuestas que se produzcan. La fundamentación es el método de pasar al modelo, como fundamento de la respuesta, documentos internos u otros contenidos recuperados con RAG, y hacer que responda dentro de ese alcance. La comprobación de fundamentación contextual (contextual grounding check) de Amazon Bedrock Guardrails determina si la respuesta se basa en la fuente de referencia (fundamentación) y si corresponde a la pregunta (relevancia). Las respuestas cuyas puntuaciones de fundamentación y relevancia quedan por debajo del umbral configurado se detienen. Las respuestas con una puntuación de confianza baja del modelo o que no superan la verificación del formato se derivan a revisión humana o se evita responder.
→ RAG con Bedrock Knowledge Bases / → Amazon Bedrock Guardrails Glosario
Conexión privada mediante puntos de conexión de VPC
Es una configuración que confina dentro de una red privada la comunicación con los servicios de IA de AWS, como Bedrock o SageMaker, a través de un punto de conexión de VPC (PrivateLink). Como no es necesario salir a internet, reduce el riesgo de fuga de datos y facilita cumplir los requisitos de cumplimiento normativo de la empresa.
AgentCore Identity y Policy
Amazon Bedrock AgentCore Identity es la gestión de identidades y credenciales exclusiva para agentes de IA. Se encarga de la autenticación y la autorización cuando el agente accede a recursos de AWS o a servicios externos en nombre del usuario. Como puede conectarse con los proveedores de identidad existentes, no hace falta migrar a los usuarios ni rehacer la autenticación. Policy de AgentCore recibe en AgentCore Gateway las comunicaciones con las que el agente llama a herramientas y decide si las permite o las deniega comparándolas con reglas que establecen quién puede llamar a qué herramienta y con qué entradas. Como las reglas se mantienen fuera del código del agente, aunque alguien manipule al agente con palabras hábiles, es más difícil que supere el alcance de lo permitido (funciones a octubre de 2026).
Auditoría y gobernanza del uso de la IA
Las llamadas a la API de Bedrock o SageMaker se registran en CloudTrail, lo que permite auditar posteriormente quién invocó qué modelo y cuándo. Sin embargo, lo que queda en CloudTrail son solo los metadatos de la llamada a la API, sin el contenido de los prompts ni de las respuestas. Si se desea auditar también el contenido, hay que habilitar el registro de invocación de modelos de Bedrock, deshabilitado de forma predeterminada, y enviarlo a CloudWatch Logs o S3. Además, con AWS Audit Manager se puede evaluar de forma continua el grado de cumplimiento de las políticas internas y los estándares del sector (HIPAA, PCI DSS, etc.).
→ Registro de auditoría con CloudTrail / → Automatización de la auditoría