AIF-C01 Notas de preparación
Resumen completo del temario del AIF-C01, con la extensión justa para releerlo en los 30 minutos previos al examen. Úsalo como repaso final después de recorrer los cinco dominios en el curso de aprendizaje y detectar tus puntos débiles con las preguntas de práctica. Las métricas de evaluación, los métodos de personalización y distinguir las herramientas de SageMaker AI son donde más puntos se pierden, así que céntrate en las tablas y las trampas.
Datos del examen y enfoque
- El examen tiene 65 preguntas en 90 minutos, de las que 50 puntúan, y no se puede saber cuáles son las 15 que no puntúan.
- El resultado se expresa como una puntuación escalada de 100 a 1000 y la nota de aprobado es 700.
- La puntuación es compensatoria, así que no hay mínimo por dominio y basta con llegar a 700 en total.
- Hay cuatro formatos: opción múltiple, respuesta múltiple, ordenación (de 3 a 5 elementos) y emparejamiento (de 3 a 7 pares), y todos salvo la opción múltiple solo puntúan si son correctos por completo.
- Las preguntas sin responder cuentan como incorrectas y adivinar no resta, así que responde a todas.
- La ponderación es Aplicaciones de los modelos fundacionales 28 %, Aspectos básicos de la IA generativa 24 %, Aspectos básicos de la IA y el ML 20 %, Pautas para una IA responsable 14 % y Seguridad, cumplimiento y gobernanza para las soluciones de IA 14 %.
- El candidato objetivo usa la IA en lugar de construirla, y programar modelos, ajustar hiperparámetros, construir canalizaciones y hacer cálculos estadísticos quedan fuera del temario.
- Como requisito previo también se evalúan fundamentos ajenos a la IA, como EC2, S3, Lambda, IAM, el modelo de responsabilidad compartida y los modelos de precios.
- Decide entre las dos últimas opciones por palabras de requisito como menor coste, menor carga operativa o explicación necesaria.
Pistas del enunciado y dirección de la respuesta
| Pista del enunciado | Dirección de la respuesta |
|---|---|
| Predecir a partir de datos con etiquetas correctas | Aprendizaje supervisado |
| Agrupar datos sin etiquetas por similitud | Aprendizaje no supervisado (agrupamiento) |
| Predecir un valor numérico como ventas o precio | Regresión |
| Predecir una categoría como fraude o no fraude | Clasificación |
| Se necesita un resultado fijo que se puede escribir como reglas | No usar IA ni ML |
| Hay que explicar a los reguladores el motivo de las decisiones | Un modelo de ML tradicional fácil de explicar |
| Inferir sobre muchos datos de una vez por la noche | Inferencia por lotes |
| Responder a cada solicitud al instante | Inferencia en tiempo real |
| Entradas grandes que tardan, y se puede esperar | Inferencia asíncrona |
| Llamadas poco frecuentes, sin pagar por el tiempo inactivo | Inferencia sin servidor |
| Usar varios modelos fundacionales por API sin gestionar infraestructura | Amazon Bedrock |
| Entrenar y desplegar un modelo propio | Amazon SageMaker AI |
| Responder a partir de documentos internos sin reentrenar | RAG (Amazon Bedrock Knowledge Bases) |
| Guardar incrustaciones y hacer búsquedas por similitud | Base de datos vectorial (como OpenSearch Service) |
| Conectar agentes a herramientas y datos externos de forma estándar | MCP (Model Context Protocol) |
| Que las respuestas sean coherentes y varíen menos | Bajar la temperature |
| Mostrar el formato con unos pocos ejemplos en el prompt | Pocos ejemplos (few-shot) |
| Hacer que el modelo razone paso a paso | Chain-of-Thought |
| Versionar y reutilizar prompts | Amazon Bedrock Prompt Management |
| Ajustarse al vocabulario o formato de un ámbito concreto | Ajuste fino |
| Añadir conocimiento con muchos datos del ámbito sin etiquetar | Preentrenamiento continuo |
| Pasar la capacidad de un modelo grande a uno pequeño y barato | Destilación de modelos |
| Medir automáticamente la calidad de un resumen | ROUGE |
| Medir automáticamente la calidad de una traducción | BLEU |
| Que otro LLM califique las respuestas | LLM-as-a-judge |
| Reducir los casos omitidos en un modelo de clasificación | Priorizar la exhaustividad (recall) |
| Reducir los falsos positivos en un modelo de clasificación | Priorizar la precisión |
| Bloquear contenido dañino, temas prohibidos y datos personales | Amazon Bedrock Guardrails |
| Detectar y explicar sesgos en datos o modelos | SageMaker Clarify |
| Supervisar la degradación del modelo en producción y la deriva de datos | SageMaker Model Monitor |
| Que una persona revise las predicciones de baja confianza | Revisión humana (human-in-the-loop) |
| Documentar el uso previsto, la evaluación y los riesgos de un modelo | SageMaker Model Cards |
| Que el tráfico hacia Bedrock no salga a internet | AWS PrivateLink (punto de enlace de VPC) |
| Reducir coste y latencia al enviar siempre el mismo preámbulo largo | Caché de prompts |
| Asegurar capacidad para un uso estable y de gran volumen | Provisioned Throughput |
Patrones de respuestas incorrectas
- Descarta el ajuste fino cuando el modelo debe responder con información interna que cambia a menudo.
- Cuando se pide el método de menor coste, descarta preentrenar un modelo desde cero.
- Descarta la opción que dice que subir la temperature mejora la exactitud o la coherencia.
- Descarta la opción que dice que las alucinaciones se pueden eliminar por completo.
- Descarta elegir IA generativa para un proceso que siempre debe dar el mismo resultado basado en reglas.
- Descarta usar tal cual un modelo grande y difícil de explicar en decisiones que exigen una explicación.
- Descarta la combinación invertida de BLEU para resúmenes y ROUGE para traducción.
- Descarta evaluar solo por exactitud un modelo de clasificación con datos muy desequilibrados.
- Descarta desarrollar o ajustar un modelo por tu cuenta cuando basta con un servicio administrado.
- Descarta la confusión de usar Model Monitor para detectar sesgos y Clarify para supervisar la producción.
- Descarta proteger los datos personales solo pidiéndolo en el prompt.
- Descarta la opción que dice que las políticas de IAM bastan por sí solas contra el jailbreak.
- Descarta la opción que dice que los prompts enviados a Bedrock se usan para entrenar los modelos fundacionales.
- Descarta la opción que atribuye a AWS la gestión de los datos y los permisos de acceso del cliente.
- Descarta elegir Config para averiguar quién invocó Bedrock.
- Descarta la opción que presenta AI Service Cards como documentos que el cliente escribe sobre sus propios modelos.
Puntos clave por dominio
Dominio 1 Aspectos básicos de la IA y el ML (20 %)
- El ML está dentro de la IA y el aprendizaje profundo dentro del ML, la IA generativa crea contenido con modelos fundacionales y la IA agéntica planifica y ejecuta herramientas de forma autónoma hacia un objetivo.
- Los tres tipos de aprendizaje son el supervisado (clasificación y regresión), el no supervisado (agrupamiento y detección de anomalías) y el aprendizaje por refuerzo (maximizar la recompensa).
- Los tipos de datos se distinguen por tener o no etiquetas, tabulares, series temporales, imágenes, texto, y estructurados o no estructurados.
- Los cuatro métodos de inferencia son en tiempo real, por lotes, asíncrona y sin servidor.
- La IA no conviene cuando el coste supera al beneficio y cuando se necesita un resultado fijo en lugar de una predicción.
- Entre ML tradicional y modelos fundacionales se elige por la regulación, la necesidad de explicar y las restricciones operativas.
- El ciclo de ML repite la recopilación de datos, el preprocesamiento y la creación de características, el entrenamiento, la evaluación, el despliegue y la supervisión y el reentrenamiento.
- MLOps abarca la gestión de experimentos, los procesos repetibles, la escalabilidad, la gestión de la deuda técnica y la supervisión y el reentrenamiento en producción.
- Las métricas del modelo son exactitud, precisión, exhaustividad y puntuación F1, y las de negocio son el coste por usuario, el coste de desarrollo, la opinión de los clientes y el ROI.
- Transcribe, Translate, Comprehend, Lex, Polly, Rekognition y Personalize son servicios de IA administrados que se usan por API sin entrenar.
Dominio 2 Aspectos básicos de la IA generativa (24 %)
- Un token es la unidad de texto que maneja el modelo, la fragmentación divide documentos para la búsqueda y una incrustación representa el significado como un vector numérico.
- Los modelos de IA generativa incluyen los LLM basados en transformadores, los modelos multimodales que manejan texto, imágenes y más, y los modelos de difusión que crean imágenes.
- El ciclo de vida de un modelo fundacional es selección de datos, selección del modelo, preentrenamiento, ajuste fino, evaluación, despliegue y retroalimentación.
- La ingeniería de contexto consiste en elegir y montar qué se pasa al modelo entre instrucciones, resultados de búsqueda, historial de conversación y resultados de herramientas.
- Los fundamentos de los agentes son el uso de herramientas, la gestión de la memoria, el control del flujo de trabajo, la colaboración entre varios agentes y MCP para conectar con sistemas externos.
- Los puntos fuertes de la IA generativa son la adaptabilidad, la rapidez de respuesta, la conversación y la creación de contenido, y los débiles son las alucinaciones, la baja interpretabilidad, la inexactitud y el no determinismo, que cambia el resultado ante la misma entrada.
- El modelo se elige por tipo, requisitos de rendimiento, capacidades, restricciones, cumplimiento, coste, latencia y complejidad.
- El valor de negocio se mide con ROI, eficiencia, tasa de conversión, ingreso medio por usuario y valor del ciclo de vida del cliente.
- Las herramientas de AWS para crear IA generativa son Bedrock, SageMaker AI, JumpStart, Amazon Quick, Kiro, Strands Agents y Bedrock AgentCore.
- Con el precio por tokens, cuanto más largas son la entrada y la salida, más suben el coste y el tiempo de respuesta, y el coste también depende de si se usa Provisioned Throughput o modelos personalizados.
Dominio 3 Aplicaciones de los modelos fundacionales (28 %)
- El modelo fundacional se elige por coste, modalidad, latencia, soporte multilingüe, tamaño, posibilidad de personalizarlo, longitud de entrada y salida y disponibilidad de caché de prompts.
- Bajar la temperature hace que las respuestas sean coherentes y subirla las hace variadas, y la longitud máxima de salida limita el coste y la extensión de la respuesta.
- RAG pasa al modelo la información interna recuperada como base de la respuesta y se puede construir con Bedrock Knowledge Bases.
- Como bases de datos vectoriales para guardar incrustaciones se pueden usar OpenSearch Service, Aurora, Neptune y RDS for PostgreSQL.
- La ingeniería de prompts es la personalización más barata y le siguen, de menor a mayor coste, RAG, el ajuste fino y el preentrenamiento, mientras que la destilación reduce el coste de operación con un modelo pequeño.
- Un agente de IA avanza de forma autónoma por varios pasos y llamadas a herramientas hacia un objetivo y se usa en la atención al cliente y la automatización de procesos.
- Un prompt se compone de contexto, instrucciones, entrada, formato de salida y un prompt negativo con lo que debe evitarse, y las técnicas incluyen cero ejemplos (zero-shot), un ejemplo (single-shot), pocos ejemplos (few-shot), Chain-of-Thought y plantillas.
- Los riesgos de los prompts son la exposición, el envenenamiento, el secuestro y el jailbreak, y el control de versiones se hace con Bedrock Prompt Management.
- Los elementos del entrenamiento son el preentrenamiento, el ajuste fino (ajuste por instrucciones, adaptación al ámbito y aprendizaje por transferencia), el preentrenamiento continuo y la destilación, los datos deben cuidar calidad, gobernanza, tamaño, etiquetas y representatividad, y RLHF alinea el modelo con las preferencias humanas.
- Se evalúa con evaluación humana, benchmarks, la evaluación de modelos de Bedrock, ROUGE, BLEU, BERTScore y LLM-as-a-judge, y en el negocio se miran la tasa de tareas completadas, la satisfacción y el coste por interacción.
Dominio 4 Pautas para una IA responsable (14 %)
- Entre las características de una IA responsable figuran el sesgo, la equidad, la inclusividad, la robustez, la seguridad y la veracidad.
- Bedrock Guardrails bloquea contenido dañino, temas prohibidos y datos personales tanto en la entrada como en la salida.
- Al elegir un modelo hay que considerar el impacto ambiental y la sostenibilidad además del rendimiento y el coste.
- Los riesgos legales de la IA generativa son las reclamaciones por infracción de propiedad intelectual, los resultados sesgados, la pérdida de confianza de los clientes, el riesgo para los usuarios finales y las alucinaciones.
- Los conjuntos de datos deben ser inclusivos, diversos, de fuentes contrastadas y equilibrados.
- Un sesgo alto lleva al subajuste y una varianza alta al sobreajuste, y ambos causan inexactitud con grupos concretos.
- El sesgo se detecta con el análisis de la calidad de las etiquetas, auditorías humanas, el análisis por subgrupos y SageMaker Clarify.
- Un modelo transparente deja ver cómo funciona, uno explicable puede dar el motivo de cada predicción, y los modelos de aprendizaje profundo más grandes cambian explicabilidad por rendimiento.
- Los medios para mostrar transparencia son SageMaker Model Cards, SageMaker Clarify, la evaluación de modelos de Bedrock, los modelos de código abierto, la divulgación de datos y licencias y AWS AI Service Cards.
- El diseño centrado en las personas da prioridad a los mecanismos para recoger la opinión de los usuarios y a mostrar la base de las decisiones de la IA.
Dominio 5 Seguridad, cumplimiento y gobernanza para las soluciones de IA (14 %)
- Las herramientas para proteger la IA son los roles y políticas de IAM, el cifrado, Macie, PrivateLink, el modelo de responsabilidad compartida y Bedrock Guardrails.
- AgentCore Identity gestiona la identidad y los permisos de los agentes, y AgentCore Policy define las reglas de las acciones que se les permiten.
- El origen de los datos se registra con el linaje de datos, los catálogos de datos y Model Cards, y en las respuestas se citan las fuentes.
- Manejar los datos de forma segura significa evaluar su calidad, usar técnicas que protegen la privacidad, controlar el acceso y garantizar la integridad de los datos.
- Las amenazas propias de la IA son la inyección de prompts, la fuga de datos y los resultados dañinos, que exigen filtrar y validar las salidas y registrar las interacciones.
- Las alucinaciones se reducen con la fundamentación mediante RAG, la validación de las salidas y las puntuaciones de confianza.
- Para la gobernanza se usan Config (cumplimiento de la configuración), Inspector (vulnerabilidades), Artifact (informes), CloudTrail (registro de API) y Trusted Advisor (revisiones).
- La gobernanza de datos se aplica definiendo el ciclo de vida, el registro, la ubicación, la supervisión y el periodo de retención.
- Los procedimientos de gobernanza son las políticas, la frecuencia de revisión, marcos como Generative AI Security Scoping Matrix, los criterios de transparencia y la formación del equipo.
- Generative AI Security Scoping Matrix tiene cinco niveles, desde usar una aplicación de consumo hasta entrenar un modelo propio, y cuanto más se posee, más responsabilidad recae en el cliente.
Servicios en una línea
| Nombre | En una línea |
|---|---|
| Amazon Bedrock | Usar varios modelos fundacionales con una API sin servidor |
| Amazon Bedrock Knowledge Bases | Montar RAG con datos propios |
| Amazon Bedrock Guardrails | Bloquear contenido dañino y datos personales en entrada y salida |
| Amazon Bedrock AgentCore | Plataforma para ejecutar agentes de IA en producción |
| Amazon SageMaker AI | Entorno para crear, entrenar y desplegar modelos de ML |
| SageMaker JumpStart | Catálogo de modelos preentrenados y plantillas de soluciones |
| SageMaker Clarify | Detección de sesgos y explicación de predicciones |
| SageMaker Model Monitor | Supervisión de la calidad del modelo en producción y la deriva de datos |
| SageMaker Model Cards | Registro del uso previsto, la evaluación y los riesgos de un modelo |
| Amazon Comprehend | Extraer sentimientos y entidades de un texto |
| Amazon Textract | Leer texto y tablas de documentos |
| Amazon Rekognition | Análisis de imágenes y vídeos |
| Amazon Nova | Familia de modelos fundacionales que ofrece AWS |
| Amazon Quick | Asistente de IA y BI para usuarios de negocio (incluye Quick Sight) |
| Amazon Q | Q Business responde con datos de la empresa y Q Developer ayuda a desarrollar |
| Strands Agents | SDK de código abierto para crear agentes de IA |
| AWS Transform | Agentes de IA que migran y modernizan aplicaciones e infraestructura antiguas |
| Kiro | Entorno de desarrollo con IA que crea código a partir de especificaciones |
Las 15 trampas principales
- RAG no es reentrenar, solo pasa información recuperada y no cambia los pesos del modelo.
- MCP no es un método de entrenamiento, sino un protocolo estándar que conecta agentes con herramientas y datos externos.
- Bajar la temperature no elimina las alucinaciones.
- ROUGE y BLEU son métricas para texto generado y no se usan para evaluar modelos de clasificación.
- Con datos desequilibrados, una exactitud alta puede ocultar muchos casos omitidos, así que mira la exhaustividad (recall).
- AgentCore Identity no inspecciona las salidas, sino que gestiona la identidad de los agentes y su acceso a las herramientas.
- La caché de prompts no reutiliza respuestas, sino que evita volver a procesar un preámbulo repetido para reducir coste y latencia.
- La revisión humana (human-in-the-loop) consiste en que una persona revise las predicciones, mientras que etiquetar datos de entrenamiento es SageMaker Ground Truth.
- La inyección de prompts cuela instrucciones desde fuera, mientras que el jailbreak hace que el modelo abandone sus límites de seguridad.
- Macie encuentra datos confidenciales en S3, mientras que lo que bloquea los datos personales en las salidas de la IA generativa es Guardrails.
- PrivateLink cierra la ruta de red y es distinto del cifrado de datos (AWS KMS).
- El preentrenamiento continuo añade conocimiento con datos del ámbito sin etiquetar, mientras que el ajuste fino adapta el comportamiento con ejemplos etiquetados.
- La destilación no sirve para crear un modelo más grande, sino para pasar la capacidad de un modelo grande a uno pequeño.
- El precio por tokens es de pago por uso, y Provisioned Throughput sirve para asegurar capacidad estable y de gran volumen.
- Operar la infraestructura de Bedrock es responsabilidad de AWS, mientras que gestionar los prompts, los datos y los permisos de acceso es responsabilidad del cliente.
Comprobación de última hora
- Sé decir el número de preguntas, la duración, el número de preguntas que puntúan y la nota de aprobado.
- Sé nombrar los cinco dominios y su ponderación.
- Sé nombrar los cuatro formatos de pregunta y cuáles solo puntúan si se aciertan por completo.
- Sé explicar la relación entre IA, ML, aprendizaje profundo, IA generativa e IA agéntica.
- Sé nombrar los tres tipos de aprendizaje con un ejemplo de cada uno.
- Sé explicar cuándo usar regresión, clasificación y agrupamiento.
- Sé nombrar los cuatro métodos de inferencia y para qué casos sirve cada uno.
- Sé nombrar dos situaciones en las que no se debe usar IA.
- Sé explicar las diferencias entre exactitud, precisión, exhaustividad y puntuación F1.
- Sé nombrar tres métricas de negocio.
- Sé explicar qué son los tokens, la fragmentación, las incrustaciones y los vectores.
- Sé nombrar cuatro puntos débiles de la IA generativa.
- Sé explicar cómo cambian las respuestas al subir o bajar la temperature.
- Sé explicar cómo funciona RAG y el nombre de la función de AWS para montarlo.
- Sé nombrar cuatro servicios de AWS que sirven como base de datos vectorial.
- Sé ordenar los métodos de personalización del más barato al más caro.
- Sé nombrar cuatro técnicas de prompts.
- Sé nombrar cuatro ataques contra los prompts.
- Sé explicar las diferencias entre ROUGE, BLEU, BERTScore y LLM-as-a-judge.
- Sé nombrar cinco características de una IA responsable.
- Sé explicar cómo se relacionan el sesgo y la varianza con el subajuste y el sobreajuste.
- Sé explicar la función de Clarify, Model Monitor, Model Cards y la revisión humana (human-in-the-loop).
- Sé explicar la diferencia entre transparencia y explicabilidad y su compromiso con el rendimiento.
- Sé nombrar tres riesgos legales de la IA generativa.
- Sé nombrar los dos extremos de los cinco niveles de Generative AI Security Scoping Matrix.
- Sé nombrar cinco servicios de AWS que se usan para la gobernanza.
- Sé nombrar tres formas de reducir las alucinaciones.
- Sé nombrar cuatro componentes para crear agentes de IA.
- Sé nombrar tres responsabilidades del cliente al usar Bedrock según el modelo de responsabilidad compartida.