Fundamentos de la IA generativa
Qué aprenderá
En este dominio se aprenden las técnicas centrales de la IA generativa: el concepto de modelo base (Foundation Model), las características del Transformer y de los LLM, los fundamentos de la ingeniería de prompts, Retrieval-Augmented Generation (RAG) y el ajuste fino. Es un dominio de aparición frecuente que representa el 24 % de las preguntas del AIF-C01 y constituye el tema central del uso moderno de la IA.
Puntos clave
- Modelo base (Foundation Model): modelo de propósito general preentrenado con grandes volúmenes de datos y reutilizable en diversas tareas
- Gran modelo de lenguaje (LLM): modelo base que maneja texto. GPT, Claude y Llama son ejemplos representativos
- Transformer: arquitectura que utiliza el mecanismo de autoatención (self-attention) y es la estructura estándar de los LLM actuales
- Ingeniería de prompts: técnica de diseñar las instrucciones (prompts) que extraen del LLM la salida deseada
- Cero ejemplos / pocos ejemplos: métodos para que el LLM ejecute una tarea sin ejemplos / con unos pocos ejemplos
- RAG (Retrieval-Augmented Generation): obtiene información relevante de una base de conocimiento externa y la añade al prompt del LLM para mejorar la precisión de las respuestas
- Diferencia entre ajuste fino y preentrenamiento: el preentrenamiento aprende desde cero con grandes volúmenes de datos, mientras que el ajuste fino entrena adicionalmente un modelo existente para un uso específico
- Alucinación: el fenómeno por el cual el LLM genera de forma verosímil contenido que no es cierto. Se frena con RAG y con verificación
Términos y conceptos
Modelo base (Foundation Model)
Es un modelo de gran escala preentrenado con una gran cantidad de datos de propósito general, que puede aplicarse a diversas tareas mediante ajuste fino o prompts. Sus usos se amplían a los LLM para texto, la generación de imágenes, el audio, lo multimodal, etc. En Bedrock se pueden usar varios modelos base a través de la API.
→ Selección de modelos en Bedrock ・ → Amazon Bedrock Glosario
Ingeniería de prompts
Es la técnica de elaborar las instrucciones que extraen del LLM la salida deseada. Existen técnicas como la asignación de un rol ("eres un médico"), la especificación del formato de salida ("responde en JSON"), la inclusión de ejemplos (pocos ejemplos) y el fomento del razonamiento paso a paso (Chain-of-Thought).
RAG (Retrieval-Augmented Generation)
Es un método que busca, en una base de conocimiento externa (documentos internos, bases de datos, etc.), la información relacionada con la pregunta y la añade al prompt del LLM antes de generar la respuesta. Suple información que el LLM desconoce o que está desactualizada y permite frenar las alucinaciones. Se implementa combinándolo con Bedrock Knowledge Bases o Kendra.
→ RAG con Bedrock Knowledge Bases ・ → Búsqueda empresarial con IA
Ajuste fino y preentrenamiento
El preentrenamiento (pre-training) es el proceso de entrenar un modelo base desde cero con grandes volúmenes de datos, que requiere enormes recursos de cómputo. El ajuste fino es el proceso de entrenar adicionalmente un modelo ya preentrenado con una pequeña cantidad de datos de un dominio concreto (derecho, medicina, etc.), lo que permite aumentar la especialización conteniendo los costes.
Alucinación (Hallucination)
Es el fenómeno por el cual el LLM genera de forma verosímil información que no está en los datos de entrenamiento o contenidos que difieren de los hechos. La causa reside en la naturaleza del modelo de generar "el carácter que con más naturalidad parece continuar". Su impacto se reduce aportando fundamentos mediante RAG, verificando la salida con barandillas y con revisión humana.
Compruebe su comprensión
Compruebe lo aprendido con 5 preguntas