Construcción de búsqueda empresarial con Amazon Kendra - Consultas en lenguaje natural y extracción automática de FAQ
Construya una plataforma de búsqueda empresarial que permita buscar documentos internos en lenguaje natural. Presentamos la configuración de conectores de fuentes de datos, el ajuste de precisión de búsqueda y la integración con RAG.
Descripción general de Kendra
Kendra es un servicio de búsqueda empresarial que aprovecha ML. A diferencia de la búsqueda tradicional por palabras clave, cuando se pregunta en lenguaje natural "¿Cómo solicito vacaciones pagadas?", extrae la sección relevante del documento de normativas internas y responde directamente. Los resultados de búsqueda resaltan las secciones relevantes del documento, se conecta con sistemas internos mediante más de 40 conectores de fuentes de datos y admite consultas en lenguaje natural en 14 idiomas. También puede utilizarse como recuperador para RAG. Internamente utiliza modelos transformer basados en BERT para la coincidencia semántica entre consultas y documentos, manejando sinónimos y variaciones sin depender exclusivamente de coincidencias exactas de palabras clave.
Fuentes de datos y ajuste de precisión
Los conectores de fuentes de datos se conectan con sistemas internos como S3, SharePoint, Confluence y ServiceNow, realizando rastreo e indexación periódicos. Los conectores compatibles con ACL filtran los resultados de búsqueda según los permisos de visualización del usuario. Para el ajuste de precisión de búsqueda, son efectivos el registro de diccionarios de sinónimos personalizados, el impulso de importancia (ponderación de campos específicos) y el aprovechamiento del feedback de usuarios. Los diccionarios de sinónimos admiten asignaciones unidireccionales (por ejemplo, "vacaciones" a "licencia remunerada") y sinónimos bidireccionales, lo que ayuda a cubrir jerga del sector y abreviaturas internas. El impulso de campos permite asignar un multiplicador de 10x a títulos o preguntas de FAQ, elevando las coincidencias precisas por encima de los resultados ruidosos del cuerpo del texto.
Integración con RAG e IA generativa
Kendra proporciona resultados de búsqueda de alta precisión a aplicaciones de IA generativa como recuperador para RAG (Generación Aumentada por Recuperación). Combinando los modelos base de Amazon Bedrock con Kendra, puede construir chatbots que generen respuestas precisas basadas en documentos internos. La API Retrieve de Kendra obtiene extractos de documentos relevantes y los pasa como contexto en el prompt al modelo base. El control de acceso basado en ACL garantiza que solo se devuelvan resultados que coincidan con los permisos del usuario, previniendo la fuga de información confidencial. El enriquecimiento personalizado de documentos permite ejecutar funciones Lambda para agregar metadatos o preprocesar texto antes de la indexación. Para comprender el diseño del modelo de Kendra, libros relacionados (Amazon) pueden ser una referencia útil.
Comparación con Amazon Q Business
Amazon Q Business, que alcanzó disponibilidad general en 2024, es un servicio completamente administrado que incorpora la tecnología de indexación de Kendra mientras integra la generación de respuestas con IA generativa y la conectividad de plugins. Q Business proporciona una experiencia de interfaz de chat integral para responder preguntas basadas en información interna, eliminando la necesidad de diseñar una UI de búsqueda desde cero. Kendra, por otro lado, destaca en flexibilidad al permitir llamadas directas a la API Retrieve y Query API para incorporar la lógica de clasificación de resultados y la capa de presentación en su aplicación personalizada. Cuando necesita integrar un motor de búsqueda en una UI o portal personalizado existente, o cuando desea seleccionar su propio LLM y construir un pipeline RAG, Kendra es la mejor opción. Si necesita integrar acciones como "reservar una reunión" o "crear un ticket", el mecanismo de plugins de Q Business tiene ventaja. Los dos servicios no son mutuamente excluyentes: puede configurar un índice Kendra como fuente de datos para Q Business.
Mejores prácticas de diseño y errores comunes
En el diseño del índice, dividir cada documento en fragmentos de tamaño apropiado impacta significativamente la precisión de búsqueda. Kendra procesa hasta 5 MB de texto por documento, pero ingerir PDFs extensos sin procesar puede hacer que las respuestas pierdan foco. Pre-dividir por secciones lógicas y adjuntar metadatos (departamento, tipo de documento, fecha de publicación) a cada fragmento permite la búsqueda facetada y el filtrado para mejorar la precisión. Un error común es la configuración incorrecta de los horarios de sincronización. Configurar la sincronización del conector cada hora activa la re-indexación incluso para documentos sin cambios, consumiendo unidades de capacidad de consulta (QCUs) e inflando costos. Para conectores con detección de cambios, use la sincronización incremental. Para conectores S3, activar la sincronización en tiempo real mediante eventos de creación de objetos en EventBridge proporciona un enfoque más rentable. Las fuentes de datos FAQ aceptan pares de preguntas y respuestas en formato CSV o JSON y muestran respuestas a preguntas comunes en la parte superior de los resultados, reduciendo directamente la carga del servicio de soporte.
Precios y optimización de Kendra
Los precios de Kendra se determinan por la edición del índice (Developer o Enterprise), la frecuencia de sincronización de conectores y el número de documentos. La edición Developer cuesta aproximadamente 810 USD al mes y admite hasta 10.000 documentos y 4.000 consultas/día. La edición Enterprise cuesta aproximadamente 1.008 USD al mes y admite hasta 100.000 documentos y 8.000 consultas/día. Se puede escalar con unidades adicionales de almacenamiento de documentos y capacidad de consulta. Optimice los horarios de sincronización de conectores según la frecuencia de actualización de datos y evite la re-indexación innecesaria. Aprovechar las fuentes de datos FAQ para responder directamente preguntas frecuentes mejora tanto la precisión de búsqueda como la experiencia del usuario. La edición Developer carece de arquitectura de alta disponibilidad, por lo que se debe elegir Enterprise para cargas de trabajo de producción y reservar Developer solo para validación de PoC.
Resumen
Kendra es un servicio de búsqueda empresarial basado en ML que proporciona respuestas a preguntas mediante consultas en lenguaje natural y su uso como recuperador para RAG. Se conecta con sistemas internos mediante más de 40 conectores de fuentes de datos y devuelve resultados de búsqueda según los permisos del usuario con control de acceso basado en ACL. Mejore la precisión de búsqueda con enriquecimiento personalizado de documentos y fuentes de datos de FAQ. Comprenda la división de roles con Q Business y elija Kendra cuando necesite personalización de la UI de búsqueda o desee construir su propio pipeline RAG.