AWS Entity Resolution

Servicio gestionado que coteja y unifica registros de clientes dispersos en múltiples fuentes de datos para construir perfiles de cliente unificados

Unos 5 min de lectura

Descripción general

AWS Entity Resolution es un servicio totalmente gestionado que coteja (matching) registros de clientes distribuidos en diferentes fuentes de datos, identifica entidades idénticas y las unifica. Realiza la deduplicación de datos de clientes dispersos en múltiples sistemas como CRM, sitios de comercio electrónico y centros de llamadas, utilizando atributos como nombre, dirección, correo electrónico y número de teléfono. Ofrece tanto matching basado en reglas (combinaciones de coincidencia exacta y parcial) como matching basado en ML (determinación de similitud mediante aprendizaje automático), permitiendo elegir según la calidad de los datos y el caso de uso. Se integra directamente con Glue Data Catalog y fuentes de datos en S3, y al incorporarse como parte de un pipeline ETL, automatiza la deduplicación y unificación de registros antes de la carga en el data warehouse.

Diseño del flujo de trabajo de matching

El flujo de trabajo de Entity Resolution consta de 3 pasos: Schema Mapping, Matching Workflow e ID Mapping. En Schema Mapping se mapean las columnas de cada fuente de datos a atributos estándar (nombre, dirección, teléfono, email, etc.), permitiendo tratar datos de diferentes esquemas de forma unificada. En Matching Workflow se definen las reglas de matching, configurando qué combinación de atributos determina que se trata de la misma entidad. En el matching basado en reglas se pueden describir declarativamente condiciones compuestas como "coincidencia exacta de email" OR "coincidencia exacta de teléfono AND coincidencia fonética del apellido". El matching basado en ML detecta con alta precisión coincidencias ambiguas como variaciones de escritura, abreviaciones de direcciones y apellidos de soltera. Los resultados del procesamiento se asignan como Match ID a cada registro, permitiendo identificar de forma única los grupos de registros que pertenecen a la misma entidad.

Integración con servicios de proveedores de datos

Entity Resolution se integra con proveedores de datos de terceros en AWS Data Exchange, ofreciendo funcionalidad de enriquecimiento que complementa los datos propios con datos externos. Por ejemplo, conectándose con servicios de datos de LiveRamp o TransUnion, se puede agregar información demográfica y datos de tendencias de compra a los registros de clientes propios. Esta integración se realiza a través de mecanismos de protección de privacidad (matching basado en tokens cifrados), permitiendo la cotejación de datos sin enviar información personal en bruto al exterior. Libros sobre integración de datos (Amazon) permiten aprender patrones de diseño de gestión de datos maestros. Con la función ID Namespace se pueden mapear de forma segura los sistemas de ID de clientes propios con los sistemas de ID de los proveedores, profundizando la comprensión del cliente a través de múltiples canales. Combinado con Clean Rooms, también se puede utilizar para colaboración de datos con empresas asociadas.

Patrones operativos y optimización de costos

El precio de Entity Resolution se basa en el número de pares de registros comparados en el procesamiento de matching, por lo que el preprocesamiento de datos de entrada es clave para la optimización de costos. Una estrategia de bloqueo efectiva es filtrar previamente registros claramente diferentes (diferentes códigos de país, diferentes géneros) para reducir los objetivos de comparación. Para ejecuciones por lotes periódicas (diarias/semanales) de deduplicación de nuevos registros, se recomienda el patrón de procesamiento incremental que solo procesa registros diferenciales desde la última ejecución. Combinado con trabajos de Glue, se puede construir un pipeline event-driven que se ejecuta automáticamente al llegar nuevos archivos a S3. Para el ajuste de precisión del matching, se calibran los umbrales según los requisitos del negocio, equilibrando False Positives (identificados erróneamente como iguales) y False Negatives (iguales pero no detectados). Para marketing se prioriza el recall, mientras que para compliance financiero se prioriza la precisión.

共有するXB!

Términos relacionados

AWS GlueAWS Lake FormationAWS Clean RoomsAmazon Athena

Servicios relacionados

AWS GlueAWS Lake FormationAWS Clean RoomsAmazon S3

Artículos relacionados

Colaboración de datos con preservación de privacidad con AWS Clean RoomsEjecute análisis conjuntos entre múltiples empresas sin compartir ni copiar datos. Aprenda sobre reglas de agregación para prevenir la identificación individual y Cryptographic Computing para análisis cifrado.Construcción de data lake con Amazon S3 y Lake Formation - Patrones de diseño y gobernanzaPatrones de diseño de data lake con S3 como base de almacenamiento y control de acceso granular con Lake Formation. También se explican pipelines ETL y optimización de costos.Análisis de datos con privacidad mejorada - Colaboración segura de datos con AWS Clean RoomsExplicamos el análisis de datos con protección de privacidad usando AWS Clean Rooms. Presentamos la colaboración de datos entre múltiples organizaciones, el control de acceso mediante reglas de análisis y el uso de privacidad diferencial.Unificación de identidad de clientes - Resolución de entidades de datos de clientes dispersos con AWS Entity ResolutionResolución de entidades (name matching) de datos de clientes con AWS Entity Resolution. Matching basado en ML, matching basado en reglas, protección de privacidad e integración con Clean Rooms.Gobernanza de data lake - Control de acceso centralizado con AWS Lake FormationConstrucción, control de acceso y gobernanza de data lake con AWS Lake Formation. Gestión granular de permisos a nivel de columna y fila para data lakes basados en S3, e integración con Glue y Athena.

Términos y artículos similares

Unificación de identidad de clientes - Resolución de entidades de datos de clientes dispersos con AWS Entity ResolutionResolución de entidades (name matching) de datos de clientes con AWS Entity Resolution. Matching basado en ML, matching basado en reglas, protección de privacidad e integración con Clean Rooms.Coincidencia de registros con AWS Entity Resolution - Deduplicación e integración de datos de clientesExplicamos la coincidencia de registros de múltiples fuentes de datos con Entity Resolution y el diseño de flujos de trabajo de coincidencia.AWS Entity ResolutionUn servicio de coincidencia de datos que reconcilia y unifica registros de diferentes fuentes de datosColaboración de datos con preservación de privacidad con AWS Clean RoomsEjecute análisis conjuntos entre múltiples empresas sin compartir ni copiar datos. Aprenda sobre reglas de agregación para prevenir la identificación individual y Cryptographic Computing para análisis cifrado.La estructura oculta de los 12 dígitos del ID de cuenta de AWS - Por qué son 12 dígitos y qué se puede inferirUna exploración curiosa de por qué los ID de cuenta de AWS son números de 12 dígitos, la intención de diseño incorporada en la estructura ARN, y las consideraciones de seguridad sobre lo que se puede inferir a partir de un ID de cuenta.