Gobernanza de datos con Amazon DataZone - Descubrimiento, compartición y control de acceso a datos
Presentamos cómo construir un catálogo de datos basado en dominios y lograr el descubrimiento, compartición y control de acceso a datos mediante flujos de trabajo de suscripción.
Descripción general de DataZone
DataZone es un servicio que integra el descubrimiento, la compartición y la gobernanza de datos dentro de una organización. Los productores de datos publican activos de datos en el catálogo, y los consumidores de datos buscan los datos necesarios en el catálogo y solicitan una suscripción. Tras la aprobación, los consumidores pueden acceder directamente a los datos desde Athena o Redshift. DataZone proporciona una interfaz de portal que permite incluso a usuarios de negocio no técnicos buscar y explorar activos de datos desde un navegador. Su objetivo principal es visualizar el panorama completo de los activos de datos de una organización y habilitar la utilización transversal de datos aislados.
Dominios y suscripciones
Los dominios son grupos lógicos que corresponden a unidades de negocio o equipos, y clarifican la propiedad y responsabilidad de gestión de los datos. Cada dominio puede tener un propietario de datos designado con autoridad delegada para la publicación de activos y aprobación de suscripciones dentro de ese dominio. Los proyectos son la unidad de trabajo dentro de un dominio donde los usuarios consumen datos, gestionando conexiones a entornos analíticos (Athena/Redshift). En el flujo de trabajo de suscripción, los consumidores solicitan acceso a un activo de datos y el productor o administrador lo aprueba. Tras la aprobación, los permisos de Lake Formation se otorgan automáticamente y los consumidores pueden ejecutar consultas desde Athena.
Calidad de datos y gestión del catálogo
Las reglas de calidad de datos de DataZone verifican automáticamente la calidad de los activos de datos publicados. Se definen reglas de completitud (porcentaje de valores NULL), unicidad (registros duplicados) y frescura (fecha de última actualización), y se muestra la puntuación de calidad en el catálogo. El glosario de términos de negocio gestiona definiciones de términos comunes de la organización, y al etiquetar los activos de datos, permite buscar datos no solo por nombres técnicos de tablas sino también por su significado empresarial. Los formularios de metadatos definen atributos personalizados como propietario de datos, frecuencia de actualización y nivel de confidencialidad, adjuntando la información necesaria para la gobernanza a los activos de datos. La integración con el catálogo de datos de Glue permite incorporar las definiciones de tablas existentes al catálogo de DataZone. Las tablas de Redshift también pueden registrarse en el catálogo. En la búsqueda, los usuarios pueden encontrar activos objetivo con términos del glosario de negocio sin conocer nombres exactos de tablas.
Precios de DataZone
Los precios de DataZone dependen del uso. En organizaciones grandes, se revisan periódicamente los activos innecesarios. La integración con el catálogo de datos de Glue permite aprovechar los metadatos existentes y evitar la gestión duplicada de catálogos.
Integración con Lake Formation y Glue - Patrones de diseño
DataZone se integra con Lake Formation. La concesión de permisos durante la aprobación de suscripciones se implementa mediante los controles de acceso a nivel de tabla y columna de Lake Formation. Esto permite la seguridad a nivel de columna donde diferentes consumidores ven diferentes columnas mientras referencian los mismos datos en S3. Las definiciones de tablas del catálogo de datos de Glue se pueden incorporar al catálogo de DataZone. Para configuraciones multi-cuenta, se puede usar un patrón Hub-Spoke donde el dominio de DataZone se coloca en una cuenta de gobernanza central y los catálogos de Glue de cuentas de carga de trabajo se federan. Esta configuración centraliza la gestión de políticas de gobernanza mientras mantiene los datos físicamente distribuidos entre cuentas. La configuración de entornos (Environment) vincula workgroups de Athena o clústeres de Redshift, aprovisionando automáticamente un estado listo para consultas para los consumidores inmediatamente después de la aprobación.
Errores comunes en la implementación y mejores prácticas operativas
Existen patrones de fallo comunes al implementar DataZone. Si el diseño de dominios es demasiado grueso (por ejemplo, un solo dominio para toda la empresa), los flujos de aprobación se centralizan y se convierten en cuellos de botella; si es demasiado granular (por ejemplo, un dominio por tabla), la gestión se vuelve engorrosa. Los dominios se diseñan con el alcance de unidades de negocio o líneas de producto. Comenzar operaciones sin preparar un glosario de negocio resulta en baja precisión de búsqueda del catálogo, impidiendo que los usuarios encuentren los datos objetivo. Antes del despliegue de DataZone, prepare las definiciones de términos de los principales dominios de datos. Establecer reglas de calidad de datos demasiado estrictas desde el inicio impide la publicación de tablas existentes con puntuaciones de calidad bajas, bloqueando la adopción práctica. Comience con umbrales relajados y mejore la calidad en paralelo. Para prevenir la obsolescencia del catálogo, asigne responsabilidad de inventario trimestral a los propietarios de datos con reglas operativas para despublicar activos no utilizados.
Resumen
DataZone es un servicio que integra el descubrimiento, la compartición y la gobernanza de datos. La gestión de propiedad basada en dominios clarifica la responsabilidad de los datos, y los flujos de trabajo de suscripción permiten la compartición de datos basada en aprobaciones. La integración con Lake Formation proporciona seguridad a nivel de columna y soporte multi-cuenta para requisitos de gobernanza a escala empresarial. Las reglas de calidad de datos y el glosario de términos de negocio mejoran la fiabilidad y la capacidad de búsqueda del catálogo.
Referencias (recursos oficiales de AWS)
Las fuentes primarias de esta página son el sitio web y la documentación oficiales de AWS. Consulta las páginas oficiales siguientes para conocer las especificaciones y los precios más recientes.
- Amazon DataZone (página oficial)
- AWS Glue (página oficial)
- Amazon Athena (página oficial)
- Documentación de AWS (oficial)
Si esta página y la documentación oficial difieren, prevalece la documentación oficial.