Construcción de un data lake con AWS Lake Formation - Control de acceso granular y catálogo de datos
Establezca la gobernanza del data lake con control de acceso granular a nivel de columna y fila y gestión basada en etiquetas. Presentamos la integración con Glue Data Catalog y el acceso entre cuentas.
Descripción general de Lake Formation
Lake Formation es un servicio que simplifica la construcción, gestión y seguridad de data lakes en S3. Tradicionalmente, el control de acceso a data lakes en S3 se gestionaba con una combinación de políticas de bucket de S3 y políticas de IAM, pero el control a nivel de columna y fila era difícil. Lake Formation gestiona permisos en 4 niveles: base de datos, tabla, columna y fila, y escala a data lakes con miles de tablas.
Control de acceso y gestión basada en etiquetas
En el modelo de permisos de Lake Formation, se otorgan permisos SELECT, INSERT y DELETE sobre bases de datos, tablas y columnas a principales (usuarios IAM, roles). Los filtros a nivel de fila pueden restringir el acceso solo a filas que cumplan condiciones específicas, permitiendo que cada departamento solo vea los datos de su propio departamento. Con LF-TBAC, se asignan etiquetas a los datos (por ejemplo: sensitivity=high) y se definen permisos basados en esas etiquetas, simplificando la gestión de permisos en entornos a gran escala sin necesidad de definir permisos tabla por tabla.
Acceso entre cuentas y auditoría
La compartición entre cuentas de Lake Formation otorga permisos de acceso a tablas y bases de datos a otras cuentas dentro de Organizations. Usando RAM (Resource Access Manager), se crean enlaces de recursos y se muestran las tablas compartidas en el catálogo de Glue de la cuenta consumidora. Los filtros de datos definen el control de acceso a nivel de fila y celda, permitiendo que diferentes cuentas vean diferentes subconjuntos de la misma tabla. CloudTrail registra todos los accesos a datos, proporcionando un registro de auditoría completo para cumplimiento.
Precios y operaciones de Lake Formation
Lake Formation en sí no tiene cargos adicionales. Los costos dependen del almacenamiento S3 subyacente, los crawlers y jobs de Glue, y los cargos de consultas de Athena. Al usar la función de transacciones de Lake Formation (Governed Tables), se generan cargos adicionales por llamadas a la API de transacciones y almacenamiento. El costo operativo de la gestión de permisos se reduce significativamente al introducir LF-TBAC, ya que los permisos se gestionan por etiquetas en lugar de tabla por tabla.
Resumen
Lake Formation es un servicio que proporciona control de acceso granular a data lakes en S3. Eficientiza la gestión de permisos en entornos a gran escala con gestión de permisos a nivel de columna y fila y LF-TBAC (control de acceso basado en etiquetas), y realiza de forma segura la compartición de datos dentro de Organizations con compartición entre cuentas. Registra logs de auditoría de acceso a datos con integración de CloudTrail y construye la base de la gobernanza de datos.