AWS Lake Formation Especializado2019年〜
Servicio que simplifica la construcción, gestión y seguridad de data lakes
Qué hace
AWS Lake Formation es un servicio para construir data lakes en S3 y gestionar centralmente la ingesta de datos, catalogación y seguridad. Proporciona control de acceso detallado a nivel de tabla y columna, y gestiona uniformemente el acceso desde servicios de análisis como Athena, Redshift y EMR.
Casos de uso
Se utiliza para construir data lakes empresariales, integrar y analizar múltiples fuentes de datos, implementar gobernanza de datos y gestionar el intercambio de datos y control de acceso entre departamentos.
Analogía cotidiana
Es como un sistema de gestión de catálogo de biblioteca. Clasifica y registra (cataloga) libros (datos) que llegan de varios editores (fuentes de datos), y controla qué libros puede acceder cada usuario (analista) (control de acceso).
¿Qué es Lake Formation?
AWS Lake Formation es un servicio que simplifica la configuración y gestión de data lakes. Un data lake es un repositorio basado en S3 que almacena centralmente datos estructurados, semiestructurados y no estructurados. Lake Formation proporciona ingesta de datos, integración con el Glue Data Catalog y control de acceso detallado.
Control de acceso e intercambio de datos
La característica destacada de Lake Formation es el control de acceso a nivel de tabla, columna y fila. El control de acceso detallado a datos que es difícil de lograr solo con políticas de IAM se puede gestionar uniformemente a través del modelo de permisos de Lake Formation. La función de intercambio de datos también permite compartir datos de forma segura entre diferentes cuentas de AWS. Para profundizar en la comprensión del control de acceso e intercambio de datos, los libros de referencia en Amazon también merecen la pena.
Primeros pasos
Configure un administrador de data lake en la consola de Lake Formation y registre un bucket S3 como ubicación del data lake. Catalogue sus datos con crawlers de Glue y configure permisos de acceso a través de los permisos de Lake Formation. Cuando ejecute consultas desde Athena o Redshift Spectrum, los controles de acceso de Lake Formation se aplican automáticamente.
Aspectos a tener en cuenta
- Se aplican tanto los controles de acceso de Lake Formation como las políticas de IAM, lo que puede hacer complejo el diseño de permisos
- Lake Formation en sí es gratuito. Se aplican cargos separados para Glue, S3, Athena y otros servicios
