AWS Lake Formation のアイコン

AWS Lake Formation 专业2019年〜

简化数据湖构建、管理和安全的服务

它能做什么

AWS Lake Formation 是一项在 S3 上构建数据湖,统一进行数据摄取、编目和安全管理的服务。提供表、列级别的精细访问控制,统一管理来自 AthenaRedshiftEMR 等分析服务的访问。

使用场景

用于企业数据湖构建、多数据源的整合与分析、数据治理的实施,以及部门间的数据共享和访问控制。

日常类比

可以将其比作图书馆的藏书管理系统。将来自各出版社 (数据源) 的书籍 (数据) 进行分类登记 (编目),并按用户 (分析师) 控制可阅览的书籍 (访问控制)。

什么是 Lake Formation

AWS Lake Formation 是简化数据湖设置和管理的服务。数据湖是在 S3 上统一存储结构化、半结构化和非结构化数据的仓库。Lake Formation 提供数据摄取、与 Glue Data Catalog 的集成,以及精细的访问控制。

访问控制与数据共享

Lake Formation 最大的特点是表、列、行级别的访问控制。仅靠 IAM 策略难以实现的精细数据访问控制,可通过 Lake Formation 的权限模型统一管理。数据共享功能还可在不同 AWS 账户间安全地共享数据。 如需深入了解访问控制与数据共享,可参考 Amazon 相关书籍

如何开始

在 Lake Formation 控制台设置数据湖管理员,将 S3 存储桶注册为数据湖位置。使用 Glue 爬虫程序对数据进行编目,通过 Lake Formation 权限设置访问权限。从 AthenaRedshift Spectrum 执行查询时,Lake Formation 的访问控制会自动应用。

注意事项

  • 由于同时应用 Lake Formation 的访问控制和 IAM 策略,权限设计可能会变得复杂
  • Lake Formation 本身免费。Glue、S3、Athena 等的使用费用另行产生
共有するXB!