AWS Lake Formation のアイコン

AWS Lake Formation 専門2019年〜

データレイクの構築・管理・セキュリティを簡素化するサービス

何ができるか

AWS Lake Formation は、S3 上にデータレイクを構築し、データのインジェスト、カタログ化、セキュリティ管理を一元的に行うサービスです。テーブル・カラムレベルの細かいアクセス制御を提供し、AthenaRedshiftEMR などの分析サービスからのアクセスを統一的に管理します。

どのような場面で使うか

企業のデータレイク構築、複数データソースの統合と分析、データガバナンスの実装、部門間のデータ共有とアクセス制御に利用されます。

身近な例え

図書館の蔵書管理システムに例えられます。さまざまな出版社 (データソース) から届く本 (データ) を分類・登録 (カタログ化) し、利用者 (分析者) ごとに閲覧可能な本を制御 (アクセス制御) します。

Lake Formation とは

AWS Lake Formation は、データレイクのセットアップと管理を簡素化するサービスです。データレイクとは、構造化・半構造化・非構造化データを一元的に格納する S3 ベースのリポジトリです。Lake Formation はデータのインジェスト、Glue Data Catalog との統合、きめ細かいアクセス制御を提供します。

アクセス制御とデータ共有

Lake Formation の最大の特徴は、テーブル・カラム・行レベルのアクセス制御です。IAM ポリシーだけでは実現が難しいきめ細かいデータアクセス制御を、Lake Formation のパーミッションモデルで統一的に管理できます。データ共有機能で、異なる AWS アカウント間でのデータ共有も安全に行えます。 アクセス制御とデータ共有をさらに深く理解するには、Amazon の解説書 も参照してみてください。

はじめかた

Lake Formation コンソールでデータレイク管理者を設定し、S3 バケットをデータレイクのロケーションとして登録します。Glue クローラーでデータをカタログ化し、Lake Formation のパーミッションでアクセス権限を設定します。AthenaRedshift Spectrum からクエリを実行すると、Lake Formation のアクセス制御が自動的に適用されます。

注意点

  • Lake Formation のアクセス制御と IAM ポリシーの両方が適用されるため、権限設計が複雑になる場合がある
  • Lake Formation 自体は無料。Glue、S3、Athena などの利用料金が別途発生する
共有するXB!