AWS Glue Data Catalog が Apache Iceberg V3 のテーブル最適化、統計情報、クローラーをサポート

AWS Glue Data Catalog が Apache Iceberg バージョン 3 (V3) テーブル用にテーブル最適化、統計情報、クローラーをサポートするようになった。これにより、V3 テーブルを自動的に管理し、クエリパフォーマンスを最適化し、Amazon S3 で検出できるようになる。テーブル最適化では、binpack、ソート、z-order 戦略を使用して V3 テーブルを圧縮し、クエリパフォーマンスを向上させ、有効期限切れのスナップショットや孤立したファイルを削除してストレージコストを削減できる。これらの最適化は、variant、地理空間、ナノ秒精度のタイムスタンプなど、V3 データタイプをサポートする。NDV 統計情報を生成して、分析エンジンが効率的にクエリを計画できるようにすることもできる。さらに、Glue クローラーを 사용하여 Amazon S3 に保存された V3 テーブルを検出し、Glue Data Catalog に登録して、V3 対応エンジンでクエリを実行できる。これらの機能は、Glue Data Catalog のテーブル最適化、統計情報、クローラーが提供されているすべての AWS リージョンで利用可能である。

この更新の位置づけ

データエンジニアやデータアナリストは、Apache Iceberg V3 テーブルを効率的に管理し、パフォーマンスを最適化する必要がある場合に、この機能を利用できる