Aurora PostgreSQL が Apache Iceberg および Parquet データのクエリをサポート
Aurora PostgreSQL で、既存の PostgreSQL アプリケーションやツールを使用して、Apache Iceberg および Parquet 形式のデータレイクに格納されたデータに直接クエリを実行できる。ETL パイプラインやデータ重複が不要。
本日より、Aurora PostgreSQL では、Apache Iceberg および Parquet 形式のデータレイクに格納されたデータに、既存の PostgreSQL アプリケーションやツールを使用して直接クエリを実行できる。ETL パイプラインやデータ重複を必要としない。PostgreSQL の外部テーブルを作成して、Amazon S3、Amazon S3 Tables、または AWS Glue Data Catalog に格納された Iceberg または Parquet データを参照できる。顧客がこれらの外部テーブルにクエリを実行すると、Aurora は PostgreSQL に組み込まれた DuckDB の高性能クエリエンジンを使用して、基盤の Iceberg および Parquet データに対してクエリを実行する。既存のアプリケーションや BI ツールは同じ PostgreSQL インターフェイスを継続して使用できる。外部の Iceberg REST カタログ (IRC) 互換カタログを AWS Glue Data Catalog を介して連合し、データ移動や重複なしでクエリを実行できる。レイテンシーの高いワークロードについては、標準の SQL ステートメントを使用して Iceberg または Parquet データをネイティブな Aurora PostgreSQL テーブルにマテリアライズできる。ETL パイプラインは不要。この機能は、Aurora PostgreSQL のバージョン 17.11、18.6 以降で、すべての AWS 商用および GovCloud (US) リージョンで一般提供され、追加料金はかからない。開始するには、Amazon RDS コンソールまたは任意の PostgreSQL クライアントを使用する。詳細は、ブログ投稿またはドキュメンテーションを参照。
この更新の位置づけ
この更新は、データレイクからデータにアクセスする必要があるアプリケーション開発者やデータエンジニアにとって有用。データレイクから Aurora へのデータコピーや ETL パイプラインを必要としないため、コストとエンジニアリング作業を削減できる。