Amazon Redshift が Apache Iceberg マテリアライズドビューの作成と更新をサポート

Amazon Redshift は Apache Iceberg マテリアライズドビューの作成と更新をサポートするようになった。マテリアライズドビューは、複雑な結合や集計を事前計算し、その結果を Amazon S3 または S3 テーブルバケットに格納する。これらの結果は AWS Glue データカタログに登録され、Amazon Athena、Amazon EMR 上の Apache Spark、AWS Glue、その他の Iceberg 互換エンジンで即座にクエリを実行できる。Redshift は手動による増分更新で結果を最新に保ち、結果は Glue データカタログ内の Iceberg テーブルとして管理され、他のカタログテーブルと同様に管理および検出できる。データチームは、異なるエンジンでデータをクリーニングおよび変換するパイプラインオーケストレーションのオーバーヘッドを減らし、すべてのダウストリーム消費者が同じオープンな結果を共有できる。結果はオープンな Iceberg テーブルとして提供され、コピーや変換なしで任意のエンジンで読み取れる。また、これらのテーブルを Redshift マネージドストレージ (RMS) に読み込んで、最もパフォーマンスに敏感なダッシュボード用にネイティブな RMS マテリアライズドビューとして使用することもできる。Iceberg マテリアライズドビューは、Redshift Serverless およびプロビジョニングされた Graviton インスタンスがサポートされているすべてのリージョンで作成できる。

この更新の位置づけ

この更新は、データ分析パイプラインの効率化と一貫性確保を目指すデータチームに有益である。複数のエンジン間でのデータ変換やオーケストレーションのオーバーヘッドを削減し、一貫した結果を提供する。