Amazon Kinesis Data Streams がストリーミングテーブルを発表、Apache Iceberg 形式で S3 Tables へデータ配信

Amazon Kinesis Data Streams は、ストリーミングテーブルという新しいサーバーレス機能を導入した。この機能により、Kinesis ストリームから Amazon S3 Tables へ Apache Iceberg 形式で継続的にデータを提供できる。ストリーミングテーブルは、自己管理する Iceberg 配信パイプラインの構築と運営が必要なく、データ配信コストを最大 50% 削減する。インテリジェントなインラインコンパクションにより、小ファイルの問題を解消し、クエリパフォーマンスを予測可能に保ち、ダウストリームクエリコストを最大 30% 削減する。Kinesis Data Streams が自動的にスケーリング、リトライ、コンパクション、および配信の信頼性を処理し、数分で配信する。カスタムアプリケーション、自己管理コンピュート、および運用オーバーヘッドは不要である。ストリーミングテーブルは、オンデマンドアドバンテージとオンデマンドスタンダードの容量モードをサポートし、使用に基づく価格設定で、セットアップ料金や最低コミットメントはない。成功したデータ配信に対してのみ請求される。ストリーミングテーブルは、Amazon Kinesis Data Streams が利用可能なすべての AWS リージョンで利用可能で、AWS GovCloud (US) および中国リージョンも含む。

この更新の位置づけ

この更新は、ストリーミングデータを Apache Iceberg テーブルに配信して、ほぼリアルタイムの分析や AI/ML フィーチャーパイプラインをサポートする必要があるユーザーに有益である。Kinesis Data Streams は、任意のスケールでデータストリームのキャプチャ、処理、保存を容易にするサーバーレスストリーミングデータサービスである。