新機能重要度 中
Amazon MSK Express が Apache Iceberg ストリーミングテーブルへのデータ配信を開始
Amazon MSK Express は、Apache Kafka トピックを Amazon S3 Tables 上の Apache Iceberg テーブルに継続的に配信する機能を提供する。これにより、データイングエストとダウンストリームクエリのコストを最大 60％と 30％それぞれ削減できる。
Amazon MSK Express ブローカが、Apache Kafka トピックを Amazon S3 Tables 上の Apache Iceberg テーブルに継続的に配信する機能を提供する。この機能により、Apache Kafka データのイングエストと配信コストを、自己管理デプロイと比較して最大 60％削減し、ダウンストリームクエリコストを最大 30％削減する。インテリジェントなインラインコンパクションにより、小ファイルの問題によるパフォーマンス影響を排除し、クエリパフォーマンスを予測可能に保つ。最大 10 GB/s のスループットをサポートし、ブローカ出力スループットに追加コストがかからない。ユーザーは Apache Spark、Trino、Apache Flink など任意のエンジンでデータクエリや変換が可能。設定は MSK コンソールまたは API で数クリックで有効化できる。この機能は、Amazon MSK Express が提供されるすべての AWS リージョンで利用可能。