Amazon MSK のアップデート

Amazon MSK がデータ転送中の TLS 1.3 をサポート

Amazon MSK はプロビジョニング済みクラスターで TLS 1.3 をサポートし、ストリーミングデータの暗号化をより高速かつ安全にします。セキュリティポリシーを選択することで TLS 1.3 を有効にでき、既存のクラスターには変更は不要です。

マネージド Prometheus コレクタが Amazon MSK のコンシューマーグループメトリクスをサポート

Amazon Managed Service for Prometheus と Amazon CloudWatch のマネージド Prometheus コレクタが、Amazon MSK のコンシューマーグループメトリクスを収集するようになった。これにより Kafka エクスポートメトリクスとコンシューマーグループの遅延メトリクスが収集され、ストリーミングアプリケーションのボトルネック検出に役立つ。

• Amazon CloudWatch

Amazon MSK Connect がコネクタプラグインとワーカー設定の更新をサポート

Amazon MSK Connect は、既存のコネクタのカスタムプラグインとワーカー設定を更新できるようにした。これにより、依存関係の更新や設定変更がより安全かつ効率的に行えるようになる

Amazon MSK Connect がコネクタの一時停止と再開をサポート

Amazon MSK Connect は、Apache Kafka Connect コネクタを一時停止および再開できるようにし、データフローの中断や問題の調査中にコネクタを安全に停止できるようにする

Amazon MSK Connect と AWS Glue Schema Registry が AWS 欧州主権クラウド (ドイツ) リージョンで提供開始

Amazon MSK Connect と AWS Glue Schema Registry が AWS 欧州主権クラウド (ドイツ) リージョンで利用可能に。ストリーミングワークロード向けのツールセットが充実する。

AWS Transform が Amazon MSK 向け Apache Kafka 移行評価をサポート

AWS Transform はオンプレミス Apache Kafka クラスターを Amazon MSK へ移行する評価をエージェント型 AI で提供し、互換性チェック、適切な MSK Express ブローカーの推奨、およびコスト予測を数分で実現

Amazon MSK Connect でコネクタの再起動がサポート

Amazon MSK Connect で、新規作成されたコネクタとタスクの再起動がサポートされ、ストリーミングデータパイプラインの迅速なリカバリが可能になる

MSK Replicator が OAuth 2.0 (SASL/OAUTHBEARER) 認証をサポート

Amazon MSK Replicator は外部 Kafka クラスターからのデータレプリケーションで OAuth 2.0 認証を利用できる。トピック名を保持し、消費者グループオフセットを双方向に同期する。

Amazon MSK でカスタムドメイン名の設定がサポート

Amazon MSK プロビジョニングクラスターで、ZooKeeper または KRaft モードでカスタムドメイン名を簡単に設定できる。

Amazon MSK が Apache ZooKeeper から KRaft へのインプレース移行をサポート

Amazon MSK は既存クラスターを新しいインフラやデータの移行やクライアントアプリケーションの再設定なしで KRaft に移行できるようにする。KRaft はメタデータ管理を ZooKeeper から Kafka 自体のコントローラーに移動し、パフォーマンスとスケーラビリティを向上させる。

AWS Glue Schema Registry が 10 の新リージョンで利用可能に

AWS Glue Schema Registry はストリーミングデータのスキーマ管理を簡素化し、データ品質の向上とダウンストリームアプリケーションの障害削減に寄与する

• AWS Glue

Amazon MSK で Kafka オーソライザーログの提供が開始

Amazon MSK は、プロビジョニング済みクラスター (Standard および Express ブローザ) に対してオーソライザーログの提供を無償でサポートする。これにより、ユーザーやアプリケーションへのアクセス詳細を確認でき、セキュリティ要件を満たす。

Amazon MSK Express ブローカーが S3 へのデータ配信を開始

Amazon MSK Express ブローカーが S3 へのデータ配信を自動化し、高スループットと信頼性を提供する。オペレーションの負荷を軽減し、コストを最大 60% 削減する。

Amazon MSK Express が Apache Iceberg ストリーミングテーブルへのデータ配信を開始

Amazon MSK Express は、Apache Kafka トピックを Amazon S3 Tables 上の Apache Iceberg テーブルに継続的に配信する機能を提供する。これにより、データ取り込みとダウンストリームクエリのコストを最大 60％と 30％それぞれ削減できる。

Amazon MSK Express Brokers が Apache Kafka バージョン 4.2 をサポート

Amazon MSK Express Brokers は Apache Kafka バージョン 4.2 をサポートし、リーダー選挙の正確性向上やグループ再バランスの改善、リソース割り当ての最適化など信頼性とパフォーマンスが向上する

Amazon MSK Replicator が外部 Apache Kafka クラスターから MSK Standard ブローカーへのレプリケーションをサポート

Amazon MSK Replicator は、外部 Apache Kafka クラスターから MSK Standard ブローカーへのデータレプリケーションをサポートする。SASL/SCRAM または mTLS 認証で接続でき、トピック名を保持し、無限ループを回避する。

MSK Replicator が外部 Apache Kafka クラスターからの mTLS 認証をサポート

Amazon MSK Replicator は、外部 Apache Kafka クラスターからのデータレプリケーションで mTLS 認証をサポートする。mTLS で設定されたクラスターからの移行、災害復旧、ハイブリッドおよびマルチクラウド環境でのデータ配布が可能になる

Amazon MSK に AI エージェントスキルが提供され、開発者の運用効率と MSK への移行が加速

Amazon MSK は AI コーディングアシスタントと連携するスキルを提供し、運用タスクの自動化と MSK Express への移行を支援する。既存の AI エージェントと連携可能。

Amazon MSK Express ブローカでインテリジェントリバランシングが既存クラスターで利用可能に

Amazon MSK Express ブローカのインテリジェントリバランシングが既存クラスターで利用可能となり、パーティションの自動調整が容易になる

Amazon MSK Express Brokers で Kafka Streams の自動トピック作成がサポート

Amazon MSK Express Brokers が Kafka Streams の自動トピック作成をサポートし、Stateful 操作用のトピックをアプリケーション起動時に自動生成するようになる