分析と検索

Amazon MSK Serverless で始めるイベントストリーミング - 運用ゼロの Kafka 環境構築

クラスタ管理不要の Kafka 環境を IAM 認証で構築し、EventBridge Pipes との統合でイベントストリーミングを簡素化する手法を紹介します。

約 3 分で読めます

MSK Serverless の特徴

MSK Serverless はクラスタのプロビジョニング、スケーリング、パッチ適用が完全に不要な Kafka 環境です。クラスタを作成するとエンドポイントが即座に提供され、Kafka クライアントからトピックの作成とデータの送受信を開始できます。ブローカーのインスタンスタイプやノード数を指定する必要がなく、パーティション単位で最大 200 MB/s のスループットが自動スケールします。プロビジョンドクラスタでは Kafka の設定パラメータ (retention.ms、max.message.bytes など) を細かくカスタマイズできますが、Serverless ではこれらの設定が自動管理されます。

IAM 認証とアクセス制御

MSK Serverless は IAM 認証を標準で使用します。Kafka クライアントは AWS の認証情報 (IAM ロール) で MSK に接続し、IAM ポリシーでトピックレベルのアクセス制御を設定します。特定の IAM ロールに対して特定のトピックへの読み書きのみを許可するきめ細かい制御が可能です。プロビジョンドクラスタで使用する SASL/SCRAM 認証のようなユーザー名・パスワードの管理が不要になり、認証情報のローテーションも IAM が自動的に処理します。Lambda 関数や ECS タスクからの接続では、実行ロールに MSK へのアクセス権限を付与するだけで認証が完了します。

EventBridge Pipes との統合

EventBridge Pipes は MSK のトピックをソースとして、 Lambda 、 Step Functions 、 SQS 、 Kinesis Data Streams などのターゲットに直接接続するサービスです。従来は Kafka コンシューマーアプリケーションを自前で開発・運用する必要がありましたが、 Pipes を使用するとコンシューマーコードの記述が不要になります。フィルタリングでイベントの条件に基づく選択的な処理が可能で、エンリッチメントで Lambda 関数によるデータ変換を挟むこともできます。 MSK Serverless + EventBridge Pipes + Lambda の組み合わせで、完全にサーバーレスなイベントストリーミングパイプラインを構築できます。 MSK の活用事例を知るうえで関連書籍 (Amazon)が参考になります。

MSK Serverless の料金

MSK Serverless の料金はクラスタ時間、パーティション時間、ストレージ、データ転送で構成されます。クラスタは 1 時間あたり約 0.75 ドル、パーティションは 1 パーティション時間あたり約 0.0015 ドルです。ストレージは 1 GB あたり月額約 0.10 ドルで、データ転送はリージョン内の受信が無料、送信は標準のデータ転送料金が適用されます。プロビジョンドクラスタ (kafka.m5.large で月額約 150 ドル) と比較すると、トラフィックが断続的なワークロードでは Serverless の方が低コストですが、24 時間高スループットで稼働する環境ではプロビジョンドの方が有利です。

Serverless とプロビジョンドの使い分け

MSK には Serverless とプロビジョンドの 2 つの形態があり、ワークロードの性質で選びます。トラフィックが断続的で需要の予測が難しい、運用の手間を最小化したい、急なスケールに自動で追従したい、といった場合は Serverless が適します。一方、24 時間安定して高いスループットが続く、Kafka の細かな設定を制御したい、コストを使用量で最適化したい、という場合はプロビジョンドが向きます。まず Serverless で素早く始め、負荷特性が見えてきた段階でプロビジョンドへの移行を検討する、という進め方も合理的です。

トピック設計とパーティション

Kafka の性能と順序保証は、トピックとパーティションの設計で決まります。パーティション内ではメッセージの順序が保たれるため、順序が重要なデータは適切なキーで同じパーティションに集約します。パーティション数を増やすと並列処理でスループットを高められますが、コンシューマー側の構成とのバランスが必要です。コンシューマーグループを使えば、複数の処理プロセスでパーティションを分担して並列消費できます。キー設計が偏ると特定パーティションに負荷が集中するため、データが均等に分散するキーを選ぶことが、安定した処理の前提になります。

プロデューサーとコンシューマーの実装

MSK は Kafka 互換のため、既存の Kafka クライアントライブラリをそのまま利用できます。サーバーレス志向の構成では、Lambda のイベントソースマッピングで MSK のトピックを直接購読し、コンシューマーアプリケーションの運用を省けます。メッセージの構造を組織で統一したい場合は、Glue のスキーマレジストリと組み合わせ、スキーマの整合性を保ちながら互換性を管理します。プロデューサー側では、メッセージのバッチ送信や圧縮を設定してスループットと効率を高めます。認証は IAM ロールで完結するため、接続情報の管理が簡潔になります。

監視と運用

イベントストリーミングの健全性は、コンシューマーのラグ (未処理メッセージの滞留量) で測ります。ラグが増え続ける場合、消費側が生産側に追いついていないため、コンシューマーの並列度やパーティション数を見直します。CloudWatch のメトリクスでスループット、パーティションの状態、エラーを監視し、異常をアラートで検知します。Serverless ではスループットやパーティション数に上限があるため、設計時に想定負荷が収まるかを確認します。メッセージの保持期間や、処理失敗時の扱いも事前に決めておくと、運用が安定します。

まとめ

MSK Serverless は Kafka の運用管理を完全に排除し、イベントストリーミングの構築に集中できるサービスです。IAM 認証で認証情報の管理を簡素化し、EventBridge Pipes でコンシューマーの開発を削減します。Kafka エコシステムの互換性を維持しつつ、サーバーレスの運用効率を実現できます。

関連するサービス

Amazon MSKApache Kafka をフルマネージドで提供し、リアルタイムストリーミングデータ処理を実現するサービスAmazon EventBridgeAWS サービスや SaaS アプリケーションからのイベントをルーティングするサーバーレスイベントバスAWS Lambdaサーバー管理不要でコードを実行するサーバーレスコンピュートサービス

関連する記事

Amazon MSK で構築する Apache Kafka ストリーミング基盤 - クラスタ設計と運用Apache Kafka のマネージドクラスタを設計し、MSK Serverless との使い分けと MSK Connect によるデータ連携パターンを紹介します。Amazon Kinesis で構築するリアルタイムデータパイプライン - Data Streams と Data Firehose の使い分けData Streams でリアルタイムデータを取り込み、Data Firehose で S3・Redshift・OpenSearch に自動配信する。シャード設計とオンデマンドモードの使い分けでストリーミングパイプラインを構築する方法を解説します。Amazon DocumentDB の Change Streams で構築するイベント駆動アーキテクチャDocumentDB の変更データキャプチャで Lambda トリガーと連携し、リアルタイムデータ同期のイベント駆動アーキテクチャを構築する手法を紹介します。

同じテーマの記事

Amazon Quick の実践活用 - 部門別ユースケースとワークフロー自動化の設計パターン営業・IT・財務など部門ごとの活用シナリオと、Quick Flows による通知・承認・多段階ワークフローの設計パターンを具体的に紹介します。BI ダッシュボード可視化 - Amazon QuickSight で実現するデータドリブンな意思決定基盤Amazon QuickSight によるインタラクティブな BI ダッシュボードの構築と、Athena との連携によるサーバーレスデータ分析基盤を解説します。SPICE エンジンによる高速可視化と組織全体へのインサイト共有の実践手法を紹介します。ブロックチェーンネットワーク構築 - Amazon Managed Blockchain と QLDB による分散台帳の活用Amazon Managed Blockchain によるブロックチェーンネットワークの構築と、Amazon QLDB による検証可能な台帳データベースの活用方法を解説します。サプライチェーン管理や金融取引の透明性確保など、実践的なユースケースを紹介します。AWS Clean Rooms で実現するプライバシー保護型データコラボレーションデータを共有・コピーせずに複数企業間で共同分析を実行する。集計ルールによる個人特定防止と Cryptographic Computing による暗号化分析を紹介します。顧客 ID 統合 - AWS Entity Resolution で分散した顧客データを名寄せするAWS Entity Resolution を使った顧客データの名寄せ (エンティティ解決) を解説。ML ベースのマッチング、ルールベースのマッチング、プライバシー保護、Clean Rooms との統合を紹介します。AWS Data Exchange で活用するサードパーティデータ - データ調達とサブスクリプション管理サードパーティのデータ製品を Marketplace 経由で調達し、S3 への自動配信パイプラインを構築する。自社データの製品化と収益化の手法も紹介します。Amazon S3 と Lake Formation で構築するデータレイク - 設計パターンとガバナンスS3 をストレージ基盤とし Lake Formation できめ細かいアクセス制御を実現するデータレイクの設計パターンを紹介。ETL パイプラインとコスト最適化も解説します。データレイクガバナンス - AWS Lake Formation による一元的なアクセス制御AWS Lake Formation を使ったデータレイクの構築・アクセス制御・ガバナンスを解説。S3 ベースのデータレイクに対する列レベル・行レベルのきめ細かな権限管理と Glue ・ Athena との統合を紹介します。

内容が近い記事・サービス

マネージド Kafka ストリーミング - Amazon MSK で実現する大規模リアルタイムデータパイプラインAmazon MSK (Managed Streaming for Apache Kafka) によるフルマネージド Kafka クラスタの構築と、Kinesis との使い分けを解説します。大規模なリアルタイムデータストリーミング基盤の設計パターンを紹介します。Amazon MSKApache Kafka のクラスター構築・運用を AWS がフルマネージドで提供するストリーミングサービスで、Kafka 互換の API をそのまま利用できるAmazon MSK で構築する Apache Kafka ストリーミング基盤 - クラスタ設計と運用Apache Kafka のマネージドクラスタを設計し、MSK Serverless との使い分けと MSK Connect によるデータ連携パターンを紹介します。Amazon EventBridge Pipes によるイベント統合 - ソースとターゲットの接続パターンSQS・DynamoDB Streams・Kinesis などのイベントソースとターゲットを直接接続し、フィルタリングとエンリッチメントを挟む設計パターンを紹介します。