Amazon MSK
- 区分
- 人気
- 提供開始
- 2018 年
Apache Kafka をフルマネージドで提供し、リアルタイムストリーミングデータ処理を実現するサービス
何ができるか
Amazon MSK (Managed Streaming for Apache Kafka) は、Apache Kafka をクラウド上で簡単に構築 / 運用できるフルマネージドサービスです。Kafka クラスターのプロビジョニング、設定、パッチ適用、障害対応をすべて AWS が管理するため、開発者はストリーミングアプリケーションの構築に集中できます。オープンソースの Apache Kafka と完全互換であり、既存の Kafka アプリケーションをコード変更なしで移行できます。
どのような場面で使うか
リアルタイムのログ集約と分析、クリックストリームデータの収集と処理、IoT センサーデータのストリーミング、マイクロサービス間のイベント駆動アーキテクチャ、データベースの変更データキャプチャ (CDC)、リアルタイムの不正検知システムなど、大量のストリーミングデータを低レイテンシで処理する必要がある場面で活用されています。
身近な例え
高速道路の料金所に例えるとわかりやすいでしょう。大量の車 (データ) が絶え間なく流れてくる中、料金所 (Kafka ブローカー) が車を整理して適切なレーン (トピック) に振り分けます。Amazon MSK は料金所の建設 / 保守 / 拡張をすべて代行してくれるため、利用者は車の流れの設計だけに集中できます。
Amazon MSK とは
Amazon MSK は、Apache Kafka のマネージドサービスです。Apache Kafka はリアルタイムストリーミングデータパイプラインの構築に広く使われるオープンソースプラットフォームですが、自前で運用するにはクラスターの構築、ZooKeeper の管理、ブローカーの監視、パッチ適用など多くの運用作業が必要です。MSK はこれらの運用負荷をすべて AWS に委任でき、99.9% の可用性 SLA を提供します。Kafka のネイティブ API をそのまま利用できるため、既存のプロデューサーやコンシューマーアプリケーションの移行も容易です。
MSK Serverless と MSK Provisioned
Amazon MSK には 2 つのデプロイオプションがあります。MSK Provisioned は従来型のクラスター構成で、ブローカーのインスタンスタイプやストレージ容量を明示的に指定します。ワークロードの特性が予測可能な場合に適しています。MSK Serverless はクラスターの容量管理が完全に自動化されており、トラフィックに応じてスケールアップ / ダウンします。初期設定が簡単で、ワークロードが変動する場合やスモールスタートに最適です。どちらもオープンソース Kafka との互換性は同等です。
セキュリティと統合
Amazon MSK は多層的なセキュリティ機能を提供します。通信の暗号化 (TLS)、保存データの暗号化 (AWS KMS)、IAM 認証、SASL/SCRAM 認証、Apache Kafka ACL によるきめ細かなアクセス制御が可能です。VPC 内にクラスターを配置することで、ネットワークレベルの分離も実現できます。AWS Glue Schema Registry との統合によりスキーマ管理を一元化でき、Amazon S3、Amazon Redshift、OpenSearch Service などへのデータ連携も MSK Connect を使って簡単に構築できます。
注意点
- Kinesis Data Streams と比較して、既存の Kafka エコシステム (Connect、Streams、ksqlDB) をそのまま活用したい場合に MSK が適している
- MSK Serverless はパーティション数に上限があるため、大規模なワークロードでは MSK Provisioned の利用を検討すること
利用できるリージョン
Amazon MSK を利用できるリージョンは 37 か所です (2026-10-09 時点)。
アジアパシフィック：香港、台北、東京、ソウル、大阪、ムンバイ、ハイデラバード、シンガポール、シドニー、ジャカルタ、メルボルン、マレーシア、ニュージーランド、タイ
北米：カナダ (中部)、カナダ西部 (カルガリー)、メキシコ (中部)、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)
南米：サンパウロ
欧州：フランクフルト、チューリッヒ、ストックホルム、ミラノ、スペイン、アイルランド、ロンドン、パリ
AWS 欧州ソブリンクラウド：ドイツ
中東：イスラエル (テルアビブ)、アラブ首長国連邦、バーレーン
アフリカ：ケープタウン
AWS GovCloud (米国)：AWS GovCloud (米国東部)、AWS GovCloud (米国西部)
参考資料 (AWS 公式)
本ページの一次情報は AWS 公式サイトと公式ドキュメントです。最新の仕様と料金は次の公式ページで確認できます。
本ページと公式ドキュメントの記述が食い違う場合は、公式ドキュメントを正としてください。
