Amazon Kinesis
大量のストリーミングデータをリアルタイムに収集 / 処理 / 分析できるフルマネージドのデータストリーミングサービス群
概要
Amazon Kinesis は、リアルタイムのストリーミングデータを大規模に処理するためのサービス群です。Kinesis Data Streams がコアサービスで、毎秒数百万件のレコードを低レイテンシで取り込み、複数のコンシューマーが並行して処理できます。Kinesis Data Firehose は取り込んだデータを S3、Redshift、OpenSearch などに自動配信する ETL パイプラインを構築でき、コーディング不要で運用できます。IoT デバイスのテレメトリ、Web アプリケーションのクリックストリーム、金融取引のリアルタイム分析など、バッチ処理では間に合わないユースケースで採用されています。
Data Streams と Data Firehose の判断基準
Kinesis Data Streams はシャード単位でスループットを制御するプリミティブなストリーミング基盤です。AWS の開発者ガイドによると、1 シャードあたりの容量は最大で書き込み 1 MB/秒 / 読み取り 2 MB/秒です (2026 年 10 月時点)。コンシューマー側のロジックを自由に実装でき、Lambda や独自アプリケーションでリアルタイム処理を行う場合に適しています。一方、Amazon Data Firehose はデータの変換 (Lambda による加工) と配信先への書き込みを自動化するマネージドサービスで、シャード管理が不要です。AWS は 2024 年 2 月に、Amazon Kinesis Data Firehose の名称を Amazon Data Firehose に変更したと告知しています。判断の目安として、コンシューマー側の処理を細かく制御したい場合は Data Streams、配信先への書き込みだけが目的なら Firehose を選択します。
シャード設計とデータ保持の考え方
プロビジョンドモードでは、ストリームのシャード数を見積もって指定します。オンデマンドモードはトラフィックに応じて自動でスケールし、プロビジョンドモードは予測しやすいトラフィックに向くと開発者ガイドは説明しています。データ保持期間の上限は 365 日で、Azure Event Hubs の Standard 層の上限 (Microsoft のドキュメントでは 7 日) より長い期間です (2026 年 10 月時点)。Enhanced Fan-Out を有効にすると、各コンシューマーにシャードごとの専用の読み取りスループットが割り当てられ、データの取得量とコンシューマーとシャードの組の時間に応じた料金が別に発生します。
リアルタイムダッシュボードの構築例
Kinesis の活用パターンの 1 つに、リアルタイムダッシュボードの構築があります。Web アプリケーションのアクセスログを Kinesis Data Streams に送信し、Lambda でリアルタイム集計して DynamoDB に書き込み、API Gateway 経由でフロントエンドに配信する構成があります。IoT デバイスのテレメトリ収集では、数万台のデバイスから毎秒送信されるセンサーデータを Data Streams で受け取り、Firehose で S3 に蓄積しつつ、Lambda で異常値をリアルタイム検知して SNS で通知する二段構えの構成もあります。
参考資料 (AWS 公式)
本ページの一次情報は AWS 公式サイトと公式ドキュメントです。最新の仕様と料金は次の公式ページで確認できます。
本ページと公式ドキュメントの記述が食い違う場合は、公式ドキュメントを正としてください。