Amazon Kinesis で構築するリアルタイムデータパイプライン - Data Streams と Data Firehose の使い分け

Kinesis の概要

この記事は約 3 分で読めます。 Kinesis はリアルタイムストリーミングデータの収集・処理・分析を提供するサービス群です。Data Streams はカスタムコンシューマーによるリアルタイム処理、Data Firehose は S3 や Redshift への自動配信、Managed Apache Flink はストリームデータへの SQL/Flink 処理を提供します。

この分野について体系的に学びたい方は、関連書籍 (Amazon) も参考になります。

Data Streams と Firehose の使い分け

Data Streams はシャード単位でスループットを管理し、Lambda や KCL (Kinesis Client Library) でカスタム処理を実装します。サブ秒のレイテンシが必要なリアルタイムアラートや、複数のコンシューマーが同じストリームを読む場合に適しています。Data Firehose はプロデューサーからのデータを自動的にバッファリングし、S3、Redshift、OpenSearch、Splunk に配信します。配信前にデータ変換 (Lambda) やフォーマット変換 (Parquet) を適用でき、コンシューマーの実装が不要です。ログの集約と分析基盤への配信には Firehose が最適です。

さらに詳しく知りたい方は、関連書籍 (Amazon) で理解を深められます。

まとめ

Kinesis はリアルタイムストリーミングデータの処理基盤です。Data Streams でカスタムリアルタイム処理、Data Firehose で分析基盤への自動配信を実現します。