Amazon Managed Service for Apache Flink

Apache Flink をフルマネージドで実行し、Kinesis Data Streams や MSK からのリアルタイムストリームデータを低レイテンシで処理・分析するサービス

約 2 分で読めます

概要

Amazon Managed Service for Apache Flink (旧 Kinesis Data Analytics) は、Apache Flink アプリケーションをフルマネージドで実行するストリーム処理サービスです。Java、Scala、Python で記述した Flink アプリケーションをデプロイするだけで、クラスターのプロビジョニング、スケーリング、パッチ適用、チェックポイント管理が自動化されます。Kinesis Data Streams、Amazon MSK、S3 をソースおよびシンクとして使用し、ミリ秒単位のレイテンシでイベントを処理します。

Flink アプリケーションのデプロイとスケーリング

Managed Flink にアプリケーションをデプロイするには、Flink アプリケーションの JAR ファイルまたは ZIP アーカイブを S3 にアップロードし、アプリケーション設定でエントリポイントクラスとランタイム環境を指定します。Apache Flink Studio を使えば、Apache Zeppelin ノートブック上でインタラクティブに SQL クエリを実行し、ストリームデータをリアルタイムで探索・分析することも可能です。スケーリングは KPU (Kinesis Processing Unit) 単位で行われ、1 KPU は 1 vCPU と 4 GB メモリに相当します。Auto Scaling を有効にすると、入力データのスループットに応じて KPU 数が自動的に増減します。スケールアウト時はアプリケーションのスナップショットが取得され、新しい並列度でステートが復元されるため、データの欠損なくスケーリングが完了します。並列度 (Parallelism) と KPU あたりの並列度 (ParallelismPerKPU) の設定がパフォーマンスチューニングの鍵で、ソースのシャード数やパーティション数に合わせて調整します。

チェックポイントと状態管理

Flink のステートフル処理では、ウィンドウ集約やセッション管理などの中間状態をアプリケーション内に保持します。Managed Flink はこの状態を定期的にチェックポイントとして S3 に永続化し、障害発生時にチェックポイントから状態を復元して処理を再開します。チェックポイント間隔はデフォルト 60 秒で、レイテンシ要件に応じて短縮できますが、間隔を短くするとチェックポイントの I/O オーバーヘッドが増加します。状態バックエンドは RocksDB (ディスクベース) がデフォルトで、大規模な状態 (数 GB 以上) を効率的に管理できます。状態サイズが小さい場合は HashMapStateBackend (メモリベース) に切り替えることでレイテンシを改善できます。セーブポイントはユーザーが明示的に取得するスナップショットで、アプリケーションのアップグレードやロジック変更時に状態を引き継ぐために使用します。Managed Flink ではスナップショット API でセーブポイントを取得し、新バージョンのアプリケーションをセーブポイントから起動することで、ステートフルなアプリケーションのゼロダウンタイムアップグレードが実現します。

Kinesis・MSK とのソース・シンク統合

Managed Flink の入力ソースとして最も一般的なのは Kinesis Data Streams と Amazon MSK (Managed Streaming for Apache Kafka) です。Kinesis ソースでは、Flink の Kinesis Consumer がシャードごとにデータを並列に読み取り、シャード数と Flink の並列度を一致させることで最大スループットを実現します。MSK ソースでは、Flink の Kafka Consumer がトピックのパーティションからデータを読み取ります。MSK の IAM 認証に対応しており、アクセスキーの管理が不要です。シンク (出力先) としては、S3 (Parquet/JSON 形式でのバッチ書き込み)、Kinesis Data Streams、MSK、OpenSearch、DynamoDB、RDS が利用可能です。S3 シンクでは、Flink のバケッティング機能で時間やキーに基づいてファイルを分割し、下流の Athena クエリでパーティションプルーニングが効くようにデータを配置します。ウォーターマーク戦略の設定はイベントタイム処理の精度に直結し、遅延データの許容範囲 (Allowed Lateness) を適切に設定しないと、ウィンドウの計算結果が不正確になります。

共有するXB!

関連する用語

Amazon KinesisAmazon MSKAmazon EMRAmazon OpenSearch ServiceAmazon S3

関連するサービス

Amazon KinesisAmazon MSKAmazon S3Amazon OpenSearch Service

関連する記事

Amazon MSK で構築する Apache Kafka ストリーミング基盤 - クラスタ設計と運用Apache Kafka のマネージドクラスタを設計し、MSK Serverless との使い分けと MSK Connect によるデータ連携パターンを紹介します。Amazon Bedrock Knowledge Bases で構築する RAG アプリケーション - 検索拡張生成の実装S3 上のドキュメントを自動インデックス化し、RetrieveAndGenerate API で検索と生成を統合する。チャンキング戦略の選定と Guardrails による安全性確保を紹介します。データ検索と分析の実践 - OpenSearch による全文検索と可視化基盤の構築Amazon OpenSearch Service を活用したデータ検索と分析の設計手法を解説し、全文検索、ログ分析、ダッシュボード可視化による分析基盤の構築方法を紹介します。Amazon Kinesis で構築するリアルタイムデータパイプライン - Data Streams と Data Firehose の使い分けData Streams でリアルタイムデータを取り込み、Data Firehose で S3・Redshift・OpenSearch に自動配信する。シャード設計とオンデマンドモードの使い分けでストリーミングパイプラインを構築する方法を解説します。Amazon Managed Service for Apache Flink でリアルタイムストリーム処理 - ステートフル処理とウィンドウ集約Apache Flink のフルマネージド環境で SQL またはJava/Python アプリケーションによるリアルタイムストリーム処理を実行する。ウィンドウ集計・パターン検出・Kinesis/MSK 連携の設計パターンを解説します。

内容が近い用語・記事

Amazon Managed Service for Apache Flink でリアルタイムストリーム処理 - ステートフル処理とウィンドウ集約Apache Flink のフルマネージド環境で SQL またはJava/Python アプリケーションによるリアルタイムストリーム処理を実行する。ウィンドウ集計・パターン検出・Kinesis/MSK 連携の設計パターンを解説します。Amazon Managed Service for Apache FlinkApache Flink アプリケーションをマネージドに実行するストリーム処理サービスマネージド Kafka ストリーミング - Amazon MSK で実現する大規模リアルタイムデータパイプラインAmazon MSK (Managed Streaming for Apache Kafka) によるフルマネージド Kafka クラスタの構築と、Kinesis との使い分けを解説します。大規模なリアルタイムデータストリーミング基盤の設計パターンを紹介します。Amazon Kinesis で構築するリアルタイムデータパイプライン - Data Streams と Data Firehose の使い分けData Streams でリアルタイムデータを取り込み、Data Firehose で S3・Redshift・OpenSearch に自動配信する。シャード設計とオンデマンドモードの使い分けでストリーミングパイプラインを構築する方法を解説します。