Amazon Managed Service for Apache Flink
- 区分
- 専門
- 提供開始
- 2016 年
Apache Flink アプリケーションをマネージドに実行するストリーム処理サービス
何ができるか
Amazon Managed Service for Apache Flink は、Apache Flink アプリケーションをフルマネージドで実行するサービスです。Kinesis Data Streams、MSK (Kafka)、S3 などからリアルタイムにデータを取り込み、SQL または Java/Python で変換 / 集計 / 分析を行います。ステートフルなストリーム処理とイベント時間ベースのウィンドウ処理に対応しています。
どのような場面で使うか
リアルタイムのログ分析、IoT センサーデータのストリーム処理、クリックストリーム分析、不正検知のリアルタイムパターンマッチング、ETL パイプラインのリアルタイム化に利用されます。
身近な例え
ベルトコンベアの検品ラインに例えられます。流れてくる製品 (データ) を止めることなく、リアルタイムに検査 (変換 / 集計) し、不良品 (異常データ) を検出して仕分けます。
Managed Flink とは
Amazon Managed Service for Apache Flink は、ストリーム処理のマネージドサービスです。Apache Flink はステートフルなストリーム処理フレームワークで、イベント時間ベースのウィンドウ処理、exactly-once セマンティクス、チェックポイントによる障害復旧を提供します。Managed Flink は Flink クラスターの構築 / 運用 / スケーリングを AWS が管理します。
Flink SQL とアプリケーション
Flink SQL を使えば、SQL でストリーム処理を記述できます。ストリームデータに対する SELECT、JOIN、GROUP BY、ウィンドウ関数などを SQL で表現し、リアルタイムの集計やフィルタリングを実行します。より複雑な処理には Java または Python の Flink API を使用します。アプリケーションの JAR ファイルを S3 にアップロードして実行します。
はじめかた
Managed Flink コンソールでアプリケーションを作成し、ランタイム (SQL、Java、Python) を選択します。入力ソース (Kinesis Data Streams、MSK) と出力先 (S3、Kinesis、OpenSearch) を設定します。Flink SQL の場合は Studio ノートブックでインタラクティブにクエリを開発 / テストできます。
注意点
- KPU (Kinesis Processing Unit) の時間課金。常時稼働するため、バッチ処理には Glue の方がコスト効率が良い
- シンプルなストリーム処理なら Kinesis Data Streams + Lambda の方が構成がシンプル。Flink は複雑なステートフル処理に適する
利用できるリージョン
Amazon Managed Service for Apache Flink を利用できるリージョンは 37 か所です (2026-10-09 時点)。
アジアパシフィック:香港、台北、東京、ソウル、大阪、ムンバイ、ハイデラバード、シンガポール、シドニー、ジャカルタ、メルボルン、マレーシア、ニュージーランド、タイ
北米:カナダ (中部)、カナダ西部 (カルガリー)、メキシコ (中部)、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)
南米:サンパウロ
欧州:フランクフルト、チューリッヒ、ストックホルム、ミラノ、スペイン、アイルランド、ロンドン、パリ
AWS 欧州ソブリンクラウド:ドイツ
中東:イスラエル (テルアビブ)、アラブ首長国連邦、バーレーン
アフリカ:ケープタウン
AWS GovCloud (米国):AWS GovCloud (米国東部)、AWS GovCloud (米国西部)
参考資料 (AWS 公式)
本ページの一次情報は AWS 公式サイトと公式ドキュメントです。最新の仕様と料金は次の公式ページで確認できます。
本ページと公式ドキュメントの記述が食い違う場合は、公式ドキュメントを正としてください。