使用 Amazon Managed Service for Apache Flink 进行实时流处理 - 有状态处理与窗口聚合
在 Apache Flink 的全托管环境中，通过 SQL 或 Java/Python 应用程序执行实时流处理。本文介绍窗口聚合、模式检测以及 Kinesis/MSK 集成的设计模式。
Managed Flink 概述
Managed Service for Apache Flink 是以托管方式运行 Apache Flink 应用程序的流处理服务。它是 Kinesis Data Analytics 的后继服务，可以以无服务器方式使用 Flink 的全部功能。Lambda 以单个事件为单位进行处理，而 Flink 提供有状态的流处理（聚合、连接、模式检测）。
窗口聚合与检查点
滚动窗口在固定长度的时间区间（例如每 1 分钟）内聚合数据，用于计算实时指标。滑动窗口在相互重叠的时间区间内计算移动平均值。会话窗口根据事件之间的间隔划分会话，适合用于分析用户会话。检查点定期将 Flink 的状态持久化到 S3，发生故障时从检查点准确恢复。exactly-once 语义防止数据重复或丢失。
数据源与 Sink 的设计
Managed Flink 支持将 Kinesis Data Streams、MSK（Managed Streaming for Apache Kafka）和 S3 作为数据源。Kinesis 连接器自动管理分片的并行读取和检查点，并提供 Exactly-Once 语义。可以将 Kinesis Data Streams、Firehose、S3、DynamoDB 和 OpenSearch 指定为 Sink，并将处理结果实时传递到下游。使用 Apache Flink SQL 可以将流处理编写为 SQL 查询，并且可以在不编写 Java/Scala 代码的情况下实现窗口聚合和连接。通过 Flink 的 Async I/O 异步调用外部服务（DynamoDB 查找），在保持吞吐量的同时执行数据扩充（enrichment）。
Managed Flink 的费用
Managed Flink 按 KPU（Kinesis Processing Unit）小时计费。1 KPU 相当于 1 vCPU 和 4 GB 内存，每小时约 0.11 美元（截至 2026 年 8 月）。适当设置应用程序的并行度（parallelism）和 KPU 数量，避免过度分配资源。启用自动扩展后，KPU 数量会根据输入数据量自动调整。持久化应用程序存储（检查点和状态）每 GB 每月约 0.10 美元。状态的大小增大后，检查点的时间和存储成本会增加，因此设置 TTL 自动删除不需要的状态。
事件时间与水印
在流处理中，区分数据产生的时刻（事件时间）与数据到达处理系统的时刻（处理时间）很重要。由于网络延迟等原因，事件可能会以与发生顺序不同的顺序到达。Flink 可以基于事件时间进行窗口聚合，并通过名为水印（watermark）的机制判断“到此为止的数据已经到齐”。通过设置迟到数据的容许范围，即使存在一定的到达延迟，也可以得到正确的聚合结果。以时间存在偏差为前提进行设计，是可靠的实时聚合的基础。
状态管理与扩展
Flink 为窗口聚合和连接保存中间状态。由于该状态的大小决定处理性能和成本，不再需要的状态通过 TTL 自动删除，以防止状态膨胀。提高应用程序的并行度会增加处理能力，但需要重新分配状态。如果在获取保存点（savepoint）后再更改并行度，可以在不停止处理的情况下继承状态并进行扩展。对于输入量波动大的工作负载，通过自动扩展自动调整处理资源，保持既不过剩也不不足的配置。
典型用例
Managed Flink 适合带有状态的持续分析。典型示例包括按固定时间间隔对销售额或访问次数进行实时聚合、从多个事件的序列中发现欺诈交易模式的检测，以及传感器数据的异常监控等。将多个数据流连接并关联起来的处理，以及从到达的事件序列中提取特定模式的复杂事件处理（CEP），也是其擅长的领域。仅对单个事件作出反应的处理适合使用 Lambda，而在需要基于过去数据进行持续判断的场景中，Flink 会发挥其优势。
开发与运维
在开发方面，可以选择使用 Flink SQL 以查询的方式编写流处理，或使用 Java 或 Python 进行细致控制。使用笔记本环境，可以一边交互式地尝试查询一边推进开发，部署到生产应用程序也简便。在运维方面，通过 Flink 的仪表板确认作业的处理状况和背压（下游的拥堵），并找出瓶颈。通过 CloudWatch 指标监控延迟和失败，并持续确认检查点是否稳定地成功，从而确保从故障中可靠地恢复。
总结
Managed Flink 是以托管方式提供有状态流处理的服务。它通过滚动窗口和滑动窗口执行实时数据的聚合，并通过检查点保证 Exactly-Once 语义。可以使用 Flink SQL 以声明式的方式编写流处理，并通过自动扩展实现根据输入数据量自动调整 KPU 数量。
参考资料（AWS 官方）
本页的第一手信息来源是 AWS 官方网站及官方文档。最新的规格与价格请以下列官方页面为准。
如本页内容与官方文档不一致，请以官方文档为准。