分析与搜索

使用 Amazon Managed Service for Apache Flink 进行实时流处理 - 有状态处理与窗口聚合

在 Apache Flink 全托管环境中通过 SQL 或 Java/Python 应用执行实时流处理。解析窗口聚合、模式检测及 Kinesis/MSK 集成的设计模式。

約 1 分で読めます

Managed Flink 概述

Managed Service for Apache Flink 是以托管方式运行 Apache Flink 应用的流处理服务。作为 Kinesis Data Analytics 的后继产品，可以无服务器方式使用 Flink 的全部功能。与 Lambda 的事件级处理不同，Flink 提供有状态的流处理 (聚合、连接、模式检测)。

窗口聚合与检查点

滚动窗口以固定时间区间 (例如每 1 分钟) 聚合数据，用于实时指标计算。滑动窗口以重叠的时间区间计算移动平均值。会话窗口根据事件间的间隔划分会话，适用于用户会话分析。检查点定期将 Flink 的状态持久化到 S3，在故障时从检查点精确恢复。通过 Exactly-Once 语义防止数据重复或丢失。

Source 与 Sink 的设计

Managed Flink 支持 Kinesis Data Streams、MSK (Managed Streaming for Apache Kafka)、S3 作为 Source。Kinesis 连接器自动管理分片的并行读取和检查点，提供 Exactly-Once 语义。Sink 可指定 Kinesis Data Streams、Firehose、S3、DynamoDB、OpenSearch，将处理结果实时分发到下游。Apache Flink SQL 可将流处理编写为 SQL 查询，无需 Java/Scala 编码即可实现窗口聚合和 Join。Flink 的 Async I/O 可异步调用外部服务 (如 DynamoDB 查询)，在保持吞吐量的同时执行数据增强。 关于流处理的实践经验，也可参考Amazon 的相关书籍。

Managed Flink 的费用

Managed Flink 按 KPU (Kinesis Processing Unit) 小时计费。1 KPU 相当于 1 vCPU 和 4 GB 内存，每小时约 0.11 美元。需适当设置应用的并行度 (parallelism) 和 KPU 数量，避免过度分配资源。启用自动扩展后，KPU 数量会根据输入数据量自动调整。持久化应用存储 (检查点和状态) 每 GB 月费约 0.10 美元。状态大小增长会导致检查点时间和存储成本增加，因此应设置 TTL 自动删除不需要的状态。

总结

Managed Flink 是以托管方式提供有状态流处理的服务。通过滚动窗口和滑动窗口执行实时数据聚合，通过检查点保证 Exactly-Once 语义。可使用 Flink SQL 以声明式方式编写流处理，通过自动扩展实现根据输入数据量自动调整 KPU 数量。

相关服务

Amazon Managed Service for Apache Flink以托管方式运行 Apache Flink 应用的流处理服务Amazon Kinesis对实时流数据进行收集、处理和分析的服务Amazon MSK以全托管方式提供 Apache Kafka 实现实时流数据处理的服务

相关文章

使用 Amazon Kinesis 构建实时数据管道 - Data Streams 与 Data Firehose 的选型通过 Data Streams 摄取实时数据，利用 Data Firehose 自动投递至 S3、Redshift、OpenSearch。解析分片设计与按需模式的选型，构建流式处理管道。托管 Kafka 流处理 - 使用 Amazon MSK 实现大规模实时数据管道解析通过 Amazon MSK (Managed Streaming for Apache Kafka) 构建全托管 Kafka 集群，以及与 Kinesis 的使用场景区分。介绍大规模实时数据流基础设施的设计模式。使用 Amazon MSK 构建 Apache Kafka 流处理基础设施 - 集群设计与运维设计 Apache Kafka 托管集群，介绍与 MSK Serverless 的使用场景区分及 MSK Connect 的数据集成模式。

本主题的更多内容

Amazon Quick 实践应用 - 部门级用例与工作流自动化设计模式具体介绍销售、IT、财务等各部门的应用场景，以及通过 Quick Flows 实现通知、审批、多阶段工作流的设计模式。BI 仪表板可视化 - 使用 Amazon QuickSight 构建数据驱动的决策基础介绍使用 Amazon QuickSight 构建交互式 BI 仪表板，以及与 Athena 联动的无服务器数据分析基础。包括 SPICE 引擎的高速可视化和向全组织共享洞察的实践方法。构建区块链网络 - 使用 Amazon Managed Blockchain 与 QLDB 的分布式账本应用介绍使用 Amazon Managed Blockchain 构建区块链网络，以及使用 Amazon QLDB 实现可验证账本数据库的方法。包括供应链管理和金融交易透明性保障等实际使用场景。使用 AWS Clean Rooms 实现隐私保护型数据协作无需共享或复制数据即可在多企业间执行联合分析。介绍通过聚合规则防止个人识别以及通过 Cryptographic Computing 实现加密分析。客户 ID 统合 - 使用 AWS Entity Resolution 对分散的客户数据进行名称匹配详解使用 AWS Entity Resolution 进行客户数据的名称匹配（实体解析）。介绍基于机器学习的匹配、基于规则的匹配、隐私保护以及与 Clean Rooms 的集成。使用 AWS Data Exchange 活用第三方数据 - 数据采购与订阅管理通过 Marketplace 采购第三方数据产品，构建自动配送到 S3 的管道。介绍自有数据的产品化和变现方法。使用 Amazon S3 和 Lake Formation 构建数据湖 - 设计模式与治理介绍以 S3 为存储基础、通过 Lake Formation 实现细粒度访问控制的数据湖设计模式。同时解说 ETL 管道与成本优化方案。数据湖治理 - 通过 AWS Lake Formation 实现集中式访问控制解说使用 AWS Lake Formation 构建数据湖、实现访问控制与治理的方法。介绍针对基于 S3 的数据湖的列级与行级细粒度权限管理，以及与 Glue、Athena 的集成。

相似的文章与服务

Amazon Managed Service for Apache Flink全托管运行 Apache Flink，低延迟处理和分析来自 Kinesis Data Streams 或 MSK 的实时流数据的服务流数据处理设计 - 使用 Kinesis 构建实时数据管道解析利用 Amazon Kinesis 的流数据处理设计方法，介绍通过 Data Streams、Data Firehose 和 Lambda 集成构建实时数据管道的方法。托管 Kafka 流处理 - 使用 Amazon MSK 实现大规模实时数据管道解析通过 Amazon MSK (Managed Streaming for Apache Kafka) 构建全托管 Kafka 集群，以及与 Kinesis 的使用场景区分。介绍大规模实时数据流基础设施的设计模式。使用 Amazon Kinesis 构建实时数据管道 - Data Streams 与 Data Firehose 的选型通过 Data Streams 摄取实时数据，利用 Data Firehose 自动投递至 S3、Redshift、OpenSearch。解析分片设计与按需模式的选型，构建流式处理管道。