分析与搜索

托管 Kafka 流处理 - 使用 Amazon MSK 实现大规模实时数据管道

解析通过 Amazon MSK (Managed Streaming for Apache Kafka) 构建全托管 Kafka 集群，以及与 Kinesis 的使用场景区分。介绍大规模实时数据流基础设施的设计模式。

約 2 分で読めます

Apache Kafka 与 Amazon MSK 的定位

Apache Kafka 作为大规模实时数据流处理的事实标准，被全球企业广泛采用。在日志聚合、事件溯源、指标收集、流处理等需要每秒处理数百万事件的用例中发挥着强大作用。Amazon MSK 是 Apache Kafka 的全托管服务，自动化了 Kafka 集群的配置、设置、补丁更新和监控。在本地运维 Kafka 集群时，需要处理 ZooKeeper 管理、Broker 扩展、分区再平衡、磁盘容量监控、安全补丁应用等复杂运维任务。MSK 以托管方式提供所有这些功能，并保持与 Apache Kafka API 的完全兼容，因此现有 Kafka 应用可无需代码修改即可迁移。

Amazon MSK 集群的构建与运维

MSK 集群在 VPC 内创建，将 Broker 分布部署在多个可用区以确保高可用性。MSK Serverless 是无需预配置的无服务器选项，根据流量自动扩展，按使用量计费。MSK Provisioned 明确指定 Broker 的实例类型和存储，确保可预测的性能。MSK Connect 是 Apache Kafka Connect 的托管实现，可部署连接器在 S3、DynamoDB、OpenSearch、RDS 等 AWS 服务之间自动流式传输数据。支持 IAM 认证、SASL/SCRAM、TLS 双向认证等多种认证方式，通过主题级访问控制实现细粒度安全。通过 CloudWatch 指标和 Prometheus 兼容的开放监控全面监控集群健康状况。MSK Serverless 集群的 CLI 创建示例：aws kafka create-cluster-v2 --cluster-name streaming-cluster --serverless "{"clientAuthentication":{"sasl":{"iam":{"enabled":true}}},"vpcConfigs":[{"subnetIds":["subnet-abc","subnet-def"],"securityGroupIds":["sg-123"]}]}" 即可创建无服务器 Kafka 集群。

Amazon MSK 与 Kinesis Data Streams 的使用场景区分

MSK 和 Kinesis Data Streams 都是实时流处理服务，但设计理念不同。Kinesis 是 AWS 原生的无服务器流处理服务，与 Lambda、Firehose、Data Analytics 的集成非常便捷。无需预配置，仅通过调整分片数即可扩展，与 AWS 服务的无缝集成是其最大优势。另一方面，MSK 提供与 Apache Kafka 生态系统的完全兼容，可直接使用现有的 Kafka 应用、Kafka Streams、ksqlDB、Schema Registry 等工具。当需要利用 Kafka 丰富的社区生态系统或从本地 Kafka 集群迁移时，MSK 是最佳选择。数据保留期方面，MSK 可设为无限制 (取决于存储容量)，相比 Kinesis 最长 365 天，可应对需要长期保留的用例。 如需拓展数据分析知识，可参考Amazon 的专业书籍。

流处理架构的设计模式

以 MSK 为核心的流处理架构采用发布/订阅模型，生产者将事件发布到 Kafka 主题，消费者实时处理。使用 Kafka Streams 库可在应用内执行流的连接、聚合和窗口处理。利用 MSK Connect 将数据库的变更数据捕获 (CDC) 流式传输到 Kafka 主题，并实时传播到下游微服务，构建事件驱动架构。与 S3 数据湖的集成方面，使用 MSK Connect 的 S3 Sink Connector 以 Parquet 或 Avro 格式自动归档数据，可通过 Athena 或 Redshift Spectrum 进行分析。Schema 演进管理利用 AWS Glue Schema Registry，维护生产者和消费者之间的数据契约。

MSK 的费用

Provisioned 集群的 kafka.m5.large 每 Broker 月费约 151 美元，最小 3 Broker 配置月费约 453 美元。存储每 GB 月费约 0.10 美元。MSK Serverless 按集群小时 (约 0.75 美元/小时) 和分区小时计费。与 Kinesis Data Streams (每分片小时约 0.015 美元) 相比，需要 Kafka 生态系统兼容性时选择 MSK，重视 AWS 原生集成时选择 Kinesis。

总结 - 托管 Kafka 流处理基础设施的选择

Amazon MSK 作为 Apache Kafka 的全托管服务，提供大规模实时数据流处理基础设施。凭借与 Kafka API 的完全兼容，现有应用的迁移非常便捷，还可通过 MSK Serverless 实现无服务器运维。新开发中重视 AWS 原生集成时选择 Kinesis，利用 Kafka 生态系统或从现有 Kafka 迁移时选择 MSK 是最优策略。结合 MSK Connect 的外部系统集成和 Kafka Streams 的流处理，可构建端到端的实时数据管道。

相关服务

Amazon MSK以全托管方式提供 Apache Kafka 实现实时流数据处理的服务Amazon Kinesis对实时流数据进行收集、处理和分析的服务AWS Glue自动化数据抽取、转换和加载的无服务器 ETL 服务

相关文章

流数据处理设计 - 使用 Kinesis 构建实时数据管道解析利用 Amazon Kinesis 的流数据处理设计方法，介绍通过 Data Streams、Data Firehose 和 Lambda 集成构建实时数据管道的方法。实时数据流处理 - 使用 Amazon Kinesis 实现即时数据处理解析 Kinesis Data Streams 与 Data Firehose 组合的实时数据管道设计模式。介绍分片设计、缓冲、Lambda 转换以及向 S3、Redshift、OpenSearch 的投递。事件驱动架构 - 通过 Amazon EventBridge 实现松耦合系统设计介绍利用 Amazon EventBridge 构建事件驱动架构的方法。

本主题的更多内容

Amazon Quick 实践应用 - 部门级用例与工作流自动化设计模式具体介绍销售、IT、财务等各部门的应用场景，以及通过 Quick Flows 实现通知、审批、多阶段工作流的设计模式。BI 仪表板可视化 - 使用 Amazon QuickSight 构建数据驱动的决策基础介绍使用 Amazon QuickSight 构建交互式 BI 仪表板，以及与 Athena 联动的无服务器数据分析基础。包括 SPICE 引擎的高速可视化和向全组织共享洞察的实践方法。构建区块链网络 - 使用 Amazon Managed Blockchain 与 QLDB 的分布式账本应用介绍使用 Amazon Managed Blockchain 构建区块链网络，以及使用 Amazon QLDB 实现可验证账本数据库的方法。包括供应链管理和金融交易透明性保障等实际使用场景。使用 AWS Clean Rooms 实现隐私保护型数据协作无需共享或复制数据即可在多企业间执行联合分析。介绍通过聚合规则防止个人识别以及通过 Cryptographic Computing 实现加密分析。客户 ID 统合 - 使用 AWS Entity Resolution 对分散的客户数据进行名称匹配详解使用 AWS Entity Resolution 进行客户数据的名称匹配（实体解析）。介绍基于机器学习的匹配、基于规则的匹配、隐私保护以及与 Clean Rooms 的集成。使用 AWS Data Exchange 活用第三方数据 - 数据采购与订阅管理通过 Marketplace 采购第三方数据产品，构建自动配送到 S3 的管道。介绍自有数据的产品化和变现方法。使用 Amazon S3 和 Lake Formation 构建数据湖 - 设计模式与治理介绍以 S3 为存储基础、通过 Lake Formation 实现细粒度访问控制的数据湖设计模式。同时解说 ETL 管道与成本优化方案。数据湖治理 - 通过 AWS Lake Formation 实现集中式访问控制解说使用 AWS Lake Formation 构建数据湖、实现访问控制与治理的方法。介绍针对基于 S3 的数据湖的列级与行级细粒度权限管理，以及与 Glue、Athena 的集成。

相似的文章与服务

使用 Amazon MSK 构建 Apache Kafka 流处理基础设施 - 集群设计与运维设计 Apache Kafka 托管集群，介绍与 MSK Serverless 的使用场景区分及 MSK Connect 的数据集成模式。Amazon MSKAWS 全托管提供 Apache Kafka 集群构建和运维的流式服务，可直接使用 Kafka 兼容 API使用 Amazon MSK Serverless 开始事件流处理 - 零运维的 Kafka 环境构建通过 IAM 认证构建无需集群管理的 Kafka 环境，介绍与 EventBridge Pipes 集成简化事件流处理的方法。流数据处理设计 - 使用 Kinesis 构建实时数据管道解析利用 Amazon Kinesis 的流数据处理设计方法，介绍通过 Data Streams、Data Firehose 和 Lambda 集成构建实时数据管道的方法。