使用 Amazon MSK Serverless 开始事件流处理 - 零运维的 Kafka 环境构建
通过 IAM 认证构建无需集群管理的 Kafka 环境，介绍与 EventBridge Pipes 集成简化事件流处理的方法。
MSK Serverless 的特点
MSK Serverless 是完全无需集群配置、扩展和补丁更新的 Kafka 环境。创建集群后立即提供端点，可从 Kafka 客户端开始创建主题和收发数据。无需指定 Broker 实例类型或节点数，每分区最高 200 MB/s 吞吐量自动扩展。Provisioned 集群需要容量规划和 Broker 管理，Serverless 则完全消除这些运维任务。
IAM 认证与访问控制
MSK Serverless 标准使用 IAM 认证。Kafka 客户端使用 AWS 凭证 (IAM 角色) 连接 MSK，通过 IAM 策略设置主题级访问控制。可实现对特定 IAM 角色仅允许特定主题读写的细粒度控制。无需像 Provisioned 集群使用的 SASL/SCRAM 认证那样管理用户名和密码，与 AWS 的 IAM 体系统一管理。
与 EventBridge Pipes 的集成
EventBridge Pipes 是将 MSK 主题作为源直接连接到 Lambda、Step Functions、SQS、Kinesis Data Streams 等目标的服务。以往需要自行开发和运维 Kafka 消费者应用，使用 Pipes 则无需编写消费者代码。支持过滤和转换功能，可仅将符合条件的事件传递到目标。
MSK Serverless 的费用
MSK Serverless 的费用由集群小时、分区小时、存储和数据传输构成。集群每小时约 0.75 美元，分区每分区小时约 0.0015 美元（截至 2026 年 8 月）。存储每 GB 月费约 0.10 美元，数据传输区域内接收免费，发送适用标准数据传输费。与 Provisioned 集群 (kafka.m5.large 3 台月约 453 美元) 相比，低流量环境中 Serverless 更经济。
总结
MSK Serverless 是完全消除 Kafka 运维管理、专注于事件流处理构建的服务。通过 IAM 认证简化凭证管理，通过 EventBridge Pipes 减少消费者开发。在保持 Kafka 生态系统兼容性的同时实现无服务器的运维效率。