使用 Amazon MSK Serverless 开始事件流处理 - 零运维的 Kafka 环境构建
通过 IAM 认证构建无需集群管理的 Kafka 环境，介绍与 EventBridge Pipes 集成简化事件流处理的方法。
MSK Serverless 的特点
MSK Serverless 是完全无需集群配置、扩展和补丁更新的 Kafka 环境。创建集群后立即提供端点，可从 Kafka 客户端开始创建主题和收发数据。无需指定 Broker 实例类型或节点数，每分区最高 200 MB/s 吞吐量自动扩展。Provisioned 集群需要容量规划和 Broker 管理，Serverless 则完全消除这些运维任务。
IAM 认证与访问控制
MSK Serverless 标准使用 IAM 认证。Kafka 客户端使用 AWS 凭证 (IAM 角色) 连接 MSK，通过 IAM 策略设置主题级访问控制。可实现对特定 IAM 角色仅允许特定主题读写的细粒度控制。无需像 Provisioned 集群使用的 SASL/SCRAM 认证那样管理用户名和密码，与 AWS 的 IAM 体系统一管理。
与 EventBridge Pipes 的集成
EventBridge Pipes 是将 MSK 主题作为源直接连接到 Lambda、Step Functions、SQS、Kinesis Data Streams 等目标的服务。以往需要自行开发和运维 Kafka 消费者应用，使用 Pipes 则无需编写消费者代码。支持过滤和转换功能，可仅将符合条件的事件传递到目标。
MSK Serverless 的费用
MSK Serverless 的费用由集群小时、分区小时、存储和数据传输构成。集群每小时约 0.75 美元，分区每分区小时约 0.0015 美元。存储每 GB 月费约 0.10 美元，数据传输区域内接收免费，发送适用标准数据传输费。与 Provisioned 集群 (kafka.m5.large 3 台月约 453 美元) 相比，低流量环境中 Serverless 更经济。
总结
MSK Serverless 是完全消除 Kafka 运维管理、专注于事件流处理构建的服务。通过 IAM 认证简化凭证管理，通过 EventBridge Pipes 减少消费者开发。在保持 Kafka 生态系统兼容性的同时实现无服务器的运维效率。