Amazon Kinesis 热门2013年〜
对实时流数据进行收集、处理和分析的服务
它能做什么
Amazon Kinesis 是一组用于大规模收集、处理和分析实时流数据的服务。Kinesis Data Streams 提供数据流的收集和处理，Kinesis Data Firehose 提供流数据到 S3 和 Redshift 的投递，Kinesis Data Analytics 提供使用 SQL/Flink 对流数据的分析。
使用场景
用于 IoT 设备传感器数据的实时处理、网站点击流分析、日志的实时聚合与分析、金融交易的实时监控，以及游戏玩家行为分析。
日常类比
可以将其比作传送带。将工厂 (数据源) 源源不断流出的产品 (数据) 通过传送带 (流) 运输，以流水线方式进行检验 (处理)、分拣 (分析) 和打包 (存储)。
什么是 Kinesis
Amazon Kinesis 是一组用于实时数据处理的服务。与批处理「积累数据后统一处理」不同，Kinesis 实现了「数据产生瞬间即处理」的流处理。具备每秒处理数百万条记录的可扩展性。
Kinesis Data Streams 与 Firehose
Kinesis Data Streams 是用于通过自定义应用处理流数据的服务。通过分片数控制吞吐量，使用 Lambda 或自定义消费者处理数据。Kinesis Data Firehose 是将流数据自动投递到 S3、Redshift、OpenSearch、Splunk 等目标的服务。无需编写代码即可配置数据转换和投递。 如需深入了解 Kinesis Data Streams 与 Firehose 的实践知识，可参考 Amazon 技术书籍。
如何开始
在 Kinesis 控制台选择「创建数据流」，指定流名称和容量模式 (按需或预置)。使用 AWS SDK 的 PutRecord API 发送数据，将 Lambda 设置为消费者，即可完成实时处理管道。使用 Firehose 可无需编码实现数据到 S3 的积累。
注意事项
- Data Streams 的数据保留期默认 24 小时，最长可延长至 365 天，但保留期越长费用越高
- 简单的数据投递选择 Firehose，需要自定义处理时选择 Data Streams
