AWS IoT Analytics 专业2017年〜
处理和分析从 IoT 设备收集的海量数据的托管服务
它能做什么
AWS IoT Analytics 是一项用于收集、处理、存储和分析 IoT 设备发送的海量消息数据的托管服务。它通过流水线自动处理数据的过滤、转换和富化 (与外部数据关联),并将处理后的数据存储到分析数据存储中。支持使用 SQL 查询进行即席分析,以及使用 Jupyter Notebook 进行高级分析。
使用场景
用于工厂生产线传感器数据的趋势分析、智能建筑空调和照明数据的优化分析、农业 IoT 中土壤和气象数据的统计处理,以及车辆远程信息处理数据的行驶模式分析。
日常类比
可以将其比作工厂的质量管理部门。接收来自生产线各工序的检测数据,去除无用数据,与基准值对照整理,然后生成分析报告。它将从原始数据中提取有意义信息的工作自动化。
什么是 AWS IoT Analytics
AWS IoT Analytics 是一项用于高效分析 IoT 设备生成的海量数据的服务。IoT 设备会高频发送温度、湿度、振动、位置等各种数据。这些原始数据通常包含噪声和缺失值,不适合直接分析。IoT Analytics 提供从数据收集、清洗、转换、存储到分析的完整流水线,使 IoT 数据的利用变得简单。
流水线数据处理
IoT Analytics 的流水线可对通道 (数据入口) 接收的消息应用多个处理步骤。支持去除不需要的字段、数据类型转换、缺失值填充、使用 Lambda 函数进行自定义转换,以及与 DynamoDB 或 S3 外部数据的关联 (富化)。处理后的数据存储在数据存储中,可通过 SQL 查询进行分析。由于可从 IoT Core 的规则引擎直接发送数据,设备端的集成也很简单。 如需了解流水线数据处理的参考资料,可查阅 Amazon 相关书籍。
分析与可视化
存储在数据存储中的数据可作为数据集通过 SQL 查询提取。数据集支持定时执行,可自动生成每日或每小时的定期报告。此外,集成了托管的 Jupyter Notebook 环境,可使用 Python 进行统计分析和机器学习模型构建。分析结果还可与 QuickSight 集成,通过仪表板进行可视化展示。
注意事项
- 按数据处理量、存储量和查询执行量计费。长期存储大量数据时需注意成本
- 不适合实时分析。如需流式分析请考虑使用 Kinesis Data Analytics
- 流水线中 Lambda 函数出错可能导致数据丢失,需妥善实现错误处理