AWS IoT Analytics Especializado2017年〜
Servicio administrado para procesar y analizar grandes volúmenes de datos recopilados de dispositivos IoT
Qué hace
AWS IoT Analytics es un servicio administrado para recopilar, procesar, almacenar y analizar los enormes volúmenes de datos de mensajes enviados desde dispositivos IoT. Procesa automáticamente el filtrado, la transformación y el enriquecimiento de datos (unión con datos externos) a través de pipelines y almacena los resultados en un almacén de datos analíticos. Puede ejecutar análisis ad-hoc con consultas SQL o realizar análisis avanzados utilizando Jupyter Notebooks.
Casos de uso
Se utiliza para el análisis de tendencias de datos de sensores en líneas de producción de fábricas, análisis de optimización de datos de climatización e iluminación en edificios inteligentes, procesamiento estadístico de datos de suelo y clima en IoT agrícola, y análisis de patrones de conducción de datos telemáticos de vehículos.
Analogía cotidiana
Es como el departamento de control de calidad de una fábrica. Recibe datos de inspección de cada etapa de la línea de producción, elimina datos innecesarios, los cruza con valores de referencia y genera informes de análisis. Automatiza el trabajo de extraer información significativa de montañas de datos sin procesar.
¿Qué es AWS IoT Analytics?
AWS IoT Analytics es un servicio para analizar eficientemente los grandes volúmenes de datos generados por dispositivos IoT. Los dispositivos IoT envían una amplia variedad de datos a alta frecuencia: temperatura, humedad, vibración, ubicación y más. Estos datos sin procesar a menudo contienen ruido y valores faltantes, lo que los hace inadecuados para el análisis tal cual. IoT Analytics proporciona un pipeline de extremo a extremo desde la recopilación de datos hasta la limpieza, transformación, almacenamiento y análisis, facilitando el aprovechamiento de los datos IoT.
Procesamiento de datos con pipelines
Los pipelines de IoT Analytics permiten aplicar múltiples pasos de procesamiento a los mensajes recibidos a través de canales (puntos de entrada de datos). Puede eliminar campos innecesarios, convertir tipos de datos, rellenar valores faltantes, aplicar transformaciones personalizadas usando funciones Lambda y unir con datos externos de DynamoDB o S3 (enriquecimiento). Los datos procesados se almacenan en un almacén de datos y se pueden analizar con consultas SQL. Como los datos se pueden enviar directamente desde el motor de reglas de IoT Core, la integración con dispositivos es sencilla. Para materiales de referencia sobre el procesamiento de datos con pipelines, los libros relacionados en Amazon también pueden ser útiles.
Análisis y visualización
Los datos almacenados en el almacén de datos se pueden extraer como conjuntos de datos mediante consultas SQL. Los conjuntos de datos admiten ejecución programada, lo que permite la generación automática de informes diarios u horarios. Además, se integra un entorno administrado de Jupyter Notebook que permite realizar análisis estadísticos y construir modelos de machine learning con Python. Los resultados del análisis se pueden visualizar en paneles integrándolos con QuickSight.
Aspectos a tener en cuenta
- Se factura según el volumen de procesamiento de datos, el volumen de almacenamiento y la ejecución de consultas. Tenga en cuenta los costos al almacenar grandes cantidades de datos a largo plazo
- No es adecuado para análisis en tiempo real. Considere usar Kinesis Data Analytics si necesita análisis de streaming
- Los datos pueden perderse si ocurren errores en las funciones Lambda del pipeline. Implemente un manejo de errores adecuado
