分析と検索

IoT データ分析 - AWS IoT Analytics でデバイスデータを構造化・分析する

AWS IoT Analytics を使った IoT デバイスデータの収集・前処理・分析パイプラインを解説。チャネル・パイプライン・データストア・データセットの 4 コンポーネントと QuickSight 連携を紹介します。

約 2 分で読めます

IoT データ分析の課題と IoT Analytics の役割

IoT デバイスは大量のテレメトリデータ (温度、湿度、振動、位置情報、稼働状態など) を継続的に送信します。このデータを分析するには、ノイズの除去、欠損値の補完、単位の変換、異常値のフィルタリングなどの前処理が必要です。IoT Core でデータを受信した後、Lambda で前処理し、DynamoDB や S3 に保存し、Athena でクエリするという構成は可能ですが、各コンポーネントの連携を自前で構築・管理する必要があります。AWS IoT Analytics は IoT データの収集から分析までのパイプラインをマネージドサービスとして提供します。チャネル (データの受信)、パイプライン (前処理)、データストア (保存)、データセット (クエリ結果) の 4 コンポーネントで構成され、IoT Core からのデータを自動的に処理・蓄積・分析できます。

4 コンポーネントの構成

チャネルは IoT Core のルールアクションまたは BatchPutMessage API からデータを受信する入口です。受信した生データはそのまま保存され、再処理にも使用できます。パイプラインはチャネルからデータを取得し、一連のアクティビティ (処理ステップ) を適用します。組み込みアクティビティとして、属性の追加・削除、フィルタリング (条件に合わないデータの除外)、数学的変換 (単位変換)、デバイスレジストリからのメタデータ追加があります。Lambda アクティビティでカスタムの前処理ロジックも実行できます。データストアはパイプラインで処理されたデータを蓄積するストレージです。S3 バケットをバックエンドとして使用し、Parquet 形式での保存にも対応しています。保持期間を設定すれば古いデータが自動削除されます。データセットは SQL クエリの結果を保存したもので、スケジュール実行 (毎時、毎日など) で定期的に更新できます。

分析と可視化

データセットの SQL クエリでは、データストア内のデータに対して集計、フィルタリング、結合などの分析を実行します。たとえば「過去 24 時間の各デバイスの平均温度と最大温度」「異常値 (閾値超過) が発生したデバイスの一覧」といったクエリを定義し、スケジュール実行で定期的に結果を更新できます。データセットの結果は QuickSight に直接接続してダッシュボードを構築できます。デバイスの稼働状況、センサー値のトレンド、異常検知のアラートなどをリアルタイムに可視化します。 Jupyter Notebook との統合では、 SageMaker ノートブックインスタンスからデータストアのデータに直接アクセスし、 ML モデルの構築・検証を行えます。予知保全 (設備の故障予測)、異常検知、需要予測などの ML ユースケースに活用できます。コンテナ化した分析コードをデータセットのアクションとして実行する機能もあり、定期的な ML 推論パイプラインを構築できます。 IoT 分析の設計パターンを網羅的に学ぶなら、技術書 (Amazon)を参照してください。

料金と Timestream との使い分け

IoT Analytics の料金は、メッセージ処理 (パイプライン) が 100 万メッセージあたり 0.20 USD、データストレージが 1 GB あたり 0.03 USD/月、クエリが分析したデータ 1 TB あたり 5.00 USD です。Timestream との使い分けとして、IoT Analytics はデータの前処理パイプライン (フィルタリング、変換、エンリッチメント) が必要な場合に適しています。Timestream は前処理済みの時系列データを高速にクエリ・集計する場合に適しています。IoT Analytics のパイプラインで前処理したデータを Timestream に書き込み、Timestream でリアルタイムクエリを実行するという組み合わせも有効です。小規模な IoT プロジェクトでは IoT Analytics 単体で十分ですが、大量のデバイスからのリアルタイムクエリが必要な場合は Timestream の併用を検討してください。

まとめ - IoT Analytics の活用指針

AWS IoT Analytics は、IoT デバイスデータの収集・前処理・分析をマネージドパイプラインで実現するサービスです。4 コンポーネント (チャネル・パイプライン・データストア・データセット) のサーバーレス構成、Lambda によるカスタム前処理、QuickSight ・ SageMaker との統合が主な強みです。IoT Core でデバイスデータを収集しているが、分析基盤の構築に手間がかかっている場合に、IoT Analytics は効率的な選択肢です。

関連するサービス

AWS IoT AnalyticsIoT デバイスから収集した大量のデータを処理・分析するマネージドサービスAWS IoT CoreIoT デバイスをクラウドに安全に接続し、メッセージを処理するマネージドサービスAmazon Quickエージェント型のデジタルワークスペースで、質問への回答からアクションの実行までを一貫して行う

関連する記事

IoT デバイス管理 - AWS IoT Core と Lambda で実現するスケーラブルな IoT プラットフォームAWS IoT Core と Lambda を活用した IoT デバイス管理プラットフォームの構築方法を解説します。AWS Cost and Usage Report で詳細コスト分析 - Athena クエリと可視化パイプラインリソースレベルの詳細コストデータを Athena で SQL 分析し、QuickSight で可視化する。CUR 2.0 のデータエクスポートと分析基盤の構築手法を紹介します。Amazon Forecast で実現する需要予測 - 時系列データの取り込みと予測精度の向上Forecast による時系列予測モデルの構築、関連データの活用、予測結果のエクスポートを解説します。

同じテーマの記事

Amazon Quick の実践活用 - 部門別ユースケースとワークフロー自動化の設計パターン営業・IT・財務など部門ごとの活用シナリオと、Quick Flows による通知・承認・多段階ワークフローの設計パターンを具体的に紹介します。BI ダッシュボード可視化 - Amazon QuickSight で実現するデータドリブンな意思決定基盤Amazon QuickSight によるインタラクティブな BI ダッシュボードの構築と、Athena との連携によるサーバーレスデータ分析基盤を解説します。SPICE エンジンによる高速可視化と組織全体へのインサイト共有の実践手法を紹介します。ブロックチェーンネットワーク構築 - Amazon Managed Blockchain と QLDB による分散台帳の活用Amazon Managed Blockchain によるブロックチェーンネットワークの構築と、Amazon QLDB による検証可能な台帳データベースの活用方法を解説します。サプライチェーン管理や金融取引の透明性確保など、実践的なユースケースを紹介します。AWS Clean Rooms で実現するプライバシー保護型データコラボレーションデータを共有・コピーせずに複数企業間で共同分析を実行する。集計ルールによる個人特定防止と Cryptographic Computing による暗号化分析を紹介します。顧客 ID 統合 - AWS Entity Resolution で分散した顧客データを名寄せするAWS Entity Resolution を使った顧客データの名寄せ (エンティティ解決) を解説。ML ベースのマッチング、ルールベースのマッチング、プライバシー保護、Clean Rooms との統合を紹介します。AWS Data Exchange で活用するサードパーティデータ - データ調達とサブスクリプション管理サードパーティのデータ製品を Marketplace 経由で調達し、S3 への自動配信パイプラインを構築する。自社データの製品化と収益化の手法も紹介します。Amazon S3 と Lake Formation で構築するデータレイク - 設計パターンとガバナンスS3 をストレージ基盤とし Lake Formation できめ細かいアクセス制御を実現するデータレイクの設計パターンを紹介。ETL パイプラインとコスト最適化も解説します。データレイクガバナンス - AWS Lake Formation による一元的なアクセス制御AWS Lake Formation を使ったデータレイクの構築・アクセス制御・ガバナンスを解説。S3 ベースのデータレイクに対する列レベル・行レベルのきめ細かな権限管理と Glue ・ Athena との統合を紹介します。

内容が近い記事・サービス

AWS IoT AnalyticsIoT デバイスから収集した大量のテレメトリデータをフィルタリング・変換・蓄積し、高度な分析や機械学習に活用するためのマネージド分析サービスIoT デバイス管理 - AWS IoT Core と Lambda で実現するスケーラブルな IoT プラットフォームAWS IoT Core と Lambda を活用した IoT デバイス管理プラットフォームの構築方法を解説します。AWS IoT Core で実現する IoT デバイス接続 - MQTT 通信とデバイスシャドウMQTT プロトコルで IoT デバイスを接続し、デバイスシャドウで状態を同期する。ルールエンジンによるデータルーティングとデバイス認証の設計を紹介します。時系列データベース - Amazon Timestream で IoT ・メトリクスデータを効率管理するAmazon Timestream を使った時系列データの管理・クエリ・分析を解説。IoT センサーデータやアプリケーションメトリクスの格納、自動階層化ストレージ、SQL クエリによる分析を紹介します。