分析と検索

AWS Glue で構築する ETL パイプライン - クローラーとジョブの設計

Glue クローラーによるスキーマ検出、Glue ジョブの ETL 処理、データカタログの活用パターンを解説します。

約 1 分で読めます

クローラーとデータカタログ

Glue クローラーはデータソースを自動スキャンし、スキーマ (テーブル定義、カラム名、データ型) を検出してデータカタログに登録します。S3 のパスを指定すると、ファイル形式 (CSV、JSON、Parquet、ORC など) を自動判別し、パーティション構造も検出します。クローラーのスケジュール実行で新しいパーティションやスキーマ変更を自動的にカタログに反映できます。データカタログは Hive メタストア互換で、Athena、Redshift Spectrum、EMR から共通のテーブル定義を参照してクエリを実行できます。

Glue ジョブの設計

Glue ジョブは Python (PySpark) または Scala で ETL スクリプトを記述し、サーバーレスの Spark 環境で実行します。DynamicFrame は Glue 独自のデータ構造で、同一カラムに異なるデータ型が混在するスキーマの不整合を ResolveChoice で柔軟に処理します。Glue Studio のビジュアルエディターではソース (S3、RDS、Kafka など)、変換 (フィルター、結合、集計)、ターゲット (S3、Redshift、DynamoDB など) をノードとして配置し、ノーコードで ETL ジョブを設計できます。ジョブブックマークは処理済みデータの位置を記録し、次回実行時に未処理データのみを対象とする増分処理を実現します。

まとめ

Glue はクローラーによるスキーマ自動検出、サーバーレスの Spark ベース ETL ジョブ、Hive 互換のデータカタログを統合的に提供します。ジョブブックマークによる増分処理と Glue Studio のビジュアルエディターで、効率的な ETL パイプラインを構築できます。

AWS の優位点

  • クローラーが S3、RDS、DynamoDB などのデータソースを自動スキャンし、スキーマを検出してデータカタログに登録する
  • Glue ジョブは Apache Spark ベースの ETL 処理をサーバーレスで実行し、DPU (Data Processing Unit) 数でリソースを制御する
  • DynamicFrame は Spark DataFrame を拡張した Glue 独自のデータ構造で、スキーマの不整合を柔軟に処理できる
  • Glue Studio のビジュアルエディターでノーコードの ETL ジョブを作成し、ソース・変換・ターゲットをドラッグ&ドロップで設計できる
  • ジョブブックマークで処理済みデータを追跡し、増分処理で重複処理を回避できる

この分野について体系的に学びたい方は、関連書籍 (Amazon) も参考になります。

関連するサービス

AWS Glue データの抽出・変換・ロードを自動化するサーバーレス ETL サービス Amazon S3 スケーラブルなオブジェクトストレージサービス Amazon Athena S3 上のデータを SQL で直接分析できるサーバーレスクエリサービス

関連する比較記事

Amazon S3 と Lake Formation で構築するデータレイク - 設計パターンとガバナンス S3 をストレージ基盤とし Lake Formation でアクセス制御を一元管理するデータレイクの設計パターンを解説します。 Amazon Redshift で構築するクラウドデータウェアハウス - Serverless と RA3 の使い分け Amazon Redshift のアーキテクチャ、Serverless とプロビジョンドクラスタの選定基準、データ共有やマテリアライズドビューの活用法を解説します。 Amazon EMR によるビッグデータ処理 - Spark と Hive の実行環境 EMR クラスターの構成、Spark ジョブと Hive クエリの実行、EMR Serverless との使い分けを解説します。

同じテーマの記事

Amazon Quick の実践活用 - 部門別ユースケースとワークフロー自動化の設計パターン Amazon Quick を営業・IT・財務などの部門で活用する具体的なシナリオと、Quick Flows によるワークフロー自動化の設計パターンを解説します。 BI ダッシュボード可視化 - Amazon QuickSight で実現するデータドリブンな意思決定基盤 Amazon QuickSight によるインタラクティブな BI ダッシュボードの構築と、Athena との連携によるサーバーレスデータ分析基盤を解説します。SPICE エンジンによる高速可視化と組織全体へのインサイト共有の実践手法を紹介します。 ブロックチェーンネットワーク構築 - Amazon Managed Blockchain と QLDB による分散台帳の活用 Amazon Managed Blockchain によるブロックチェーンネットワークの構築と、Amazon QLDB による検証可能な台帳データベースの活用方法を解説します。サプライチェーン管理や金融取引の透明性確保など、実践的なユースケースを紹介します。 AWS Clean Rooms で実現するプライバシー保護型データコラボレーション Clean Rooms による複数企業間のデータ共同分析、分析ルールの設計、Cryptographic Computing によるプライバシー保護を解説します。 顧客 ID 統合 - AWS Entity Resolution で分散した顧客データを名寄せする AWS Entity Resolution を使った顧客データの名寄せ (エンティティ解決) を解説。ML ベースのマッチング、ルールベースのマッチング、プライバシー保護、Clean Rooms との統合を紹介します。 AWS Data Exchange で活用するサードパーティデータ - データ調達とサブスクリプション管理 AWS Data Exchange によるサードパーティデータの調達、S3 への自動配信、データ製品の公開手法を解説します。 Amazon S3 と Lake Formation で構築するデータレイク - 設計パターンとガバナンス S3 をストレージ基盤とし Lake Formation でアクセス制御を一元管理するデータレイクの設計パターンを解説します。 データレイクガバナンス - AWS Lake Formation による一元的なアクセス制御 AWS Lake Formation を使ったデータレイクの構築・アクセス制御・ガバナンスを解説。S3 ベースのデータレイクに対する列レベル・行レベルのきめ細かな権限管理と Glue ・ Athena との統合を紹介します。 データマーケットプレイス活用 - AWS Data Exchange で実現するサードパーティデータの効率的な取得と活用 AWS Data Exchange を活用したサードパーティデータの取得と活用方法を解説します。S3 との統合によるデータパイプラインの構築と、データプロバイダーとしての公開手法を紹介します。 データ検索と分析の実践 - OpenSearch による全文検索と可視化基盤の構築 Amazon OpenSearch Service を活用したデータ検索と分析の設計手法を解説し、全文検索、ログ分析、ダッシュボード可視化による分析基盤の構築方法を紹介します。 Amazon DataZone で実現するデータガバナンス - データの発見・共有・アクセス制御 DataZone によるデータカタログの構築、ドメインベースのデータ共有、サブスクリプションワークフローを解説します。 デジタルツイン - AWS IoT TwinMaker で物理空間の 3D デジタルレプリカを構築する AWS IoT TwinMaker を使ったデジタルツインの構築を解説。3D シーンの作成、IoT データとの連携、Grafana ダッシュボード統合、産業設備の可視化を紹介します。 Amazon EMR によるビッグデータ処理 - Spark と Hive の実行環境 EMR クラスターの構成、Spark ジョブと Hive クエリの実行、EMR Serverless との使い分けを解説します。 Amazon EMR で実行する Apache Spark - ビッグデータ処理のクラスタ設計とコスト最適化 EMR による Spark クラスタの構築、EMR Serverless との使い分け、スポットインスタンス活用によるコスト最適化を解説します。 Amazon EMR Serverless で Spark ジョブをサーバーレスに実行 - クラスタ管理不要のビッグデータ処理 EMR Serverless による Spark/Hive ジョブの実行、ジョブランの設計、コスト最適化を解説します。 AWS Entity Resolution で実現するレコードマッチング - 顧客データの名寄せと統合 Entity Resolution による複数データソースのレコードマッチング、マッチングワークフローの設計を解説します。 車両フリートデータ管理 - AWS IoT FleetWise で車両テレメトリを効率的に収集する AWS IoT FleetWise を使った車両テレメトリデータの収集を解説。車両モデリング、エッジでのデータフィルタリング、クラウドへの効率的なデータ転送を紹介します。 産業 IoT モニタリング - AWS IoT SiteWise で設備データを収集・可視化する AWS IoT SiteWise を使った産業設備のデータ収集・モデリング・可視化を解説。OPC-UA 対応ゲートウェイ、アセットモデル、SiteWise Monitor ダッシュボードを紹介します。 IoT データ分析 - AWS IoT Analytics でデバイスデータを構造化・分析する AWS IoT Analytics を使った IoT デバイスデータの収集・前処理・分析パイプラインを解説。チャネル・パイプライン・データストア・データセットの 4 コンポーネントと QuickSight 連携を紹介します。 IoT デバイス管理 - AWS IoT Core と Lambda で実現するスケーラブルな IoT プラットフォーム AWS IoT Core と Lambda を活用した IoT デバイス管理プラットフォームの構築方法を解説します。 Amazon Kinesis で構築するリアルタイムデータパイプライン - Data Streams と Data Firehose の使い分け Kinesis Data Streams と Data Firehose の使い分け、シャード設計、リアルタイム分析パイプラインの構築を解説します。 AWS Lake Formation で構築するデータレイク - きめ細かいアクセス制御とデータカタログ Lake Formation によるデータレイクの構築、列・行レベルのアクセス制御、Glue Data Catalog との統合を解説します。 Amazon Managed Service for Apache Flink でリアルタイムストリーム処理 - ステートフル処理とウィンドウ集約 Managed Flink によるストリーム処理アプリケーションの構築、ウィンドウ集約、チェックポイントの設計を解説します。 マネージド Kafka ストリーミング - Amazon MSK で実現する大規模リアルタイムデータパイプライン Amazon MSK (Managed Streaming for Apache Kafka) によるフルマネージド Kafka クラスタの構築と、Kinesis との使い分けを解説します。大規模なリアルタイムデータストリーミング基盤の設計パターンを紹介します。 Amazon MSK で構築する Apache Kafka ストリーミング基盤 - クラスタ設計と運用 Amazon MSK のクラスタ設計、MSK Serverless との使い分け、MSK Connect によるデータ連携パターンを解説します。 Amazon MSK Serverless で始めるイベントストリーミング - 運用ゼロの Kafka 環境構築 MSK Serverless によるクラスタ管理不要の Kafka 環境構築、IAM 認証、EventBridge Pipes との統合パターンを解説します。 Amazon OpenSearch Service で構築するログ分析基盤 - インデックス設計とダッシュボード構築 OpenSearch Service によるログ分析基盤の構築、インデックスライフサイクル管理、OpenSearch Dashboards の活用法を解説します。 プライバシー保護データ分析 - AWS Clean Rooms で安全にデータをコラボレーションする AWS Clean Rooms を使ったプライバシー保護データ分析を解説。複数組織間のデータコラボレーション、分析ルールによるアクセス制御、差分プライバシーの活用を紹介します。 量子コンピューティングサービス - Amazon Braket で始める量子アルゴリズム開発 Amazon Braket を活用した量子コンピューティングの実践方法を解説します。量子回路シミュレーター、実機量子コンピューターへのアクセス、ハイブリッド量子古典アルゴリズムの実装など、量子技術の活用方法と Lambda との連携パターンを紹介します。 Amazon QuickSight で構築する BI ダッシュボード - サーバーレス分析と埋め込み可視化 QuickSight によるダッシュボードの作成、SPICE エンジンの活用、アプリケーションへの埋め込みを解説します。 リアルタイムデータストリーミング - Amazon Kinesis で実現する即時データ処理 Amazon Kinesis を活用したリアルタイムデータストリーミングの構築方法を解説します。 Amazon Redshift で構築するクラウドデータウェアハウス - Serverless と RA3 の使い分け Amazon Redshift のアーキテクチャ、Serverless とプロビジョンドクラスタの選定基準、データ共有やマテリアライズドビューの活用法を解説します。 Amazon Redshift のパフォーマンスチューニング - 分散キー・ソートキー・ WLM の最適化 Redshift の分散スタイルとソートキーの選定、ワークロード管理 (WLM) の設計、AQUA によるクエリ高速化を解説します。 ストリーミングデータ処理の設計 - Kinesis によるリアルタイムデータパイプラインの構築 Amazon Kinesis を活用したストリーミングデータ処理の設計手法を解説し、Data Streams、Data Firehose、Lambda 連携によるリアルタイムデータパイプラインの構築方法を紹介します。 動画トランスコーディング - AWS Elemental MediaConvert で実現するスケーラブルな映像変換基盤 AWS Elemental MediaConvert と S3 を活用した動画トランスコーディングパイプラインの構築方法を解説します。マルチフォーマット出力、HDR 対応、コスト効率の高いサーバーレス映像処理の実践手法を紹介します。