分析と検索

Amazon EMR によるビッグデータ処理 - Spark と Hive の実行環境

EMR クラスターの構成、Spark ジョブと Hive クエリの実行、EMR Serverless との使い分けを解説します。

約 1 分で読めます

EMR クラスターの構成

EMR クラスターはマスターノード (クラスター管理と YARN リソースマネージャー)、コアノード (HDFS データ保持と計算処理)、タスクノード (計算処理のみ) で構成されます。コアノードは HDFS のデータを保持するため縮小時にデータ損失のリスクがありますが、タスクノードはデータを持たないため自由にスケールできます。S3 をプライマリストレージとして使用する場合、コアノードの HDFS は中間データの一時保存に限定し、タスクノードのスポットインスタンス活用でコストを削減します。EC2 インスタンスフリートを使うと、複数のインスタンスタイプを指定してスポットの可用性を高められます。

Spark と Hive の実行

Spark on EMR では spark-submit コマンドまたは EMR Steps API でジョブを投入します。EMRFS は S3 への読み書きを最適化するファイルシステムで、S3 の結果整合性を回避する一貫性ビューを提供します。Spark の動的リソース割り当て (Dynamic Resource Allocation) を有効にすると、ジョブの負荷に応じてエグゼキューターの数を自動調整します。Hive on EMR では Glue データカタログを外部メタストアとして設定でき、テーブル定義を Athena や Redshift Spectrum と共有できます。EMR Serverless はクラスターのプロビジョニングが不要で、アプリケーション単位でリソースを指定してジョブを実行します。

まとめ

EMR は Spark や Hive などのビッグデータフレームワークのマネージド実行環境を提供します。S3 をプライマリストレージとしたアーキテクチャ、マネージドスケーリングによるコスト最適化、EMR Serverless によるクラスター管理の省力化が設計のポイントです。

AWS の優位点

  • マスターノード、コアノード、タスクノードの 3 種類のノードタイプでクラスターを構成し、コアノードで HDFS データを保持しつつタスクノードで計算リソースをスケールできる
  • Spark on EMR では S3 を外部ストレージとして使用し、EMRFS で S3 への読み書きを最適化する
  • Hive メタストアを Glue データカタログと統合し、Athena や Redshift Spectrum とテーブル定義を共有できる
  • マネージドスケーリングでワークロードに応じてクラスターのノード数を自動調整し、コストを最適化できる
  • EMR Serverless ではクラスター管理が不要で、ジョブ単位のリソース割り当てにより小規模なバッチ処理のコスト効率が向上する

この分野について体系的に学びたい方は、関連書籍 (Amazon) も参考になります。

関連するサービス

Amazon EMR Apache Spark、Hive、Presto などのビッグデータフレームワークをマネージドに実行するサービス Amazon S3 スケーラブルなオブジェクトストレージサービス AWS Glue データの抽出・変換・ロードを自動化するサーバーレス ETL サービス

関連する比較記事

Amazon EMR で実行する Apache Spark - ビッグデータ処理のクラスタ設計とコスト最適化 EMR による Spark クラスタの構築、EMR Serverless との使い分け、スポットインスタンス活用によるコスト最適化を解説します。 Amazon Redshift で構築するクラウドデータウェアハウス - Serverless と RA3 の使い分け Amazon Redshift のアーキテクチャ、Serverless とプロビジョンドクラスタの選定基準、データ共有やマテリアライズドビューの活用法を解説します。 AWS Glue で構築する ETL パイプライン - クローラーとジョブの設計 Glue クローラーによるスキーマ検出、Glue ジョブの ETL 処理、データカタログの活用パターンを解説します。

同じテーマの記事

Amazon Quick の実践活用 - 部門別ユースケースとワークフロー自動化の設計パターン Amazon Quick を営業・IT・財務などの部門で活用する具体的なシナリオと、Quick Flows によるワークフロー自動化の設計パターンを解説します。 BI ダッシュボード可視化 - Amazon QuickSight で実現するデータドリブンな意思決定基盤 Amazon QuickSight によるインタラクティブな BI ダッシュボードの構築と、Athena との連携によるサーバーレスデータ分析基盤を解説します。SPICE エンジンによる高速可視化と組織全体へのインサイト共有の実践手法を紹介します。 ブロックチェーンネットワーク構築 - Amazon Managed Blockchain と QLDB による分散台帳の活用 Amazon Managed Blockchain によるブロックチェーンネットワークの構築と、Amazon QLDB による検証可能な台帳データベースの活用方法を解説します。サプライチェーン管理や金融取引の透明性確保など、実践的なユースケースを紹介します。 AWS Clean Rooms で実現するプライバシー保護型データコラボレーション Clean Rooms による複数企業間のデータ共同分析、分析ルールの設計、Cryptographic Computing によるプライバシー保護を解説します。 顧客 ID 統合 - AWS Entity Resolution で分散した顧客データを名寄せする AWS Entity Resolution を使った顧客データの名寄せ (エンティティ解決) を解説。ML ベースのマッチング、ルールベースのマッチング、プライバシー保護、Clean Rooms との統合を紹介します。 AWS Data Exchange で活用するサードパーティデータ - データ調達とサブスクリプション管理 AWS Data Exchange によるサードパーティデータの調達、S3 への自動配信、データ製品の公開手法を解説します。 Amazon S3 と Lake Formation で構築するデータレイク - 設計パターンとガバナンス S3 をストレージ基盤とし Lake Formation でアクセス制御を一元管理するデータレイクの設計パターンを解説します。 データレイクガバナンス - AWS Lake Formation による一元的なアクセス制御 AWS Lake Formation を使ったデータレイクの構築・アクセス制御・ガバナンスを解説。S3 ベースのデータレイクに対する列レベル・行レベルのきめ細かな権限管理と Glue ・ Athena との統合を紹介します。 データマーケットプレイス活用 - AWS Data Exchange で実現するサードパーティデータの効率的な取得と活用 AWS Data Exchange を活用したサードパーティデータの取得と活用方法を解説します。S3 との統合によるデータパイプラインの構築と、データプロバイダーとしての公開手法を紹介します。 データ検索と分析の実践 - OpenSearch による全文検索と可視化基盤の構築 Amazon OpenSearch Service を活用したデータ検索と分析の設計手法を解説し、全文検索、ログ分析、ダッシュボード可視化による分析基盤の構築方法を紹介します。 Amazon DataZone で実現するデータガバナンス - データの発見・共有・アクセス制御 DataZone によるデータカタログの構築、ドメインベースのデータ共有、サブスクリプションワークフローを解説します。 デジタルツイン - AWS IoT TwinMaker で物理空間の 3D デジタルレプリカを構築する AWS IoT TwinMaker を使ったデジタルツインの構築を解説。3D シーンの作成、IoT データとの連携、Grafana ダッシュボード統合、産業設備の可視化を紹介します。 Amazon EMR で実行する Apache Spark - ビッグデータ処理のクラスタ設計とコスト最適化 EMR による Spark クラスタの構築、EMR Serverless との使い分け、スポットインスタンス活用によるコスト最適化を解説します。 Amazon EMR Serverless で Spark ジョブをサーバーレスに実行 - クラスタ管理不要のビッグデータ処理 EMR Serverless による Spark/Hive ジョブの実行、ジョブランの設計、コスト最適化を解説します。 AWS Entity Resolution で実現するレコードマッチング - 顧客データの名寄せと統合 Entity Resolution による複数データソースのレコードマッチング、マッチングワークフローの設計を解説します。 車両フリートデータ管理 - AWS IoT FleetWise で車両テレメトリを効率的に収集する AWS IoT FleetWise を使った車両テレメトリデータの収集を解説。車両モデリング、エッジでのデータフィルタリング、クラウドへの効率的なデータ転送を紹介します。 AWS Glue で構築する ETL パイプライン - クローラーとジョブの設計 Glue クローラーによるスキーマ検出、Glue ジョブの ETL 処理、データカタログの活用パターンを解説します。 産業 IoT モニタリング - AWS IoT SiteWise で設備データを収集・可視化する AWS IoT SiteWise を使った産業設備のデータ収集・モデリング・可視化を解説。OPC-UA 対応ゲートウェイ、アセットモデル、SiteWise Monitor ダッシュボードを紹介します。 IoT データ分析 - AWS IoT Analytics でデバイスデータを構造化・分析する AWS IoT Analytics を使った IoT デバイスデータの収集・前処理・分析パイプラインを解説。チャネル・パイプライン・データストア・データセットの 4 コンポーネントと QuickSight 連携を紹介します。 IoT デバイス管理 - AWS IoT Core と Lambda で実現するスケーラブルな IoT プラットフォーム AWS IoT Core と Lambda を活用した IoT デバイス管理プラットフォームの構築方法を解説します。 Amazon Kinesis で構築するリアルタイムデータパイプライン - Data Streams と Data Firehose の使い分け Kinesis Data Streams と Data Firehose の使い分け、シャード設計、リアルタイム分析パイプラインの構築を解説します。 AWS Lake Formation で構築するデータレイク - きめ細かいアクセス制御とデータカタログ Lake Formation によるデータレイクの構築、列・行レベルのアクセス制御、Glue Data Catalog との統合を解説します。 Amazon Managed Service for Apache Flink でリアルタイムストリーム処理 - ステートフル処理とウィンドウ集約 Managed Flink によるストリーム処理アプリケーションの構築、ウィンドウ集約、チェックポイントの設計を解説します。 マネージド Kafka ストリーミング - Amazon MSK で実現する大規模リアルタイムデータパイプライン Amazon MSK (Managed Streaming for Apache Kafka) によるフルマネージド Kafka クラスタの構築と、Kinesis との使い分けを解説します。大規模なリアルタイムデータストリーミング基盤の設計パターンを紹介します。 Amazon MSK で構築する Apache Kafka ストリーミング基盤 - クラスタ設計と運用 Amazon MSK のクラスタ設計、MSK Serverless との使い分け、MSK Connect によるデータ連携パターンを解説します。 Amazon MSK Serverless で始めるイベントストリーミング - 運用ゼロの Kafka 環境構築 MSK Serverless によるクラスタ管理不要の Kafka 環境構築、IAM 認証、EventBridge Pipes との統合パターンを解説します。 Amazon OpenSearch Service で構築するログ分析基盤 - インデックス設計とダッシュボード構築 OpenSearch Service によるログ分析基盤の構築、インデックスライフサイクル管理、OpenSearch Dashboards の活用法を解説します。 プライバシー保護データ分析 - AWS Clean Rooms で安全にデータをコラボレーションする AWS Clean Rooms を使ったプライバシー保護データ分析を解説。複数組織間のデータコラボレーション、分析ルールによるアクセス制御、差分プライバシーの活用を紹介します。 量子コンピューティングサービス - Amazon Braket で始める量子アルゴリズム開発 Amazon Braket を活用した量子コンピューティングの実践方法を解説します。量子回路シミュレーター、実機量子コンピューターへのアクセス、ハイブリッド量子古典アルゴリズムの実装など、量子技術の活用方法と Lambda との連携パターンを紹介します。 Amazon QuickSight で構築する BI ダッシュボード - サーバーレス分析と埋め込み可視化 QuickSight によるダッシュボードの作成、SPICE エンジンの活用、アプリケーションへの埋め込みを解説します。 リアルタイムデータストリーミング - Amazon Kinesis で実現する即時データ処理 Amazon Kinesis を活用したリアルタイムデータストリーミングの構築方法を解説します。 Amazon Redshift で構築するクラウドデータウェアハウス - Serverless と RA3 の使い分け Amazon Redshift のアーキテクチャ、Serverless とプロビジョンドクラスタの選定基準、データ共有やマテリアライズドビューの活用法を解説します。 Amazon Redshift のパフォーマンスチューニング - 分散キー・ソートキー・ WLM の最適化 Redshift の分散スタイルとソートキーの選定、ワークロード管理 (WLM) の設計、AQUA によるクエリ高速化を解説します。 ストリーミングデータ処理の設計 - Kinesis によるリアルタイムデータパイプラインの構築 Amazon Kinesis を活用したストリーミングデータ処理の設計手法を解説し、Data Streams、Data Firehose、Lambda 連携によるリアルタイムデータパイプラインの構築方法を紹介します。 動画トランスコーディング - AWS Elemental MediaConvert で実現するスケーラブルな映像変換基盤 AWS Elemental MediaConvert と S3 を活用した動画トランスコーディングパイプラインの構築方法を解説します。マルチフォーマット出力、HDR 対応、コスト効率の高いサーバーレス映像処理の実践手法を紹介します。