分析と検索

Amazon EMR Serverless で Spark ジョブをサーバーレスに実行 - クラスタ管理不要のビッグデータ処理

EMR Serverless による Spark/Hive ジョブの実行、ジョブランの設計、コスト最適化を解説します。

約 1 分で読めます

EMR Serverless の概要

EMR Serverless は Spark と Hive のジョブをサーバーレスに実行するビッグデータ処理サービスで、最大 400 vCPU のワーカーリソースまで自動スケールします。EMR on EC2 がクラスタのインスタンスタイプ、ノード数、Auto Scaling の設定を必要とするのに対し、EMR Serverless はジョブを投入するだけでリソースが自動的にプロビジョニングされます。

ジョブランとコスト最適化

アプリケーションを作成し、Spark または Hive のジョブランを投入します。ジョブランは vCPU とメモリの最大リソースを指定し、実際の使用量に対してのみ課金されます。事前初期化ワーカーはアプリケーションにワーカーを事前にプールし、ジョブの起動時間を数秒に短縮します。S3 のデータレイクに対して Spark SQL でクエリを実行し、Glue Data Catalog のテーブル定義を参照します。Iceberg テーブルフォーマットと組み合わせることで、ACID トランザクションとタイムトラベルクエリを実現します。

アプリケーション設計と Hive 統合

EMR Serverless のアプリケーションは Spark または Hive のランタイムを選択して作成します。 Spark アプリケーションでは PySpark スクリプトを S3 に配置し、ジョブランで実行します。 Hive アプリケーションでは HiveQL スクリプトで ETL 処理を記述し、 Glue データカタログをメタストアとして使用します。事前初期化ワーカーを設定すると、ジョブ開始時のコールドスタートを回避し、数秒でジョブが開始されます。ジョブランのドライバーとエグゼキューターの vCPU ・メモリを個別に指定でき、ジョブの特性に合わせたリソース配分が可能です。 S3 のデータを Parquet 形式で格納し、パーティション化することでクエリパフォーマンスを最適化します。 Spark の活用事例を知るうえで関連書籍 (Amazon)が参考になります。

EMR Serverless の料金

EMR Serverless は vCPU 時間とメモリ GB 時間の従量課金です。vCPU は 1 時間あたり約 0.052 ドル、メモリは 1 GB 時間あたり約 0.0057 ドルです。ジョブが実行されていない間は課金されないため、散発的なバッチ処理で EMR on EC2 より大幅にコスト効率が向上します。事前初期化ワーカーはアイドル状態でも課金されるため、ジョブの頻度に応じて有効・無効を判断します。ジョブランのリソース上限を設定して暴走ジョブのコストを制御し、タイムアウトで自動停止させます。EMR on EC2 との損益分岐点は、クラスターの稼働率が約 30% を下回る場合に Serverless が有利になる傾向があります。

まとめ

EMR Serverless はクラスタ管理不要で Spark/Hive ジョブを実行するサービスです。従量課金でアイドルコストを排除し、事前初期化ワーカーでコールドスタートを回避します。Glue データカタログをメタストアとして使用し、S3 上の Parquet データに対する効率的な ETL 処理を実現します。クラスター稼働率が 30% を下回る環境で EMR on EC2 より有利です。

関連するサービス

Amazon EMR Serverlessクラスター管理不要で Spark や Hive のジョブをサーバーレスに実行するサービスAmazon S3スケーラブルなオブジェクトストレージサービスAWS Glueデータの抽出・変換・ロードを自動化するサーバーレス ETL サービス

関連する記事

Amazon EMR によるビッグデータ処理 - Spark と Hive の実行環境EMR クラスターで Spark ジョブと Hive クエリを実行し、EMR Serverless との使い分けとマネージドスケーリングによるコスト最適化を紹介します。AWS Glue で構築する ETL パイプライン - クローラーとジョブの設計クローラーでスキーマを自動検出し、Glue ジョブで ETL 処理を実行する。データカタログの活用パターンと Glue Studio によるビジュアル開発を紹介します。AWS Clean Rooms で実現するプライバシー保護型データコラボレーションデータを共有・コピーせずに複数企業間で共同分析を実行する。集計ルールによる個人特定防止と Cryptographic Computing による暗号化分析を紹介します。

同じテーマの記事

Amazon Quick の実践活用 - 部門別ユースケースとワークフロー自動化の設計パターン営業・IT・財務など部門ごとの活用シナリオと、Quick Flows による通知・承認・多段階ワークフローの設計パターンを具体的に紹介します。BI ダッシュボード可視化 - Amazon QuickSight で実現するデータドリブンな意思決定基盤Amazon QuickSight によるインタラクティブな BI ダッシュボードの構築と、Athena との連携によるサーバーレスデータ分析基盤を解説します。SPICE エンジンによる高速可視化と組織全体へのインサイト共有の実践手法を紹介します。ブロックチェーンネットワーク構築 - Amazon Managed Blockchain と QLDB による分散台帳の活用Amazon Managed Blockchain によるブロックチェーンネットワークの構築と、Amazon QLDB による検証可能な台帳データベースの活用方法を解説します。サプライチェーン管理や金融取引の透明性確保など、実践的なユースケースを紹介します。AWS Clean Rooms で実現するプライバシー保護型データコラボレーションデータを共有・コピーせずに複数企業間で共同分析を実行する。集計ルールによる個人特定防止と Cryptographic Computing による暗号化分析を紹介します。顧客 ID 統合 - AWS Entity Resolution で分散した顧客データを名寄せするAWS Entity Resolution を使った顧客データの名寄せ (エンティティ解決) を解説。ML ベースのマッチング、ルールベースのマッチング、プライバシー保護、Clean Rooms との統合を紹介します。AWS Data Exchange で活用するサードパーティデータ - データ調達とサブスクリプション管理サードパーティのデータ製品を Marketplace 経由で調達し、S3 への自動配信パイプラインを構築する。自社データの製品化と収益化の手法も紹介します。Amazon S3 と Lake Formation で構築するデータレイク - 設計パターンとガバナンスS3 をストレージ基盤とし Lake Formation できめ細かいアクセス制御を実現するデータレイクの設計パターンを紹介。ETL パイプラインとコスト最適化も解説します。データレイクガバナンス - AWS Lake Formation による一元的なアクセス制御AWS Lake Formation を使ったデータレイクの構築・アクセス制御・ガバナンスを解説。S3 ベースのデータレイクに対する列レベル・行レベルのきめ細かな権限管理と Glue ・ Athena との統合を紹介します。

内容が近い記事・サービス

Amazon EMR ServerlessApache Spark や Hive のジョブをクラスター管理なしで実行し、処理に使用した vCPU とメモリの時間に対してのみ課金されるサーバーレスビッグデータ処理サービスAmazon EMRApache Spark、Hive、Presto などのビッグデータフレームワークをマネージドに実行するサービスAmazon EMRApache Spark、Hive、Presto などのオープンソースフレームワークをマネージドで実行し、ペタバイト規模のデータ処理・分析を行うビッグデータプラットフォームAmazon EMR によるビッグデータ処理 - Spark と Hive の実行環境EMR クラスターで Spark ジョブと Hive クエリを実行し、EMR Serverless との使い分けとマネージドスケーリングによるコスト最適化を紹介します。