Amazon EMR
- 区分
- 専門
- 提供開始
- 2009 年
Apache Spark、Hive、Presto などのビッグデータフレームワークをマネージドに実行するサービス
何ができるか
Amazon EMR (Elastic MapReduce) は、Apache Spark、Hive、Presto、HBase などのオープンソースビッグデータフレームワークをマネージドクラスターで実行するサービスです。ペタバイト規模のデータ処理を、EC2 インスタンスのクラスターを自動でプロビジョニングして実行します。クラスターのセットアップ、設定、チューニングを AWS が管理します。
どのような場面で使うか
大規模なログ分析、ETL (データの抽出 / 変換 / ロード) 処理、機械学習のデータ前処理、データレイク上のインタラクティブクエリ、ゲノム解析などのビッグデータワークロードに利用されます。
身近な例え
大規模な工場の生産ラインに例えられます。大量の原材料 (データ) を処理するために、必要な台数の機械 (ノード) を自動で並べて稼働させます。処理が終わったら機械を片付けるので、使った分だけのコストで済みます。
EMR とは
Amazon EMR は、ビッグデータ処理のためのマネージドクラスターサービスです。Apache Spark や Hive などのフレームワークを自分でインストール / 設定する手間なく、数分でクラスターを起動してジョブを実行できます。S3 をデータレイクとして利用し、コンピュートとストレージを分離するアーキテクチャが一般的です。
クラスター構成
EMR クラスターはマスターノード、コアノード、タスクノードの 3 種類で構成されます。マスターノードはクラスターの管理とジョブの調整を行います。コアノードはデータの格納と処理を担当します。タスクノードは処理のみを行い、スポットインスタンスを活用してコストを削減できます。Auto Scaling でノード数を負荷に応じて自動調整することも可能です。
EMR on EKS と EMR Serverless
EMR は EC2 上のクラスターに加え、EKS 上で Spark ジョブを実行する EMR on EKS、クラスター管理が完全に不要な EMR Serverless も提供しています。EMR on EKS は既存の Kubernetes 環境にビッグデータ処理を統合したい場合に適しています。EMR Serverless はジョブを投入するだけでリソースが自動プロビジョニングされ、最もシンプルに利用できます。
はじめかた
EMR コンソールで「クラスターの作成」を選択し、アプリケーション (Spark、Hive など)、インスタンスタイプ、ノード数を指定します。S3 上のデータに対して Spark ジョブを投入し、結果を S3 に出力するのが基本的な流れです。処理完了後にクラスターを自動終了する設定にすれば、不要なコストを防げます。
注意点
- クラスターを起動したまま放置するとインスタンス料金が発生し続けるため、ジョブ完了後の自動終了設定を推奨
- タスクノードにスポットインスタンスを使うとコストを大幅に削減できるが、中断に備えたジョブ設計が必要
- シンプルなユースケースでは EMR Serverless の方がクラスター管理不要でコスト効率が良い場合がある
利用できるリージョン
Amazon EMR を利用できるリージョンは 37 か所です (2026-10-09 時点)。
アジアパシフィック：香港、台北、東京、ソウル、大阪、ムンバイ、ハイデラバード、シンガポール、シドニー、ジャカルタ、メルボルン、マレーシア、ニュージーランド、タイ
北米：カナダ (中部)、カナダ西部 (カルガリー)、メキシコ (中部)、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)
南米：サンパウロ
欧州：フランクフルト、チューリッヒ、ストックホルム、ミラノ、スペイン、アイルランド、ロンドン、パリ
AWS 欧州ソブリンクラウド：ドイツ
中東：イスラエル (テルアビブ)、アラブ首長国連邦、バーレーン
アフリカ：ケープタウン
AWS GovCloud (米国)：AWS GovCloud (米国東部)、AWS GovCloud (米国西部)
参考資料 (AWS 公式)
本ページの一次情報は AWS 公式サイトと公式ドキュメントです。最新の仕様と料金は次の公式ページで確認できます。
本ページと公式ドキュメントの記述が食い違う場合は、公式ドキュメントを正としてください。
