Amazon EMR Serverless がテラバイト規模のシャッフルをサポート

Amazon EMR Serverless は、ジョブあたりのシャッフル制限を 200 GB から 1TB に引き上げ、テラバイト規模のシャッフル操作をサポートするようになった。これにより、データエンジニアやデータサイエンティストは、クラスターやサーバーの設定、管理、スケーリングなしでオープンソースのビッグデータ分析フレームワークを実行できる。特に、テラバイト規模のデータセット間の大規模なテーブル結合や、高カーディナリティデータの複雑な集計など、シャッフルを必要とする複雑な操作を実行するエンタープライズ顧客に有益である。スピルサポートの追加により、メモリ集約的な操作をディスクにオフロードして処理できるため、要求の厳しい分析ワークロードのジョブの信頼性と成功率が向上する。この機能は、Amazon emr-7.14、emr-spark-8.1 以降で、Amazon EMR Serverless が利用可能な 18 の AWS リージョンで提供される。

この更新の位置づけ

この更新は、ビッグデータ分析フレームワークを運用環境で実行するデータエンジニアやデータサイエンティストに影響を与える。特に、テラバイト規模のデータセットを処理する必要がある場合に有益である。