Amazon EMR on EC2 で Spark Connect によるインタラクティブセッションがサポート

Amazon EMR on EC2 が Apache Spark のインタラクティブセッションである Spark Connect をサポートするようになった。データエンジニアやデータサイエンティストは、Amazon SageMaker Unified Studio や Jupyter、Visual Studio Code などの IDE から、管理されたノートブックで Apache Spark アプリケーションをインタラクティブに開発およびデバッグできる。各セッションは専用の EMR on EC2 クラスターで実行される。インタラクティブセッションでは、セッション全体にわたる持続的な Spark コンテキストが提供され、ローカルの Python コード実行とリモートの Spark 操作を組み合わせられる。Spark Connect のクライアントサーバーアーキテクチャにより、アプリケーションクライアントと Spark ドライバーが分離され、開発環境やツールを維持したまま Spark インフラがクラスターで実行される。このアーキテクチャは、アドホックなデータ探索、段階的なデバッグ、PySpark ジョブの開発などのワークフローをサポートする。可視性として、Spark UI によるリアルタイムセッション監視、Spark History Server による履歴追跡、EMR コンソールや API/CLI/SDK によるセッション管理が可能である。この機能は、AWS ランタイムで Apache Spark (emr-spark-8.0 以降) を利用する Amazon EMR on EC2 で利用でき、AWS GovCloud リージョンおよび中国リージョン以外のすべての AWS リージョンで利用可能である。Amazon SageMaker Unified Studio の体験はサポート対象リージョンで利用できる。