Amazon EMR Serverless で Spark Connect によるインタラクティブセッションがサポート

Amazon EMR Serverless が、Spark Connect によるインタラクティブセッションをサポートした。これにより、Amazon SageMaker Unified Studio や Jupyter、Visual Studio Code などのノートブック環境や IDE から Apache Spark アプリケーションを開発・実行できる。インタラクティブセッションでは、セッション全体にわたって一貫した Spark コンテキストが維持され、ローカルでの Python コード実行とリモートの Spark 処理を統一された環境で組み合わせられる。Spark Connect のクライアント・サーバーアーキテクチャにより、開発環境やツールは維持したまま、Spark インフラは EMR Serverless 上で独立して実行される。これにより、データの探索、段階的なデバッグ、段階的な PySpark ジョブ開発などのワークフローが可能になる。監視機能として、Spark UI によるリアルタイムセッション監視、Spark History Server による履歴追跡、EMR コンソールや API/CLI/SDK によるセッション管理が提供される。Spark Connect on Amazon EMR Serverless は、EMR リリース 7.13 で、EMR Serverless が提供されているすべての AWS リージョンで利用可能。SageMaker Unified Studio の体験はサポートされているリージョンで利用できる。