AWS Glue Interactive Sessions が Spark Connect をサポート

AWS Glue Interactive Sessions が Apache Spark Connect をサポートするようになった。これにより、Amazon SageMaker Unified Studio や Jupyter、Visual Studio Code などの環境から、AWS Glue のサーバーレスインフラストラクチャ上で Apache Spark アプリケーションを開発および実行できる。Spark Connect を使用すると、クライアントアプリケーションと Spark 実行環境が分離され、アドホックなデータ探索や段階的なデバッグ、段階的な PySpark ジョブ開発が可能になる。また、クライアントの依存関係とサーバー側の Spark ランタイムを分離することで、アップグレードが簡素化され、安定性が向上する。観測性として、Spark UI によるリアルタイムセッション監視、Spark History Server による履歴追跡、AWS Glue API、CLI、SDK によるセッション管理が提供される。この機能は、アジア太平洋 (ムンバイ、ソウル、シンガポール、シドニー、東京)、カナダ (中央)、ヨーロッパ (フランクフルト、アイルランド、ロンドン、パリ、ストックホルム)、南アメリカ (サンパウロ)、米国東部 (オハイオ、ノババージニア)、米国西部 (オレゴン) で利用可能。