Amazon EMR が Apache Spark 4.1 を含む LTS リリースを導入

Amazon EMR は LTS (Long Term Support) リリースを導入し、emr-spark-8.1.0 および Apache Spark 4.1 を開始する。この LTS リリースでは、AWS ランミタイムの指定バージョンが 36 か月間サポートされ、重大なセキュリティ、バグ、およびデータ破損の問題の修正が含まれる。LTS は、プロダクションの Spark ワークロードを 1 バージョン長く実行し、追加コストなしで自分のスケジュールでアップグレードできるようにする。このリリースでは、Apache Iceberg v3 の完全なサポートが追加され、地理情報、高精度タイムスタンプ、スキーマ進化の機能がテーブルにもたらされる。Spark SQL クエリは、クロスアカウントや Amazon S3 テーブルカタログを含むカタログを名前で参照し、Apache Iceberg、Delta Lake、Apache Hudi のテーブル形式を自動検出できる。細粒度アクセス制御は、Apache Iceberg のより多くの操作と Delta Lake の VACUUM 操作をカバーするようになった。Amazon EMR on EKS クラスターは、トークンベースの認証を備えた Spark Connect エンドポイントをサポートする。emr-spark-8.1.0 は、Amazon EMR が利用可能なすべての AWS リージョンで、Amazon EMR on EC2、Amazon EMR on EKS、および Amazon EMR Serverless で利用できる。

この更新の位置づけ

この更新は、データ処理やビッグデータ分析を行うユーザーに影響する。LTS リリースにより、長期間のサポートとセキュリティ更新が提供され、アップグレードのスケジュールを柔軟に管理できる。