AWS Glue に関する AWS の公式アップデート情報を、日本語で要約しています。
2026 年 11 月 3 日時点の情報です。
AWS Glue Data Catalog は Apache Iceberg REST Catalog API 用に OAuth 2.0 ベアラー トークン認証をサポートし、AWS Sign-In を使用できます。これにより、Apache Spark、Trino、Apache Flink などのクエリエンジンが標準の OAuth 2.0 ベアラー トークンを使用して認証できます。
Amazon EMR は Apache Spark ジョブ内でデータ品質をネイティブに検証し、データエンジニアリングチームは不良データを下流システムに届く前にキャッチできます。AWS Glue をベースにした Amazon EMR データ品質は追加料金なしで利用でき、EC2、EKS、サーバーレスデプロイモードで Apache Iceberg、Apache Hudi、Delta Lake と連携します
AWS は Apache Iceberg のマテリアライズドビューにシステム管理による書き込み保護を提供開始する。これにより、結果が正確に維持され、共有可能になる。
AWS Glue Data Catalog は Apache Iceberg V3 テーブル用にテーブル最適化、統計情報、クローラーを提供し、クエリパフォーマンスの向上とストレージコストの削減を可能にする
AWS Glue Data Quality は生成的 AI を活用し、データの意図を検出するアドバンストモードを提供。データセットの初期設定や大規模データレイクのベースラインチェックを迅速化する。
AWS Glue zero-ETL は Salesforce のアーカイブレコードをターゲットテーブルにキャプチャし、分析とレポート用に完全な Salesforce データのレプリカを提供する。既存パイプラインは中断されず、isArchived フィールドが正確に設定される。
AWS Glue が Apache Spark 3.5.6、Python 3.11、Scala 2.12.18 へアップグレードし、セキュリティとパフォーマンスが向上する
AWS Glue はリモート Iceberg REST カタログへの連合機能を提供し、データ移動なしで最新メタデータでクエリを実行可能にする
AWS Glue 6.0 は開発者生産性を向上させる新機能を追加し、Apache Spark 4.1 へのアップグレードも実施
AWS Glue Schema Registry はストリーミングデータのスキーマ管理を簡素化し、データ品質の向上とダウンストリームアプリケーションの障害削減に寄与する
AWS Glue Data Catalog が S3 Tables へのメタデータエクスポート機能をプレビューで提供する。これにより、カタログの技術的およびビジネスメタデータをクエリ可能にする。
AWS Glue Data Quality は新しい観察モードで偽の異常検出を削減し、ETL ジョブの異常検出を無料化する。これにより、データ品質の監視がより正確かつコスト効率よく可能になる
AWS Glue は REST API コネクタで VPC 接続、フィルタプッシュダウン、パーティション対応を追加し、プライベートエンドポイントへの安全な接続やデータ転送コストの削減、並列読み込みによる高速化を実現する
AWS Glue Data Quality は新しい分布アナライザをサポートし、データプロファイリングでヒストグラムや値分布を生成できる。DQDL ルールセットと統合され、S3 に保存してクエリ可能。
AWS Glue Data Quality は、GDC ベースのデータ品質評価で異常検出と評価結果の GDC テーブルへの保存をサポートする。これにより、ETL ジョブとカタログ評価の両方で一貫したデータ品質管理が可能になる
AWS Glue SAP OData コネクタとゼロ ETL 統合が AWS GovCloud (US) リージョンで提供開始する。これにより、SAP OData、Amazon DynamoDB、Salesforce から Amazon Redshift や Amazon S3 へデータ移行が可能になる。
AWS Glue Interactive Sessions は Apache Spark Connect をサポートし、SageMaker Unified Studio や Jupyter などの環境からクラスターを管理せずに Spark アプリケーションを実行できる
条件に合うアップデートがありません。絞り込みを変更してください。