AWS Glue が VPC 接続、フィルタプッシュダウン、REST API コネクタのパーティション対応を開始

AWS Glue は REST API コネクタに VPC 接続、フィルタプッシュダウン、パーティション対応を追加した。VPC 接続により、プライベートサブネットや VPN、AWS PrivateLink 経由でデータソースに接続し、パブリックインターネットにトラフィックをさらさずに操作できる。フィルタプッシュダウンはクエリプレディケートを API ネイティブパラメータに変換し、該当レコードのみをソースから取得することで、データ転送コストを削減しジョブパフォーマンスを向上させる。パーティション対応はフィールドベースまたはレコードカウント戦略で大きなデータセットを複数の Spark ワーカーに分割し、高ボリュームのページネーション API での読み込み時間を短縮する。これらの機能は AWS Glue が利用可能なすべての商業リージョンで利用可能。