Amazon EMR が Apache Spark ジョブでネイティブなデータ品質チェックをサポート

Amazon EMR は Apache Spark ジョブ内でデータ品質をネイティブに検証する機能を提供します。データエンジニアリングチームは不良データを下流システムに届く前にインラインでキャッチでき、別途の検証インフラストラクチャを構築または維持する必要がありません。Amazon EMR データ品質は AWS Glue をベースにしており、追加料金なしで利用できます。AWS Glue と同じ宣言的ルール言語 (データ品質定義言語) と API を使用して両エンジンで一貫した体験を提供し、EC2、EKS、サーバーレスデプロイモードで Apache Iceberg、Apache Hudi、Delta Lake と連携します。この機能では、Spark スクリプトで検証ルールを作成するか、AWS Glue データカタログに保存されたルールを参照し、データ読み込み後、変換中、または処理後に適用できます。30 種類以上のルールタイプがあり、動的なルールや、固定しきい値を指定せずに時間経過によるドリフトを追跡するための ML ベースのアノマリ検出などがあります。Amazon EMR データ品質では、パイプラインの失敗、無効なレコードのフィルタリング、クォーランティンへのルーティングなどのアクションを選択できます。結果はデータセット、ルール、行レベルで生成されるため、品質障害を引き起こしているレコードやルールを簡単に特定できます。Amazon EMR データ品質は、AWS ランタイムで Apache Spark (emr-spark-8.1.0) で、すべての AWS コマーシャル、AWS GovCloud (US)、AWS 中国リージョンで利用できます。始めるには、Amazon EMR データ品質ドキュメントにアクセスし、EMR ワークロードの Spark スクリプトに DQDL ルールを追加してください

この更新の位置づけ

この更新は、データエンジニアリングチームがデータ品質を効果的に管理する必要がある場合に役立ちます。Amazon EMR のデータ品質機能により、パイプライン内での検証が簡素化され、別途のインフラストラクチャを必要とせずにデータ品質を確保できます