AWS Glue Data Quality が異常検出と結果の GDC への保存をサポート

AWS Glue Data Quality は、カタログベースのデータ品質評価で異常検出と評価結果の AWS Glue Data Catalog (GDC) テーブルへの保存をサポートする。これらの機能は、ETL ジョブとカタログ評価の両方で動作し、ワークフローに関係なく一貫したデータ品質体験を提供する。GDC での異常検出サポートにより、明示的なしきい値のルールを作成せずに、ML パワードの時系列予測を使用して GDC テーブルのデータ統計の予期しない変化を特定できる。これにより、GDC の何百ものテーブルを監視するデータエンジニアが問題を自動的に検出できる。結果保存では、データ品質のルール結果、プロファイリングメトリクス、異常予測 (信頼区間付き) が GDC テーブルに保存され、すべての品質評価のクエリ可能なレコードが作成される。評価が ETL ジョブで実行されるか、カタログテーブルで直接実行されるかに関係なく、標準の SQL でいつでも結果をクエリできる。これらの機能は、すべての AWS 商用リージョンおよび AWS GovCloud (US) リージョンで利用可能。