Amazon SageMaker Unified Studio がデータプロファイルと異常検出をサポート

Amazon SageMaker Unified Studio は AWS Glue Data Quality を利用して、データプロファイルと異常検出機能をサポートする。データ管理者、エンジニア、アナリストはデータの統計プロファイルを生成して、その形状や完全性を理解し、時間とともにどのように変化するかを追跡できる。異常検出機能は、事前に定義されたしきい値やカスタムルールなしで、データポイントが過去のパターンから逸脱したときに検出する。これらの機能は、カタログテーブル上の静止データと Visual ETL ジョブ内の転送データの両方で利用できる。データプロファイルタブでは、データセットレベルとカラムレベルの統計をオンデマンドで計算するかスケジュールできる。プロファイル履歴が蓄積されると、異常検出は期待される動作のベースラインを構築し、予測範囲外のデータポイントをフラグする。これは、特定のしきい値が不明な場合や、期待値が時間とともに変化して固定ルールが古くなる場合に特に有用である。Visual ETL ジョブでは、データ品質評価変換を含むジョブの結果ページで同じプロファイル統計と異常検出を利用できる。この機能は、Amazon SageMaker Unified Studio が提供されているすべての AWS リージョンで利用できる。

この更新の位置づけ

この更新は、データの品質管理や分析を行うデータ管理者、エンジニア、アナリストに有用である。データプロファイルと異常検出機能により、データの品質をより効果的に監視および確保できる。