新機能重要度 中

Amazon SageMaker が IAM ベースのドメインでデータラインエージをサポート

Amazon SageMaker Unified Studio が IAM ベースのドメインで OpenLineage 互換のデータラインエージをサポートし、Apache Spark ジョブからのラインエージイベントをキャプチャする。インタラクティブなラインエージグラフや DeleteLineageEvent API も提供する

Amazon SageMaker Unified Studio が IAM ベースのドメインで OpenLineage 互換のデータラインエージをサポートするようになった。Apache Spark ジョブ (Amazon EMR、AWS Glue、SageMaker Visual ETL、ノートブック) からのラインエージイベントをキャプチャできる。IAM Identity Center ベースのドメインでも既に利用可能で、インタラクティブなラインエージグラフがデータの移動を視覚的に表示する。グラフの深さやイベントタイムスタンプモード、データセットのみのビューなどをカスタマイズできる。IAM ベースと IAM Identity Center ベースのドメインで、OpenLineage 互換アプリケーションからデータラインエージをプログラムで公開・クエリ・管理できる。DeleteLineageEvent API で公開されたイベントを削除することも可能。機能は Amazon SageMaker Unified Studio が利用可能なすべての AWS リージョンで利用できる。

AWS 公式の元記事を読む