リネージ システムテーブルリファレンス

プレビュー

このシステムテーブルは パブリック プレビュー段階です。 テーブルにアクセスするには、 system カタログでスキーマを有効にする必要があります。 詳細については、「 システムテーブル スキーマを有効にする」を参照してください。

この記事では、2 つのリネージシステム テーブルの概要について説明します。 これらのシステムテーブルは、Unity Catalog の データリネージ機能に基づいて構築されているため、リネージデータをプログラムでクエリして、意思決定やレポートを促進することができます。

注：

両方のリネージ テーブルは、リネージを常にキャプチャできるとは限らないため、すべての読み取り/書き込みイベントのサブセットを表します。 リネージが推測できる場合にのみレコードが出力されます。

テーブル リネージ テーブル

テーブル リネージ システムテーブルには、 Unity Catalogテーブルまたはパスの各読み取りイベントまたは書き込みイベントのレコードが含まれます。 これには、ジョブの実行、ノートブックの実行、読み取りまたは書き込みイベントで更新されたダッシュボードなどが含まれますが、これらに限定されません。

テーブルパス:このシステムテーブルは system.access.table_lineageにあります。

列リネージテーブル

列 リネージ テーブルには、ソースがないイベントは含まれません。 たとえば、明示的な値を使用して列に挿入すると、その列はキャプチャされません。 列を読み取ると、出力を書き込むかどうかに関係なくキャプチャされます。 列 リネージ はDelta Live Tablesではサポートされていません。

テーブルパス:このシステムテーブルは system.access.column_lineageにあります。

リネージシステムテーブルスキーマ

リネージ システムテーブルは次のスキーマを使用します。 テーブル リネージ スキーマにはsource_column_nameとtarget_column_nameが含まれていません。

列名

データ型

説明

例

account_id

string

Databricks アカウントの ID。

7af234db-66d7-4db3-bbf0-956098224879

metastore_id

string

Unity Catalogメタストアの ID。

5a31ba44-bbf4-4174-bf33-e1fa078e6765

workspace_id

string

ワークスペースのID

123456789012345

entity_type

string

リネージ トランザクションがキャプチャされたエンティティのタイプ。 値は、 NOTEBOOK、 JOB、 PIPELINE、 DASHBOARD_V3 (ダッシュボード)、 DBSQL_DASHBOARD (レガシーダッシュボード)、 DBSQL_QUERY、または NULLです。

NOTEBOOK

entity_id

string

リネージトランザクションがキャプチャされたエンティティの ID。 entity_type が NULLの場合、entity_id は NULLです。

  • 作家: 23098402394234

  • ジョブ： 23098402394234

  • Databricks SQL クエリ: e9cd8a31-de2f-4206-adfa-4f6605d68d88

  • ダッシュボード： 01ef070d110715f2b6d3061b8bda89ea

  • レガシーダッシュボード： e9cd8a31-de2f-4206-adfa-4f6605d68d88

  • パイプライン： e9cd8a31-de2f-4206-adfa-4f6605d68d88

entity_run_id

string

エンティティの一意の実行を記述する ID、またはNULL 。 これは、エンティティの種類ごとに異なります。

  • 作家: コマンド

  • ジョブ: ジョブ

  • Databricks SQL クエリ: query_run_id

  • ダッシュボード: query_run_id

  • レガシーダッシュボード:query_run_id

  • パイプライン: パイプライン

entity_type が NULLの場合、entity_run_id は NULLです。

  • 作家: e3cr5a10-de6f-6206-fdfa-4f5505d68d55

  • ジョブ： 51090402394234

  • Databricks SQL クエリ: e9cd8a31-de2f-4206-adfa-4f6605d68d88

  • ダッシュボード： c3ra5m10-pt6o-6206-mdfa-4f5505d68d55

  • レガシーダッシュボード： c3ra5m10-pt6o-6206-mdfa-4f5505d68d55

  • パイプライン： c5am1e0r-on2f-4206-adfa-4f6605d68d88

source_table_full_name

string

ソース テーブルを識別する 3 つの部分からなる名前。

catalog.schema.table

source_table_catalog

string

ソース テーブルのカタログ。

catalog

source_table_schema

string

ソース テーブルのスキーマ。

schema

source_table_name

string

ソース テーブルの名前。

table

source_path

string

ソース テーブルのクラウド ストレージ内の場所、またはクラウド ストレージから直接読み取る場合はパス。

gs://mybucket/table1

source_type

string

ソースのタイプ。 値は TABLE、 PATH、 VIEW、または STREAMING_TABLEです。

TABLE

source_column_name

string

ソース列の名前。

date

target_table_full_name

string

ターゲット表を識別するための 3 部構成の名前。

catalog.schema.table

target_table_catalog

string

ターゲット表のカタログ。

catalog

target_table_schema

string

ターゲット表のスキーマ。

schema

target_table_name

string

ターゲット表の名前。

table

target_path

string

ターゲット テーブルのクラウド ストレージ内の場所。

gs://mybucket/table1

target_type

string

ターゲットのタイプ。 値は TABLE、 PATH、 VIEW、または STREAMING TABLEです。

TABLE

target_column_name

string

ターゲットカラムの名前。

date

created_by

string

このリネージを生成したユーザー。 これは、 Databricksユーザー名、 Databricksサービスプリンシパル ID、「System-User」、またはユーザー情報を取得できない場合は NULL になります。

crampton.rods@email.com

event_time

timestamp

リネージが生成されたタイムスタンプ。 タイムゾーン情報は値の末尾に記録され、 +00:00は UTC を表します。

2023-06-20T19:47:21.194+00:00

event_date

日付

リネージが生成された日付。 これはパーティション分割された列です。

2023-06-20

リネージシステムテーブルの読み取り

リネージシステムテーブルを分析する際には、以下の考慮事項に注意してください。

  • entity_typeの場合、Databricks は Delta Live Tables、ノートブック、ジョブ、Databricks SQL クエリ、およびダッシュボードをサポートします。 他のエンティティからのイベントはサポートされていません。

  • entity_typeがnullとして表示される場合、イベントに Databricks エンティティが関与していないことを意味します。 たとえば、JDBC クエリの結果である場合や、ユーザーが Databricks UI の[サンプル データ]タブをクリックした場合などが考えられます。

  • イベントが読み取りか書き込みかを判断するには、ソース タイプとターゲット タイプを表示します。

    • 読み取り専用: ソース タイプは null ではありませんが、ターゲット タイプは null です。

    • 書き込み専用: ターゲット タイプは null ではありませんが、ソース タイプは null です。

    • 読み取りと書き込み: ソース タイプとターゲット タイプが null ではありません。

リネージシステムテーブルの例

リネージがシステムテーブルに記録される方法の例として、次のクエリの例と、そのクエリによって作成されるリネージ レコードを示します。

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

system.access.table_lineageのレコードは次のようになります。

entity_type

entity_id

source_table_name

target_table_name

created_by

event_time

NOTEBOOK

27080565267

car_features_exterior

car_features

crampton@email.com

2023-01-25T16:19:58.908+0000

NOTEBOOK

27080565267

car_features_interior

car_features

crampton@email.com

2023-01-25T16:19:58.908+0000

system.access.column_lineageのレコードは次のようになります。

entity_type

entity_id

source_table_name

target_table_name

source_column_name

target_column_name

event_time

NOTEBOOK

27080565267

car_features_interior

car_features

in1

premium_feature_set

2023-01-25T16:19:58.908+0000

NOTEBOOK

27080565267

car_features_interior

car_features

in2

premium_feature_set

2023-01-25T16:19:58.908+0000

注：

上記の例では、すべてのリネージ列が表示されているわけではありません。 完全なスキーマについては、上記のリネージ スキーマを参照してください。

外部テーブル照会のトラブルシューティング

クラウド・ストレージ・パスを使用して外部テーブルを参照する場合、関連付けられたリネージレコードにはパス名のみが含まれ、表名は含まれません。 たとえば、このクエリーのリネージレコードには、テーブル名ではなくパス名が含まれます。

SELECT * FROM delta.`gcp://mybucket/table1`;

パスによって参照される外部テーブルのリネージ レコードをクエリする場合は、 source_table_full_nameまたはtarget_table_full_nameではなく、 source_pathまたはtarget_pathを使用してクエリをフィルターする必要があります。 たとえば、次のクエリは外部テーブルのすべての RINAJI レコードを取得します。

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "gs://mybucket/table1" OR
  target_path = "gs://mybucket/table1";

例: 外部テーブル名に基づくリネージ・レコードの取得

リネージを見つけるためにクラウドストレージのパスを手動で取得したくない場合は、次の関数を使用してテーブル名を使用してリネージのデータを取得できます。 列リネージをクエリする場合は、関数内のsystem.access.table_lineageをsystem.access.column_lineageに置き換えることもできます。

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

次に、次のコマンドを使用して関数を呼び出し、外部テーブルのリネージ レコードを表示します。

display(getLineageForTable("table_name"))