Delta Live Tables パイプラインから Hive metastore にデータを発行する

パイプラインの出力データを検出可能にしてクエリーで使用できるようにするには、データセットを Hive metastoreに発行します。データセットをメタストアに発行するには、パイプラインの作成時に [ ターゲット ] フィールドにスキーマ名を入力します。ターゲットデータベースを既存のパイプラインに追加することもできます。

デフォルトでは、 Delta Live Tables で作成されたすべてのテーブルとビューはパイプラインに対してローカルです。テーブルをターゲットスキーマに発行して、クエリを作成するか、宣言されているパイプラインの外部で Delta Live Tables データセットを使用する必要があります。

パイプラインから Unity Catalog にテーブルを発行するには、「 Delta Live Tables パイプラインでUnity Catalog を使用する」を参照してください。

Delta Live Tables データセットをスキーマに公開する方法

Delta Live Tables パイプライン内のすべてのテーブルのターゲットスキーマは、[パイプライン設定] と [パイプライン UI の作成] の [ターゲットスキーマ] フィールドを使用して宣言できます。

target 値を設定して、JSON 構成でスキーマを指定することもできます。

パイプラインの更新を実行して、結果をターゲットスキーマに発行する必要があります。

この機能を複数の環境構成で使用して、環境に基づいて異なるスキーマに発行できます。たとえば、開発用に dev スキーマに発行し、運用データ用に prod スキーマに発行できます。

Delta Live Tables でデータセットをクエリーする方法

更新が完了したら、スキーマとテーブルを表示したり、データを表示したり、ダウンストリームアプリケーションでデータを使用したりできます。

パブリッシュされると、 Delta Live Tables テーブルは、ターゲットスキーマにアクセスできる任意の環境からクエリできます。これには、Databricks SQL、ノートブック、およびその他の Delta Live Tables パイプラインが含まれます。

重要

target 構成を作成すると、テーブルと関連するメタデータのみが公開されます。ビューはメタストアに発行されません。

ターゲットスキーマからテーブルを除外する

外部での使用を意図していない中間テーブルを計算する必要がある場合は、 TEMPORARY キーワードを使用して、中間テーブルがスキーマにパブリッシュされないようにすることができます。一時テーブルは、Delta Live Tables のセマンティクスに従ってデータを格納および処理しますが、現在のパイプラインの外部からアクセスしないでください。一時テーブルは、それを作成するパイプラインの有効期間中保持されます。テンポラリ・テーブルを宣言するには、次の構文を使用します。

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")