ジョブの DBT タスク
dbt タスクを使用して、Databricks で dbt プロジェクトを構成および実行します。
重要
タスクが実行される dbt 、 Databricks は [実行形式 ] フィールドで設定されたプリンシパルのDBT_ACCESS_TOKEN
を挿入します。
dbt タスクの設定
ジョブ UI のタスク タブからdbt
タスクを追加するには、次の手順を実行します。
「タイプ」ドロップダウンメニューで、「
dbt
」を選択します。ソース ドロップダウンメニューで、 ワークスペース dbtを選択して、Databricks ワークスペースフォルダにあるGit プロジェクトを使用するか、リモートGit リポジトリにあるプロジェクトの プロバイダ を使用できます。
「ワークスペース」を選択した場合は、用意されているファイルナビゲータを使用してプロジェクトディレクトリを選択します。
[Git プロバイダー] を選択した場合は、[編集] をクリックして、プロジェクト リポジトリの Git 情報を入力します。「ジョブでの Git の使用」を参照してください。
プロジェクトがリポジトリのルート ディレクトリにない場合は、[ プロジェクト ディレクトリ ] フィールドを使用してパスを指定します。
dbt コマンド テキスト ボックスは、 コマンドdbt deps、 dbt seed、および dbt 実行に デフォルトです。指定されたコマンドは、順番に実行されます。 ワークフローの必要に応じて、これらのフィールドを追加、削除、または編集します。 dbt コマンドとはを参照してください。
SQLウェアハウス で、 によって生成されたSQL を実行する ウェアハウスを選択します。SQLdbtSQLウェアハウスのドロップダウンメニューには、サーバレスとプロSQLウェアハウスのみが表示されます。
ウェアハウス カタログを指定します。設定されていない場合は、ワークスペースのデフォルトが使用されます。
ウェアハウス スキーマを指定します。デフォルトでは、スキーマ
default
が使用されます。dbt CLI コンピュートを選択して dbt Coreを実行します。Databricks は、単一ノード クラスターで構成されたジョブ コンピュートを使用することをお勧めします。
タスクの
dbt-databricks
バージョンを 「従属ライブラリー 」フィールドに指定します。デフォルトでは、「 依存ライブラリ」 フィールドには「
dbt-databricks>=1.0.0,<2.0.0
」に入力されます。 この設定を削除し、+ PyPi ライブラリを追加してバージョンをピン留めします。注:
Databricks では、 dbt タスクを特定のバージョンの dbt-databricks パッケージにピン留めして、開発と本番運用の実行に同じバージョンが使用されるようにすることをお勧めします。 Databricks では、バージョン 1.6.0 以降の dbt-databricks パッケージをお勧めします。
「タスクを作成」をクリックします。
dbtコマンドとは何ですか?
dbt コマンド フィールドでは、dbt コマンド ライン インターフェイス (CLI) を使用して実行するコマンドを指定できます。dbt CLI の詳細については、 dbt のドキュメントを参照してください。
指定されたバージョンの dbt でサポートされているコマンドについては、dbt のマニュアルを確認してください。
dbt コマンドにオプションを渡す
dbt ノード選択構文を使用すると、特定の実行に含めるリソースまたは除外するリソースを指定できます。 run
や build
などのコマンドは、 --select
や --exclude
などのフラグを受け入れます。詳細な説明については、 dbt 構文の概要に関するドキュメント を参照してください。
追加の設定フラグは、dbt がプロジェクトを実行する方法を制御します。 利用可能なフラグ のリストについては、公式の dbt ドキュメントの コマンドラインオプションの 列 を参照してください。
一部のフラグは位置引数を取ります。 フラグの引数には、文字列があります。 例と説明については、dbt の資料を参照してください。
変数を dbt コマンドに渡す
--vars
フラグを使用して、静的または動的な値を dbt コマンド フィールド内のコマンドに渡します。
一重引用符で区切られた JSON を --vars
に渡します。 JSON 内のすべてのキーと値は、次の例のように二重引用符で区切る必要があります。
dbt run --vars '{"volume_path": "/Volumes/path/to/data", "date": "2024/08/16"}'
パラメータ化された dbt コマンドの例
dbt を処理するときには、タスク値、ジョブ・パラメーター、および動的ジョブ・パラメーターを参照できます。 値は、コマンドが実行される前に、 dbt コマンド フィールドにプレーンテキストとして置き換えられます。 タスク間での値の受け渡しやジョブ メタデータの参照に関する情報については、「 ジョブのパラメーター化」を参照してください。
これらの例では、以下のジョブ・パラメーターが構成されていることを前提としています。
パラメーター名 |
パラメーター value |
---|---|
|
|
|
|
|
|
|
|
次の例は、これらのパラメーターを参照する有効な方法を示しています。
dbt run '{"volume_path": "{{job.parameters.volume_path}}"}'
dbt run --select "{{job.parameters.table_name}}"
dbt run {{job.parameters.select_clause}}
dbt run {{job.parameters.dbt_refresh}}
dbt run '{"volume_path": "{{job.parameters.volume_path}}"}' {{job.parameters.dbt_refresh}}
次の例のように、動的パラメーターとタスク値を参照することもできます。
dbt run --vars '{"date": "{{job.start_time.iso_date}}"}'
dbt run --vars '{"sales_count": "{{tasks.sales_task.values.sales_count}}"}'