ジョブによるデータ処理と分析ワークフローの実装

Databricks ジョブを使用すると、Databricks プラットフォーム上でデータ処理、機械学習、データ分析パイプラインを調整できます。 Databricks ジョブは、ノートブック、スクリプト、Delta Live Tables パイプライン、Databricks SQL クエリ、 dbtプロジェクトなど、さまざまなワークロード タイプをサポートします。 次の記事では、 Databricksジョブの機能とオプションを使用してデータパイプラインを実装する方法を説明します。

ヒント

Databricks Asset Bundle を使用して、ジョブを定義し、プログラムで管理できます。 「Databricks アセットバンドルとは」および「Databricks アセットバンドルを使用して Databricks でジョブを開発する」を参照してください。

ジョブでdbt変換を使用する

dbtコアプロジェクトでデータ変換を行っていて、そのプロジェクトをDatabricksジョブに統合する場合や、新しいdbt変換を作成してジョブでそれらの変換を実行する場合は、 dbtタスクタイプを使用します。Databricksジョブでdbt変換を使用するを参照してください。

ジョブでPythonパッケージを使用する

Python wheelファイルは、 Pythonアプリケーションの実行に必要なファイルをパッケージ化して配布する標準的な方法です。 タスク タイプの ファイルとしてパッケージ化された コードを使用するジョブを簡単に作成できます。PythonPython wheelPython wheelジョブでの Python wheelファイルの使用」をDatabricks 参照してください。

JARにパッケージされたコードを使用する

JavaやScalaなどのJVM言語で実装されたライブラリやアプリケーションは、一般的にJavaアーカイブ（JAR）ファイルにパッケージ化されます。Databricksジョブは、JARタスクタイプのJARにパッケージ化されたコードをサポートします。DatabricksジョブでJARを使用するを参照してください。

Apache Airflowによるジョブのオーケストレーション

Databricksでは、ワークフローのオーケストレーションにDatabricks Jobsを使用することを推奨しています。ただし、Apache Airflowはワークフローオーケストレーションシステムとして一般的に使用され、Databricksジョブのネイティブサポートを提供します。Databricks Jobsがワークフローを作成するためのビジュアルUIを提供するのに対して、AirflowはPythonファイルを使用してデータパイプラインを定義し、デプロイします。Airflowによるジョブの作成と実行の例については、Apache AirflowでDatabricksジョブをオーケストレーションを参照してください。