Databricksジョブで最初のワークフローを作成する

この記事では、サンプルデータセットを読み込んで処理するタスクをオーケストレーションするDatabrickジョブを説明します。このクイックスタートで、以下ができるようになります:

  1. 新しいノートブックを作成し、年ごとの人気の赤ちゃんの名前を含むサンプルデータセットを取得するコードを追加する。

  2. サンプル データセットをUnity Catalogに保存します。

  3. 新しいノートブックを作成し、 Unity Catalogからデータセットを読み取り、年でフィルターし、結果を表示するコードを追加します。

  4. 新しいジョブを作成し、ノートブックを使って2つのタスクを設定する。

  5. ジョブを実行し、結果を表示する。

要件

ジョブ クラスターを作成するためのクラスター作成権限、または汎用クラスターに対する権限が必要です。

Unity Catalogボリュームが 必要です。この記事では、mainという名前のカタログ内の default という名前のスキーマ内の my-volume という名前のボリュームを使用します。また、 Unity Catalogで次の権限が必要です。

  • READ VOLUME WRITE VOLUME、または ALL PRIVILEGESは、my-volumeボリュームです。

  • USE SCHEMA またはdefaultスキーマのALL PRIVILEGES

  • USE CATALOG またはmainカタログの場合はALL PRIVILEGES

これらの権限を設定するには、 Databricks管理者またはUnity Catalog権限とセキュリティ保護可能なオブジェクトを参照してください。

ノートブックの作成

データの取得と保存

ノートブックを作成してサンプル データセットを取得し、 Unity Catalogに保存するには:

  1. Databricks ランディング ページに移動し、サイドバーの [新しいアイコン 新規] をクリックして [ノートブック] を選択します。Databricks によって、既定のフォルダーに新しい空白のノートブックが作成されて開きます。 デフォルト言語は最近使用した言語であり、ノートブックは最近使用したコンピュートリソースに自動的にアタッチされます。

  2. 必要に応じて、 デフォルト言語を Python に変更します

  3. 次のPythonコードをコピーして、ノートブックの最初のセルに貼り付けます。

    import requests
    
    response = requests.get('https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
    csvfile = response.content.decode('utf-8')
    dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)
    

フィルタリングされたデータの読み取りと表示

フィルタリング用のデータを読み取って表示するノートブックを作成するには、次の手順を実行します。

  1. Databricks ランディング ページに移動し、サイドバーの [新しいアイコン 新規] をクリックして [ノートブック] を選択します。Databricks によって、既定のフォルダーに新しい空白のノートブックが作成されて開きます。 デフォルト言語は最近使用した言語であり、ノートブックは最近使用したコンピュートリソースに自動的にアタッチされます。

  2. 必要に応じて、 デフォルト言語を Python に変更します

  3. 次のPythonコードをコピーして、ノートブックの最初のセルに貼り付けます。

    babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
    babynames.createOrReplaceTempView("babynames_table")
    years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
    years.sort()
    dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
    display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))
    

ジョブの作成

  1. ジョブアイコン サイドバー の [ワークフロー] をクリックします

  2. をクリックします ジョブの作成ボタン

    タスクタブに、タスクの作成ダイアログが表示されます。

    最初のタスクダイアログの作成
  3. Add a name for your job...(ジョブの名前の追加)をジョブ名に置き換えてください。

  4. タスク名フィールドにタスクの名前を入力します。(例: retrieve-baby-names(赤ちゃんの名前を取得))

  5. [ 種類 ] ドロップダウン メニューで、[ ノートブック] を選択します。

  6. ファイルブラウザを使用して最初に作成したノートブックを探し、ノートブック名をクリックして、確認をクリックします。

  7. タスクの作成をクリックします。

  8. 作成したタスクの下をクリックして タスクの追加ボタン 、別のタスクを追加します。

  9. タスク名フィールドにタスクの名前を入力します。(例: filter-baby-names(赤ちゃんの名前をフィルタリング))

  10. [ 種類 ] ドロップダウン メニューで、[ ノートブック] を選択します。

  11. ファイルブラウザを使用して2番目に作成したノートブックを探し、ノートブック名をクリックして、確認をクリックします。

  12. パラメーターの下の追加をクリックします。キーフィールドにyearを入力します。フィールドに2014を入力します。

  13. タスクの作成をクリックします。

ジョブの実行

ジョブをすぐに実行するには、右上隅をクリックします 今すぐ実行ボタン 。 「実行」タブをクリックし、「 アクティブな実行」 表の「 今すぐ実行 」をクリックして、ジョブを実行することもできます。

実行の詳細の表示

  1. 実行タブをクリックし、アクティブな実行テーブルまたは完了した実行(過去60日間)テーブルで実行のリンクをクリックします。

  2. いずれかのタスクをクリックすると、出力と詳細が表示されます。たとえば、 filter-baby-namesタスクをクリックすると、フィルタータスクの出力と実行の詳細が表示されます:

    フィルター名の結果を表示

別のパラメータで実行

ジョブを再実行し、別の年の赤ちゃんの名前をフィルタリングするには、次の手順を実行します:

  1. ブルーダウンキャレット 「今すぐ実行」の横をクリッ 、「別のパラメーターで今すぐ実行」を選択するか 、「 アクティ ブな 実行」テーブル で「 別のパラメーターで 今すぐ実行 」をクリックしま す。

  2. フィールドに2015を入力します。

  3. 実行をクリックします。