Databricks での MLflow プロジェクトの実行

MLflow プロジェクトは 、再利用可能で再現可能な方法でデータサイエンス コードをパッケージ化するための形式です。MLflow プロジェクト コンポーネントには、プロジェクトを実行するための API とコマンド ライン ツールが含まれており、追跡コンポーネントと統合して、再現のためにソース コードのパラメーターと git コミットを自動的に記録します。

この記事では、MLflow プロジェクトの形式と、データサイエンス コードを垂直方向にスケーリングしやすくする MLflow CLI を使用して Databricks クラスターで MLflow プロジェクトをリモートで実行する方法について説明します。

MLflow プロジェクトの形式

任意のローカル ディレクトリまたは Git リポジトリを MLflow プロジェクトとして扱うことができます。 次の規則でプロジェクトを定義します。

  • プロジェクトの名前は、ディレクトリの名前です。

  • ソフトウェア環境は、存在する場合は python_env.yamlで指定されます。 python_env.yaml ファイルが存在しない場合、MLflow はプロジェクトの実行時に Python (具体的には、virtualenv で使用できる最新の Python) のみを含む仮想環境を使用します。

  • プロジェクト内の .py または .sh ファイルは、パラメーターを明示的に宣言せずにエントリ ポイントにすることができます。 パラメーターのセットを指定してこのようなコマンドを実行すると、MLflow は --key <value> 構文を使用してコマンド ラインで各パラメーターを渡します。

より多くのオプションを指定するには、YAML 構文のテキスト ファイルである MLproject ファイルを追加します。 MLproject ファイルの例を次に示します。

name: My Project

python_env: python_env.yaml

entry_points:
  main:
    parameters:
      data_file: path
      regularization: {type: float, default: 0.1}
    command: "python train.py -r {regularization} {data_file}"
  validate:
    parameters:
      data_file: path
    command: "python validate.py {data_file}"

MLflow プロジェクト を実行する

既定のワークスペースの Databricks クラスターで MLflow プロジェクトを実行するには、次のコマンドを使用します。

mlflow run <uri> -b databricks --backend-config <json-new-cluster-spec>

ここで、 <uri> は MLflow プロジェクトを含む Git リポジトリの URI またはフォルダーで、 <json-new-cluster-spec> は new_cluster構造を含む JSON ドキュメントです。 Git URI の形式は https://github.com/<repo>#<project-folder>です。

クラスター指定の例を次に示します。

{
  "spark_version": "7.5.x-scala2.12",
  "num_workers": 1,
  "node_type_id": "memoptimized-cluster-1"
}

ワーカーにライブラリをインストールする必要がある場合は、「クラスター仕様」形式を使用します。 Python wheelファイルはDBFSにアップロードし、pypi 依存関係として指定する必要があることに注意してください。 例えば：

{
  "new_cluster": {
    "spark_version": "7.5.x-scala2.12",
    "num_workers": 1,
    "node_type_id": "memoptimized-cluster-1"
  },
  "libraries": [
    {
      "pypi": {
        "package": "tensorflow"
      }
    },
    {
      "pypi": {
         "package": "/dbfs/path_to_my_lib.whl"
      }
    }
  ]
}

重要

  • .egg および .jar 依存関係は、MLflow プロジェクトではサポートされていません。

  • Docker 環境での MLflow プロジェクトの実行はサポートされていません。

  • Databricks で MLflow プロジェクトを実行する場合は、新しいクラスター仕様を使用する必要があります。 既存のクラスターに対するプロジェクトの実行はサポートされていません。

SparkR の使用

MLflow プロジェクトの実行で SparkR を使用するには、プロジェクト コードで最初に次のように SparkR をインストールしてインポートする必要があります。

if (file.exists("/databricks/spark/R/pkg")) {
    install.packages("/databricks/spark/R/pkg", repos = NULL)
} else {
    install.packages("SparkR")
}

library(SparkR)

その後、プロジェクトで SparkR セッションを初期化し、通常どおり SparkR を使用できます。

sparkR.session()
...

例

この例では、エクスペリメントを作成する方法、Databricks クラスターで MLflow チュートリアル プロジェクトを実行する方法、ジョブ実行出力を表示する方法、エクスペリメントでの実行を表示する方法を示します。

要件

  1. pip install mlflowを使用してMLflowをインストールします。

  2. Databricks CLI をインストールして設定します。Databricks CLI 認証メカニズムは、 Databricks クラスターでジョブを実行するために必要です。

ステップ 1: エクスペリメント を作成する

  1. ワークスペースで、 [ MLflow エクスペリメント>作成] を選択します。

  2. 名前 フィールドに、 Tutorialと入力します。

  3. [ 作成] をクリックします。 エクスペリメント ID をメモします。 この例では、 14622565です。

    エクスペリメント ID

ステップ 2: MLflow チュートリアル プロジェクト を実行する

次のステップ では、 MLFLOW_TRACKING_URI 環境変数を設定してプロジェクトを実行し、トレーニング パラメーター、メトリクス、およびトレーニング済みモデルを前のステップでメモしたエクスペリメントに記録します。

  1. MLFLOW_TRACKING_URI 環境変数を Databricks ワークスペースに設定します。

    export MLFLOW_TRACKING_URI=databricks

  2. MLflow チュートリアル プロジェクトを実行し、 ワイン モデルをトレーニングします。 <experiment-id> を、前の手順でメモしたエクスペリメント ID に置き換えます。

    mlflow run https://github.com/mlflow/mlflow#examples/sklearn_elasticnet_wine -b databricks --backend-config cluster-spec.json --experiment-id <experiment-id>

    === Fetching project from https://github.com/mlflow/mlflow#examples/sklearn_elasticnet_wine into /var/folders/kc/l20y4txd5w3_xrdhw6cnz1080000gp/T/tmpbct_5g8u ===
=== Uploading project to DBFS path /dbfs/mlflow-experiments/<experiment-id>/projects-code/16e66ccbff0a4e22278e4d73ec733e2c9a33efbd1e6f70e3c7b47b8b5f1e4fa3.tar.gz ===
=== Finished uploading project to /dbfs/mlflow-experiments/<experiment-id>/projects-code/16e66ccbff0a4e22278e4d73ec733e2c9a33efbd1e6f70e3c7b47b8b5f1e4fa3.tar.gz ===
=== Running entry point main of project https://github.com/mlflow/mlflow#examples/sklearn_elasticnet_wine on Databricks ===
=== Launched MLflow run as Databricks job run with ID 8651121. Getting run status page URL... ===
=== Check the run's status at https://<databricks-instance>#job/<job-id>/run/1 ===

  3. MLflow 実行出力の最後の行にある URL https://<databricks-instance>#job/<job-id>/run/1 をコピーします。

ステップ 3: データブリック ジョブの実行 を表示する

  1. 前の手順でコピーした URL をブラウザーで開き、Databricks ジョブの実行出力を表示します。

    ジョブ実行出力

ステップ 4: エクスペリメントと MLflow の実行の詳細 を表示する

  1. Databricks ワークスペースのエクスペリメントに移動します。

    エクスペリメントへ

  2. エクスペリメントをクリックします。

    詳細を見る エクスペリメント

  3. 実行の詳細を表示するには、[日付] 列のリンクをクリックします。

    実行の詳細

実行のログを表示するには、[ジョブ出力] フィールドの [ログ ] リンクをクリックします。

リソース

機械学習フロー プロジェクトの例については、機械学習機能をコードに簡単に含めることを目的とした、すぐに実行できるプロジェクトのリポジトリを含む 機械学習フロー アプリ ライブラリを参照してください。