MLflow エクスペリメントを使用してトレーニングのランを整理する

エクスペリメントは、モデルのトレーニングを実行するための組織の単位です。エクスペリメントには、ワークスペースとノートブックの 2 種類があります。

ワークスペースエクスペリメントは、 Databricks Mosaic AI UI または MLflow APIから作成できます。ワークスペースエクスペリメントはどのノートブックにも関連付けられておらず、どのノートブックでもエクスペリメント ID またはエクスペリメント名を使用して、これらのエクスペリメントに実行をログに記録できます。
ノートブックエクスペリメントは、特定のノートブックに関連付けられています。 Databricks は、 mlflow.start_run() を使用して実行を開始するときにアクティブなエクスペリメントがない場合、ノートブックエクスペリメントを自動的に作成します。

アクセスできるワークスペース内のすべてのエクスペリメントを表示するには、サイドバーで [ 機械学習] > [エクスペリメント ] を選択します。

ワークスペースのエクスペリメントの作成

このセクションでは、Databricks UI を使用してワークスペースエクスペリメントを作成する方法について説明します。ワークスペースエクスペリメントは、ワークスペースから直接作成することも、[エクスペリメント] ページから作成することもできます。

MLflow API 、または databricks_mlflow_experiment を使った Databricks Terraform プロバイダーを使用することもできます。

ワークスペースエクスペリメントへの実行のログ記録の手順については、「エクスペリメントへの実行のログ記録」を参照してください。

注

GDPRコンプライアンスのために、古いエクスペリメントはワークスペースから消去されます。顧客管理キーが使用されているワークスペースの場合、古いエクスペリメントは、顧客管理キーがDatabricksによってアクセス可能な場合にのみ消去されます。「顧客管理の暗号化キーを設定してアクセス権を付与する」を参照してください。

ワークスペースからエクスペリメントを作成する

サイドバーの 「ワークスペース 」をクリックします。
エクスペリメントを作成するフォルダーに移動します。
フォルダーを右クリックし、[ MLflow エクスペリメントの作成] > を選択します。
「エクスペリメント MLflow を作成」ダイアログで、エクスペリメントの名前とオプションのアーティファクトの場所を入力します。アーティファクトの場所を指定しない場合、アーティファクトは MLflow で管理されるアーティファクトストレージ ( dbfs:/databricks/mlflow-tracking/<experiment-id>) に格納されます。

Databricks は、 Unity Catalog ボリュームと Google Cloud Storage アーティファクトの場所をサポートしています。

MLflow 2.15.0 以降では、アーティファクトをUnity Catalogボリュームに保存できます。MLflow エクスペリメントを作成するときは、次のコードに示すように、MLflow エクスペリメントアーティファクトの場所として dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path 形式のボリュームパスを指定します。
```
EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
CATALOG = "my_catalog"
SCHEMA = "my_schema"
VOLUME = "my_volume"
ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"

mlflow.set_tracking_uri("databricks")
mlflow.set_registry_uri("databricks-uc")

if mlflow.get_experiment_by_name(EXP_NAME) is None:
    mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
mlflow.set_experiment(EXP_NAME)
```
アーティファクトを Google Cloud Storageに格納するには、gs://<bucket-name>/<file-path-inside-bucket> という形式の URI を指定します。 Google Cloud Storage に保存されたアーティファクトは、 MLflow UI に表示されません。これらは、オブジェクトストレージクライアントを使用してダウンロードする必要があります。

注

成果物を DBFS 以外の場所に格納すると、成果物は MLflow UI に表示されません。 DBFS以外の場所に格納されているモデルは、モデルレジストリに登録できません。
「作成」をクリックします。新しいエクスペリメントのエクスペリメントの詳細ページが表示されます。
このエクスペリメントに実行をログに記録するには、エクスペリメントパスを使用して mlflow.set_experiment() を呼び出します。エクスペリメントのパスを表示するには、エクスペリメント名の右側にある情報アイコンをクリックします。詳細とノートブックの例については、「エクスペリメントへのログ実行」を参照してください。

エクスペリメントページからエクスペリメントを作成する

基盤モデルファインチューニング、 AutoML、またはカスタムエクスペリメントを作成するには、[ エクスペリメント ] をクリックするか、左側のサイドバーで [エクスペリメント>新規 ] を選択します。

ページの上部で、次のいずれかのオプションを選択してエクスペリメントを設定します。

予測。「Configure Forecasting エクスペリメント」ダイアログが表示されます。詳細については、「AutoML エクスペリメントの構成」を参照してください。
分類。[Configure Classification エクスペリメント] ダイアログが表示されます。詳細については、「 UI を使用した分類エクスペリメントの設定」を参照してください。
回帰。 [Configure Classification エクスペリメント] ダイアログが表示されます。詳細については、「 UI を使用した回帰エクスペリメントの設定」を参照してください。
カスタム。 「エクスペリメントMLflow作成」ダイアログが表示されます。詳しくは、「ワークスペースからエクスペリメントを作成する」のステップ 4 をご覧ください。

ノートブックエクスペリメントの作成

ノートブックで mlflow.start_run() コマンドを使用すると、実行によってメトリクスとパラメータがアクティブなエクスペリメントに記録されます。アクティブなエクスペリメントがない場合、Databricks はノートブックエクスペリメントを作成します。ノートブックエクスペリメントは、対応するノートブックと同じ名前と ID を共有します。ノートブック ID は、ノートブックの URL と ID の末尾にある数値識別子です。

または、 mlflow.set_experiment() で既存のノートブックへの Databricks ワークスペースパスを渡して、そのノートブックエクスペリメントを作成することもできます。

ノートブックエクスペリメントへの実行のログ記録手順については、「エクスペリメントへの実行のログ記録」を参照してください。

注

API (Python の MlflowClient.tracking.delete_experiment() など) を使用してノートブックエクスペリメントを削除すると、ノートブック自体がごみ箱フォルダーに移動されます。

エクスペリメントの表示

アクセス権を持つ各エクスペリメントは、エクスペリメントページに表示されます。このページから、任意のエクスペリメントを表示できます。エクスペリメント名をクリックすると、エクスペリメントの詳細ページが表示されます。

エクスペリメントの詳細ページにアクセスするその他の方法:

ワークスペースエクスペリメントの詳細ページには、ワークスペースメニューからアクセスできます。
ノートブックエクスペリメントのエクスペリメント詳細ページには、ノートブックからアクセスできます。

エクスペリメントを検索するには、[ エクスペリメントのフィルター ] フィールドにテキストを入力して Enter キーを押すか、虫眼鏡アイコンをクリックします。エクスペリメントリストが変更され、[ 名前]、[ 作成者]、[ 場所]、または [ 説明 ] 列に検索テキストを含むエクスペリメントのみが表示されます。

テーブル内のエクスペリメントの名前をクリックすると、そのエクスペリメントの詳細ページが表示されます。

エクスペリメントの詳細ページには、エクスペリメントに関連付けられているすべての実行が一覧表示されます。このテーブルから、エクスペリメントに関連付けられている任意の実行の実行ページを開くことができます。これには、 その実行名をクリックします。 [ソース] 列では、実行を作成したノートブックのバージョンにアクセスできます。また、メトリクスまたはパラメーターの設定によって実行を検索してフィルタリングすることもできます。

ワークスペースエクスペリメントの表示

サイドバーの 「ワークスペース 」をクリックします。
エクスペリメントを含むフォルダーに移動します。
エクスペリメント名をクリックします。

ノートブックエクスペリメントの表示

ノートブックの右側のサイドバーで、 エクスペリメント アイコンエクスペリメントアイコンをクリックします。

エクスペリメント Runs サイドバーが表示され、ノートブックエクスペリメントに関連付けられている各実行の概要(実行パラメーターやメトリクスなど) が表示されます。サイドバーの上部には、最後にログに記録されたノートブックの実行先であるエクスペリメントの名前 (ノートブックのエクスペリメントまたはワークスペースのエクスペリメント) が表示されます。

サイドバーから、エクスペリメントの詳細ページに移動するか、直接実行に移動できます。

エクスペリメントを表示するには、右端の [エクスペリメントの実行] の横にある [エクスペリメントの実行] をクリックします 。
実行を表示するには、実行の名前をクリックします。

エクスペリメントの管理

所有しているエクスペリメントの名前変更、削除、または権限の管理は、エクスペリメントページ、エクスペリメント詳細ページ、またはワークスペースメニューから行うことができます。

注

Databricks Git フォルダー内のノートブックによって作成された MLflow エクスペリメントの権限を直接名前変更、削除、または管理することはできません。これらのアクションは Git フォルダーレベルで実行する必要があります。

エクスペリメントの名前を変更する

所有しているエクスペリメントの名前は、エクスペリメントページまたはそのエクスペリメントの詳細ページから変更できます。

エクスペリメントページで、右端の列にあるケバブメニューをクリックし、[名前の変更]をクリックします。

エクスペリメントの詳細ページで、[ 権限] の横にあるケバブメニューをクリックし、[ 名前の変更] をクリックします。

ワークスペースからワークスペースエクスペリメントの名前を変更できます。エクスペリメント名を右クリックし、[ 名前の変更] をクリックします。

エクスペリメントIDとエクスペリメントへのパスを取得する

エクスペリメントの詳細ページでは、エクスペリメント名の右側にある情報アイコンをクリックすると、ノートブックエクスペリメントへのパスを取得できます。エクスペリメントへのパス、エクスペリメント ID、およびアーティファクトの場所を示すポップアップノートが表示されます。 MLflow コマンド set_experimentID のエクスペリメント ID を使用して、アクティブ MLflow エクスペリメントを設定できます。

ノートブックから、ノートブックのエクスペリメントサイドバーでをクリックすることで、エクスペリメントのフルパスをコピーできます。

ノートブックエクスペリメントの削除

ノートブックエクスペリメントはノートブックの一部であり、個別に削除することはできません。ノートブックを削除すると、関連付けられているノートブックエクスペリメントが削除されます。 UI を使用してノートブックエクスペリメントを削除すると、ノートブックも削除されます。

API を使用してノートブックのエクスペリメントを削除するには、 Workspace API を使用して、ノートブックとエクスペリメントの両方がワークスペースから削除されるようにします。

ワークスペースまたはノートブックエクスペリメントを削除する

所有しているエクスペリメントは、エクスペリメントページまたはエクスペリメント詳細ページから削除できます。

重要

ノートブックエクスペリメントを削除すると、ノートブックも削除されます。

エクスペリメントページで、右端の列にあるケバブメニューをクリックし、[削除]をクリックします。

エクスペリメントの詳細ページで、[ 権限] の横にあるケバブ メニュー をクリックし、[ 削除] をクリックします。

ワークスペースエクスペリメントをワークスペースから削除できます。エクスペリメント名を右クリックし、[ ごみ箱に移動] をクリックします。

エクスペリメントの権限を変更する

エクスペリメントの詳細ページからエクスペリメントの権限を変更するには、[権限] をクリックします。

エクスペリメントのページから、所有しているエクスペリメントの権限を変更できます。右端の列にあるケバブメニューをクリックし、[ 権限]をクリックします。

拡張機能のアクセス許可レベルの詳細については、 MLflow拡張機能 ACL」を参照してください。

ワークスペース間でエクスペリメントをコピーする

ワークスペース間で MLflow エクスペリメントを移行するには、コミュニティ主導のオープンソースプロジェクト MLflow エクスポート/インポートを使用できます。

これらのツールを使用すると、次のことができます。

同じトラッキングサーバーまたは別のトラッキングサーバー内の他のデータサイエンティストと共有および共同作業します。たとえば、エクスペリメントを別のユーザーからワークスペースに複製できます。
MLflow エクスペリメントをコピーし、ローカル追跡サーバーから Databricks ワークスペースに実行します。
ミッションクリティカルなエクスペリメントとモデルを別の Databricks ワークスペースにバックアップします。