Mosaic AutoML Python API を使用して ML モデルをトレーニングする

この記事では、AutoML Python API を使用して Mosaic AutoML でモデルをトレーニングする方法を示します。 詳細については、 Mosaic AutoML Python API リファレンス を参照してください。

API は、分類、回帰、予測の AutoML 実行を開始するための関数を提供します。 各関数はモデルのセットを呼び出し、各モデルのトライアル データセットを生成します。

「AutoML エクスペリメント の要件 」を参照してください。

AutoML APIを使用して実験をセットアップする

次の手順では、AutoML を使用して 拡張機能をセットアップする方法について概説します。API

  1. ノートブックを作成し 、機械学習 Databricks Runtime を実行しているクラスターにアタッチします。

  2. 既存の DATA から使用するテーブルを特定するか 、データ ファイルを DBFS にアップロード してテーブルを作成します。

  3. AutoML の実行を開始するには、 automl.regress() 関数または automl.classify() 関数を使用して、テーブルを他のトレーニング パラメーターと共に渡します。 すべての関数とパラメーターを表示するには、 Mosaic AutoML Python API リファレンスを参照してください。

    例:

    summary = automl.regress(dataset=train_pdf, target_col="col_to_predict")
    
  4. AutoML実行が開始されると、コンソールにMLflow拡張機能のURLが表示されます。 この URL を使用して、実行の進行状況を監視します。 完了したトライアルを確認するには、 MLflow拡張機能を更新します。

  5. AutoML の実行が完了したら、次の操作を行います。

  • 出力サマリーのリンクを使用して、最良の結果を生成したMLflow拡張機能またはデルに移動します。

  • データ探索データベースへのリンクを使用して、 AutoMLに渡されたデータに関する知見を得ます。 このノートブックを同じクラスターに接続して再実行し、結果を再現したり、追加のデータ分析を行ったりすることもできます。

  • AutoML 呼び出しから返された概要オブジェクトを使用して、トライアルの詳細を調べたり、特定のトライアルでトレーニングされたモデルを読み込んだりします。 AutoMLSummary オブジェクトの詳細については、こちらを参照してください。

  • トライアルから生成されたノートブックを複製し、同じクラスターに接続して再実行し、結果を再現します。 必要な編集を行い、追加のモデルに再実行して、同じ実験に記録することもできます。

ノートブックをインポートする

MLflow アーティファクトとして保存されたノートブックをインポートするには、 databricks.automl.import_notebook Python API を使用します。 詳細については、Import を参照してください。

モデルを登録してデプロイする

AutoML でトレーニングしたモデルは、 MLflowモデルフレームワークに登録されている他のモデルと同様に登録してデプロイできます。 MLflowモデルのログ記録、読み込み、登録、およびデプロイを参照してください。

pandas.core.indexes.numeric という名前のモジュールがありません

AutoML を使用してビルドされたモデルを Model Servingで提供すると、次のエラーが発生する可能性があります: No module named 'pandas.core.indexes.numeric

これは、AutoML とモデルを提供するエンドポイント環境の間の互換性のない pandas バージョンが原因です。 このエラーを解決するには、 add-pandas-dependency.py スクリプトを実行します。 スクリプトは、記録済みモデルの requirements.txtconda.yaml を編集して、適切な pandas 依存関係バージョン pandas==1.5.3を含めます。

  1. スクリプトを変更して、モデルがログに記録された MLflow 実行の run_id を含めます。

  2. モデルを MLflow モデルレジストリに再登録します。

  3. 新しいバージョンの MLflow モデルを提供してみてください。

ノートブックの例

AutoML の使用を開始するには、これらのノートブックを確認してください。

次のノートブックは、AutoML を使用して分類を行う方法を示しています。

AutoML 分類のサンプル ノートブック

ノートブックを新しいタブで開く

次のノートブックは、AutoML を使用して回帰を行う方法を示しています。

AutoML 回帰サンプル ノートブック

ノートブックを新しいタブで開く

次のノートブックは、AutoML を使用して予測を行う方法を示しています。

AutoML 予測サンプル ノートブック

ノートブックを新しいタブで開く