Hyperopt並列化する
注:
Hyperoptのオープンソース バージョンはメンテナンスされなくなりました。
Hyperopt は、次のメジャー DBR ML バージョンで削除されます。 Databricks 、同様のエクスペリエンスと、より最新のハイパーパラメーターチューニングアルゴリズムへのアクセスのために 、Optuna を使用することをお勧めします。
このノートブックでは、Hyperopt を使用してハイパーパラメーター調整の計算を並列化する方法を示します。 SparkTrials
クラスを使用して、クラスターワーカー間で計算を自動的に分散します。また、後で使用するために結果を保存できるように、Hyperopt 実行の自動 MLflow 追跡についても説明します。
ノートブックの最後のセルでアクションを実行すると、MLflow UI に次のように表示されます。