Organize a execução do treinamento com experimentos MLflow

Os experimentos são unidades de organização para a execução do seu modelo de treinamento. Existem dois tipos de experimentos: workspace e Notebook.

Você pode criar um experimento workspace na interface do usuário do Databricks Machine Learning ou na API MLflow. experimentos de workspace não estão associados a nenhum Notebook, e qualquer Notebook pode logs uma execução para esses experimentos usando o ID ou o nome do experimento.
Uma experiência Notebook está associada a um Notebook específico. O Databricks cria automaticamente um experimento Notebook se não houver nenhum experimento ativo quando você iniciar uma execução usando mlflow.começar().

Para ver todos os experimentos em um workspace ao qual você tem acesso, selecione Machine Learning > Experiments na barra lateral.

Criar experimento de espaço de trabalho

Esta seção descreve como criar um experimento workspace usando a interface do usuário do Databricks. Você pode criar um experimento de espaço de trabalho diretamente do espaço de trabalho ou da página Experimentos.

Você também pode usar a API MLflow ou o provedor Databricks Terraform com databricks_mlflow_experiment.

Para obter instruções sobre como registrar a execução em experimentos workspace , consulte Registrando exemplo de notebook.

Clique Área de trabalho na barra lateral.
Navegue até a pasta na qual você deseja criar o experimento.
Clique com o botão direito na pasta e selecione Create > MLflow experiment.
Na caixa de diálogo Create MLflow Experiment, insira um nome para o experimento e um local de artefato opcional. Se você não especificar um local de artefato, os artefatos serão armazenados em dbfs:/databricks/mlflow-tracking/<experiment-id>.

Databricks oferece suporte a locais de artefatos de armazenamento DBFS, GCS e Azure Blob. .

Para armazenar artefatos no GCS, especifique um URI no formato gs://<bucket-name>/<file-path-inside-bucket>. Os artefatos armazenados no GCS não aparecem na IU do MLflow; você deve downloads los usando um cliente de armazenamento de objetos.

Observação

Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na IU do MLflow. Os modelos armazenados em locais diferentes do DBFS não podem ser registrados no registro de modelo.
Clique em Criar. Um experimento vazio é exibido.

Você também pode criar um novo experimento workspace na página Experimentos. Para criar uma nova experiência, use o criar menu suspenso de experiência menu suspenso. No menu suspenso, você pode selecionar um experimento do AutoML ou um experimento em branco (vazio).

Experimento do AutoML. A página Configurar experimento do AutoML é exibida. Para obter informações sobre como usar o AutoML, consulte modelos de ML ensinados com a interface do usuário do Databricks AutoML.
Experimento em branco. A caixa de diálogo Criar experimento de MLflow é exibida. Insira um nome e um local de artefato opcional na caixa de diálogo para criar um novo experimento workspace . A localização default do artefato é dbfs:/databricks/mlflow-tracking/<experiment-id>.

Para logs a execução deste experimento, chame mlflow.set_experiment() com o caminho do experimento. O caminho da experiência aparece na parte superior da página da experiência. Consulte Notebook de exemplo de log para obter detalhes e um Notebook de exemplo.

Criar experimento Notebook

Quando você usa o comando mlflow.começar() em um Notebook, a execução logs métricas e parâmetros para o experimento ativo. Se nenhum experimento estiver ativo, o Databricks criará um experimento Notebook . Uma experiência Notebook compartilha o mesmo nome e ID de seu Notebook correspondente. A ID Notebook é o identificador numérico no final de uma URL e IDNotebook .

Como alternativa, você pode passar um caminho workspace do Databricks para um Notebook existente em mlflow.set_experiment() para criar um experimento Notebook para ele.

Para obter instruções sobre como registrar a execução em experimentos de notebook, consulte Registrando exemplo de notebook.

Observação

Se você excluir um experimento Notebook usando a API (por exemplo, MlflowClient.tracking.delete_experiment() em Python), o próprio Notebook será movido para a pasta Lixeira.

Ver experimentos

Cada experimento ao qual você tem acesso aparece na página de experimentos. Nessa página, você pode view qualquer experimento. Clique no nome de uma experiência para exibir a página da experiência.

Formas adicionais de acessar a página da experiência:

Você pode acessar a página de experimento para um experimento workspace no menu do workspace .
Você pode acessar a página de experimento de um experimento Notebook a partir do Notebook.

Para pesquisar experimentos, digite o texto no campo Filtrar experimentos e pressione Enter ou clique no ícone da lupa. A lista de experimentos muda para mostrar apenas os experimentos que contêm o texto de pesquisa na coluna Nome, Criado por, Local ou Descrição .

Clique no nome de qualquer experimento na tabela para exibir sua página de experimento:

A página do experimento lista todas as execuções associadas ao experimento. Na tabela, você pode abrir a página de execução de qualquer execução associada ao experimento clicando em Nome da execução. A coluna Origem fornece acesso à versão do Notebook que criou a execução. Você também pode pesquisar e filtrar a execução por métricas ou configurações de parâmetros.

Ver experimento de espaço de trabalho

Clique Área de trabalho na barra lateral.
Vá para a pasta que contém o experimento.
Clique no nome do experimento.

Ver experimento Notebook

Na barra lateral direita do Notebook , clique no ícone Experimento Ícone de experiência .

A barra lateral Experiment Runs aparece e mostra um resumo de cada execução associada ao experimento Notebook , incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento em que o Notebook logs a execução mais recentemente (seja um experimento Notebook ou um experimento workspace ).

Na barra lateral, você pode navegar para a página da experiência ou diretamente para uma execução.

Para view o experimento, clique em na extrema direita, próximo a Experiment execução.
Para exibir uma execução, clique no nome da execução.

gerenciar experimentos

Você pode renomear, excluir ou gerenciar permissões para uma experiência de sua propriedade na página de experiências, na página de experiências ou no menu workspace .

Observação

O senhor não pode renomear, excluir ou gerenciar diretamente as permissões em um experimento do MLflow que foi criado por um Notebook em uma pasta Git da Databricks. O senhor deve executar essas ações no nível da pasta Git.

Renomeie o experimento na página de experimentos ou na página de experimentos

Visualização

Este recurso está em visualização pública.

Para renomear uma experiência da página de experiências ou da página de experiências, clique em e selecione Renomear.

Copiar nome do experimento

Para copiar o nome da experiência, clique em na parte superior da página da experiência. Você pode usar esse nome no comando MLflow set_experiment para definir o experimento MLflow ativo.

Você também pode copiar o nome do experimento da barra lateral do experimento em um Notebook.

Excluir experimento Notebook

Os experimentos Notebook fazem parte do Notebook e não podem ser excluídos separadamente. Quando você exclui um Notebook, o experimento Notebook associado é excluído. Quando você exclui um experimento Notebook usando a interface do usuário, o Notebook também é excluído.

Para excluir experimentos Notebook usando a API, use a API Workspace para garantir que tanto o Notebook quanto o experimento sejam excluídos do workspace.

Exclua o espaço de trabalho ou o experimento Notebook da página de experimentos ou da página de experimentos

Visualização

Este recurso está em visualização pública.

Para excluir uma experiência da página de experiências ou da página de experiências, clique em e selecione Excluir.

Quando você exclui um experimento Notebook , o Notebook também é excluído.

Alterar permissões para experimento

Para alterar as permissões de uma experiência na página da experiência, clique em Compartilhar.

Botão de permissões da página da experiência

Você pode alterar as permissões de uma experiência de sua propriedade na página de experiências. Clique na coluna Ações e selecione Permissão.

Para obter informações sobre os níveis de permissão de experimentos, consulte ACLs de experimentos do MLFlow.

Copiar experimentos entre áreas de trabalho

Para migrar os experimentos do MLflow entre workspace, você pode usar o projeto de código aberto orientado pela comunidade MLflow Export-Import.

Com essas ferramentas, você pode:

Compartilhe e colabore com outro cientista de dados no mesmo ou em outro servidor de acompanhamento. Por exemplo, você pode clonar um experimento de outro usuário em seu workspace.
Copie os experimentos e a execução do MLflow do servidor de acompanhamento local para o workspace do Databricks.
Faça backup de experimentos e modelos de missão crítica em outro workspace do Databricks.