Organize a execução do treinamento com experimentos MLflow

Os experimentos são unidades de organização para a execução do seu modelo de treinamento. Existem dois tipos de experimentos: workspace e Notebook.

O senhor pode criar um experimento workspace a partir da interface do usuário Databricks Mosaic AI ou do site MLflow API. Os experimentos do espaço de trabalho não estão associados a nenhum Notebook, e qualquer Notebook pode log a execução desses experimentos usando o ID do experimento ou o nome do experimento.
Uma experiência Notebook está associada a um Notebook específico. O Databricks cria automaticamente um experimento Notebook se não houver nenhum experimento ativo quando você iniciar uma execução usando mlflow.começar().

Para ver todos os experimentos em um workspace ao qual você tem acesso, selecione Machine Learning > Experiments na barra lateral.

Criar experimento de espaço de trabalho

Esta seção descreve como criar um experimento workspace usando a interface do usuário do Databricks. Você pode criar um experimento de espaço de trabalho diretamente do espaço de trabalho ou da página Experimentos.

Você também pode usar a API MLflow ou o provedor Databricks Terraform com databricks_mlflow_experiment.

Para obter instruções sobre como registrar a execução de experimentos em workspace, consulte registrar a execução de um experimento.

Observação

Para GDPR compliance, os experimentos obsoletos são removidos do espaço de trabalho. Para o espaço de trabalho em que a chave de gerenciar o cliente é usada, os experimentos obsoletos só são eliminados quando o gerenciar o cliente key é acessado por Databricks. Consulte Configurar a chave do gerenciador de clientes para criptografia para dar acesso.

Criar experimento a partir do espaço de trabalho

Clique Área de trabalho na barra lateral.
Navegue até a pasta na qual você deseja criar o experimento.
Clique com o botão direito na pasta e selecione Create > MLflow experiment.
Na caixa de diálogo Create MLflow Experiment (Criar experimento MLflow), digite um nome para o experimento e um local opcional para o artefato. Se o senhor não especificar um local para o artefato, os artefatos serão armazenados no armazenamento de artefatos do MLflow-gerenciar: dbfs:/databricks/mlflow-tracking/<experiment-id>.

O Databricks é compatível com volumes do Unity Catalog e locais de artefatos do Google Cloud Storage.

Em MLflow 2.15.0 e acima, o senhor pode armazenar artefatos em um volume Unity Catalog. Ao criar um experimento do MLflow, especifique um caminho de volumes no formato dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path como o local do artefato do experimento do MLflow, conforme mostrado no código a seguir:
```
EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
CATALOG = "my_catalog"
SCHEMA = "my_schema"
VOLUME = "my_volume"
ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"

mlflow.set_tracking_uri("databricks")
mlflow.set_registry_uri("databricks-uc")

if mlflow.get_experiment_by_name(EXP_NAME) is None:
    mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
mlflow.set_experiment(EXP_NAME)
```
Para armazenar artefatos no Google Cloud Storage, especifique um URI com o formato gs://<bucket-name>/<file-path-inside-bucket>. Os artefatos armazenados no Google Cloud Storage não aparecem na interface do usuário do MLflow; o senhor deve fazer download deles usando um cliente de armazenamento de objetos.

Observação

Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na IU do MLflow. Os modelos armazenados em locais diferentes do DBFS não podem ser registrados no registro de modelo.
Clique em Criar. A página de detalhes do novo experimento é exibida.
Para log executar esse experimento, chame mlflow.set_experiment() com o caminho do experimento. Para exibir o caminho do experimento, clique no ícone de informações à direita do nome do experimento. Para obter detalhes e um exemplo de Notebook, consulte a execução do log em um experimento.

Crie um experimento na página Experimentos

Para criar um experimento de ajuste fino do modelo básico, AutoML ou personalizado, clique em Experiments (Exper imentos) ou selecione New > Experiment (Novo experimento ) na barra lateral esquerda.

Na parte superior da página, selecione uma das seguintes opções para configurar um experimento:

Previsão. A caixa de diálogo Configurar experimento de previsão é exibida. Para obter detalhes, consulte Configurar o experimento AutoML.
Classificação. A caixa de diálogo Configurar experiência de classificação é exibida. Para obter detalhes, consulte Configurar experimento de classificação com a interface do usuário.
Regressão. A caixa de diálogo Configurar experiência de classificação é exibida. Para obter detalhes, consulte Configurar experimento de regressão com a interface do usuário.
Personalizado. A caixa de diálogo Create MLflow Experiment é exibida. Para obter detalhes, consulte o passo 4 em Create experiment from the workspace.

Criar experimento Notebook

Quando você usa o comando mlflow.começar() em um Notebook, a execução logs métricas e parâmetros para o experimento ativo. Se nenhum experimento estiver ativo, o Databricks criará um experimento Notebook . Uma experiência Notebook compartilha o mesmo nome e ID de seu Notebook correspondente. A ID Notebook é o identificador numérico no final de uma URL e IDNotebook .

Como alternativa, você pode passar um caminho workspace do Databricks para um Notebook existente em mlflow.set_experiment() para criar um experimento Notebook para ele.

Para obter instruções sobre como registrar a execução nos experimentos do Notebook, consulte registrar a execução em um experimento.

Observação

Se você excluir um experimento Notebook usando a API (por exemplo, MlflowClient.tracking.delete_experiment() em Python), o próprio Notebook será movido para a pasta Lixeira.

Ver experimentos

Cada experimento ao qual você tem acesso aparece na página de experimentos. Nessa página, o senhor pode acessar view qualquer experimento. Clique no nome de um experimento para exibir a página de detalhes do experimento.

Outras formas de acessar a página de detalhes do experimento:

O senhor pode acessar a página de detalhes de um experimento workspace no menu workspace.
O senhor pode acessar a página de detalhes do experimento de um experimento do Notebook a partir do Notebook.

Para pesquisar experimentos, digite o texto no campo Filtrar experimentos e pressione Enter ou clique no ícone da lupa. A lista de experimentos muda para mostrar apenas os experimentos que contêm o texto de pesquisa na coluna Nome, Criado por, Local ou Descrição .

Clique no nome de qualquer experimento na tabela para exibir sua página de detalhes do experimento:

A página de detalhes do experimento lista todas as execuções associadas ao experimento. Na tabela, o senhor pode abrir a página de execução de qualquer execução associada ao experimento clicando no nome da execução. A coluna Fonte lhe dá acesso à versão do Notebook que criou a execução. O senhor também pode pesquisar e filtrar a execução por métricas ou configurações de parâmetros.

Ver experimento de espaço de trabalho

Clique Área de trabalho na barra lateral.
Vá para a pasta que contém o experimento.
Clique no nome do experimento.

Ver experimento Notebook

Na barra lateral direita do Notebook , clique no ícone Experimento Ícone de experiência .

A barra lateral Experiment Runs aparece e mostra um resumo de cada execução associada ao experimento Notebook , incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento em que o Notebook logs a execução mais recentemente (seja um experimento Notebook ou um experimento workspace ).

Na barra lateral, o senhor pode navegar para a página de detalhes do experimento ou diretamente para uma execução.

Para view o experimento, clique em na extrema direita, próximo a Experiment execução.
Para exibir uma execução, clique no nome da execução.

gerenciar experimentos

O senhor pode renomear, excluir ou gerenciar as permissões de um experimento de sua propriedade na página de experimentos, na página de detalhes do experimento ou no menu workspace.

Observação

O senhor não pode renomear, excluir ou gerenciar diretamente as permissões em um experimento do MLflow que foi criado por um Notebook em uma pasta Git da Databricks. O senhor deve executar essas ações no nível da pasta Git.

Renomear experimento

Você pode renomear um experimento que você possui na página **Experimentos** ou na página de detalhes do experimento.

Na página Experimentos, clique no menu de kebab na coluna mais à direita e clique em Renomear.

Renomeie a partir da página Experimentos.

Na página de detalhes do experimento, clique no menu kebab ao lado de Permissões e clique em Renomear.

Renomeie a partir da página de detalhes do experimento.

O senhor pode renomear um experimento workspace no site workspace. Clique com o botão direito do mouse no nome do experimento e clique em Renomear.

Obtenha o ID do experimento e o caminho para o experimento

Na página de detalhes do experimento, o senhor pode obter o caminho para um experimento do Notebook clicando no ícone de informações à direita do nome do experimento. Aparece uma nota pop-up que mostra o caminho até o experimento, o ID do experimento e a localização do artefato. O senhor pode usar o ID do experimento no comando MLflow set_experiment para definir o experimento MLflow ativo.

Em um Notebook, o senhor pode copiar o caminho completo do experimento clicando em na barra lateral de experimentos do Notebook.

Ícone de caminho de experimento na barra lateral do Notebook.

Excluir experimento Notebook

Os experimentos Notebook fazem parte do Notebook e não podem ser excluídos separadamente. Quando você exclui um Notebook, o experimento Notebook associado é excluído. Quando você exclui um experimento Notebook usando a interface do usuário, o Notebook também é excluído.

Para excluir experimentos Notebook usando a API, use a API Workspace para garantir que tanto o Notebook quanto o experimento sejam excluídos do workspace.

Excluir um experimento do workspace ou do Notebook

Você pode excluir um experimento que você possui da página de experimentos ou da página de detalhes do experimento.

Importante

Quando você exclui um experimento Notebook , o Notebook também é excluído.

Na página Experimentos, clique no menu de kebab na coluna mais à direita e clique em Excluir.

Na página de detalhes do experimento, clique no menu de kebab ao lado de Permissões e clique em Excluir.

Exclua da página de detalhes do experimento.

O senhor pode excluir um experimento do site workspace do site workspace. Clique com o botão direito do mouse no nome do experimento e clique em Mover para a lixeira.

Alterar as permissões de um experimento

Para alterar as permissões de um experimento na página de detalhes do experimento, clique em Permissões.

Menu de permissões da página de detalhes do experimento

Você pode alterar as permissões de um experimento que você possui na página **Experimentos**. Clique no menu kebab na coluna mais à direita e clique em Permissões.

Altere as permissões na página Experimentos.

Para obter informações sobre os níveis de permissão de experimentos, consulte MLflow experiment ACLs.

Copiar experimentos entre áreas de trabalho

Para migrar os experimentos do MLflow entre workspace, você pode usar o projeto de código aberto orientado pela comunidade MLflow Export-Import.

Com essas ferramentas, você pode:

Compartilhe e colabore com outro cientista de dados no mesmo ou em outro servidor de acompanhamento. Por exemplo, você pode clonar um experimento de outro usuário em seu workspace.
Copie os experimentos e a execução do MLflow do servidor de acompanhamento local para o workspace do Databricks.
Faça backup de experimentos e modelos de missão crítica em outro workspace do Databricks.