Gerenciamento do ciclo de vida de ML usando MLflow

Este artigo descreve como o MLflow é usado no Databricks para gerenciamento do ciclo de vida do machine learning. Também inclui exemplos que apresentam cada componente MLflow e links para conteúdo que descreve como esses componentes são hospedados no Databricks.

O gerenciamento do ciclo de vida de ML no Databricks é fornecido por gerenciar MLflow. Databricks fornece uma versão totalmente gerenciada e hospedada do MLflow integrada com recursos de segurança corporativa, alta disponibilidade e outros recursos workspace do Databricks, como gerenciamento de experimentos e execução e captura de revisão Notebook .

Os usuários iniciantes devem começar com os experimentos Get começar with MLflow , que demonstram o acompanhamento básico MLflow APIs.

O que é MLflow?

MLflow é uma plataforma de código aberto para gerenciar o ciclo de vida machine learning de ponta a ponta. Possui os seguintes componentes principais:

  • acompanhamento: Permite acompanhar experimentos para registrar e comparar parâmetros e resultados.

  • Modelos: permite gerenciar e aprimorar modelos de uma variedade de bibliotecas de ML para uma variedade de plataformas de serviço e inferência de modelo.

  • Projetos: permitem empacotar o código ML de forma reutilizável e reproduzível para compartilhar com outros cientistas de dados ou transferir para produção.

  • registro de modelo: Permite centralizar uma loja de modelos para gerenciar o ciclo de vida completo dos modelos. Databricks fornece uma versão gerenciada do Model Registry no Unity Catalog.

  • modelo interativo: permite hospedar modelos MLflow como endpoint REST. Databricks fornece uma interface unificada para implantar, governar e consultar seus modelos de IA atendidos.

MLflow oferece suporte a APIs Java, Python, R e REST .

Acompanhamento MLflow

MLflow on Databricks oferece uma experiência integrada para acompanhamento e garantia de execução de treinamento para modelos machine learning e aprendizagem profunda.

Gerenciamento do ciclo de vida do modelo

O MLflow Model Registry é um repositório de modelos centralizado e uma interface de usuário e um conjunto de APIs que permitem gerenciar o ciclo de vida completo dos modelos do MLflow. A Databricks fornece uma versão hospedada do MLflow Model Registry no Unity Catalog. O Unity Catalog oferece governança centralizada de modelos, acesso entreworkspace, linhagem e implantação. Para obter detalhes sobre como gerenciar o ciclo de vida do modelo no Unity Catalog, consulte Gerenciar o ciclo de vida do modelo no Unity Catalog.

Se o seu espaço de trabalho não estiver habilitado para o Unity Catalog, o senhor poderá usar o Workspace Model Registry.

Conceitos de Model Registry

  • Modelo: Um modelo MLflow registra os logs de um experimento ou execução que é registrado com um dos métodos mlflow.<model-flavor>.log_model da variante do modelo. Depois que um modelo é registrado, o senhor pode registrá-lo no Model Registry.

  • Modelo registrado: um modelo MLflow que foi registrado com o Model Registry. O modelo registrado tem um nome exclusivo, versões, linhagem de modelo e outros metadados.

  • Versão do modelo: Uma versão de um modelo registrado. Quando um novo modelo é adicionado ao Model Registry, ele é adicionado como Versão 1. Cada modelo registrado com o mesmo nome de modelo incrementa o número da versão.

  • Alias de modelo: Um alias é uma referência mutável e nomeada a uma versão específica de um modelo registrado. Os usos típicos dos aliases são para especificar quais versões do modelo são implantadas em um determinado ambiente no fluxo de trabalho de treinamento do modelo ou para escrever cargas de trabalho de inferência que visam um alias específico. Por exemplo, o senhor pode atribuir o alias "Champion" do seu modelo registrado "Fraud Detection" à versão do modelo que deve atender à maior parte do tráfego de produção e, em seguida, escrever cargas de trabalho de inferência que visem a esse alias (ou seja, fazer previsões usando a versão "Champion").

  • Estágio do modelo (somenteworkspace registro de modelo): Uma versão de modelo pode ser atribuída a um ou mais estágios. O MLflow fornece estágios predefinidos para os casos de uso comuns: Nenhum, Preparação, Produção e Arquivado. Com a permissão apropriada, o senhor pode fazer a transição de uma versão do modelo entre os estágios ou pode solicitar uma transição de estágio do modelo. Os estágios da versão do modelo não são usados no Unity Catalog.

  • Descrição: O senhor pode anotar a intenção de um modelo, incluindo uma descrição e qualquer informação relevante útil para a equipe, como descrição do algoritmo, dataset empregado ou metodologia.

Notebook de Exemplo

Para ver um exemplo de Notebook que ilustra como usar o Model Registry para gerenciar o ciclo de vida do modelo, consulte o seguinte:

Implantação de modelo

Mosaic AI Model Serving oferece uma interface unificada para implantar, administrar e consultar modelos de AI. Cada modelo que o senhor atende está disponível como uma API REST que pode ser integrada ao seu aplicativo da Web ou cliente.

O modelo oferecido oferece suporte ao serviço:

  • Modelos personalizados. Esses são os modelos Python pacote no formato MLflow. Eles devem ser registrados no Unity Catalog. Os exemplos incluem os modelos de transformadores scikit-learn, XGBoost, PyTorch e Hugging Face.

  • Modelos externos. Esses são modelos hospedados fora da Databricks. Por exemplo, modelos generativos do AI como o GPT-4 da OpenAI, o Claude do Anthropice outros. que atendem a esses modelos podem ser controlados de forma centralizada e os clientes podem estabelecer limites de taxa e controle de acesso para eles.

Você também pode implantar modelos MLflow para inferência offline, consulte modelos implantados para inferência de lotes.