Atualize o fluxo de trabalho de ML para modelos de destino no Unity Catalog

Este artigo explica como migrar e atualizar o Databricks fluxo de trabalho existente para usar modelos em Unity Catalog.

Requisitos

Privilégios necessários

Para executar um fluxo de trabalho de treinamento, implantação ou inferência de modelo no Unity Catalog, a entidade que executa o fluxo de trabalho deve ter privilégios USE CATALOG e USE SCHEMA no catálogo e no esquema que contêm o modelo.

Os seguintes privilégios também são necessários:

• Para criar um modelo, o diretor deve ter o privilégio CREATE MODEL.

• Para carregar ou implantar um modelo, o principal deve ter o privilégio EXECUTE no modelo registrado.

Somente o proprietário de um modelo registrado pode fazer o seguinte:

• Crie uma nova versão do modelo.

• Defina um alias em um modelo registrado.

Requisitos de computação

O compute recurso especificado para o fluxo de trabalho deve ter acesso ao Unity Catalog. Consulte Modos de acesso.

Criar treinamento paralelo, implantação e fluxo de trabalho de inferência

Para atualizar o fluxo de trabalho de treinamento e inferência de modelos para o Unity Catalog, a Databricks recomenda uma abordagem incremental na qual você cria um pipeline paralelo de treinamento, implantação e inferência que aproveita os modelos no Unity Catalog. Quando estiver confortável com os resultados usando Unity Catalog, você pode alternar os consumidores downstream para ler a saída de inferência de lotes ou aumentar o tráfego roteado para os modelos no Unity Catalog ao atender endpoints.

Modelo de treinamento fluxo de trabalho

Clone o fluxo de trabalho de treinamento do modelo. Confirme se o diretor que está executando o fluxo de trabalho e o site compute especificado para o fluxo de trabalho atendem aos Requisitos.

Em seguida, modifique o código de treinamento do modelo no fluxo de trabalho clonado. Talvez o senhor precise clonar a execução do Notebook pelo fluxo de trabalho ou criar e direcionar uma nova ramificação do git no fluxo de trabalho clonado. Siga estes passos para instalar a versão necessária do MLflow e configurar o cliente para direcionar o Unity Catalog em seu código de treinamento. Em seguida, atualize o código de treinamento do modelo para registrar os modelos em Unity Catalog. Consulte ensinar e registrar modelos compatíveis com o Unity Catalog.

Modelo de implantação fluxo de trabalho

Clone o fluxo de trabalho de implantação do modelo. Confirme se o diretor que está executando o fluxo de trabalho e o site compute especificado para o fluxo de trabalho atendem aos Requisitos.

Se o senhor tiver uma lógica de validação de modelo em seu fluxo de trabalho de implantação, atualize-a para carregar versões de modelo do UC. Use aliases para gerenciar as implementações de modelos de produção.

Fluxo de trabalho de inferência de modelos

lotes inferência fluxo de trabalho

Clonar os lotes de inferência fluxo de trabalho. Confirme se o diretor que está executando o fluxo de trabalho e o site compute especificado para o fluxo de trabalho atendem aos Requisitos.

Modelo atendendo fluxo de trabalho

Se o senhor estiver usando o Mosaic AI Model Serving, não precisará clonar o endpoint existente. Em vez disso, use o recurso de divisão de tráfego para começar a rotear uma pequena fração do tráfego para modelos no Unity Catalog. À medida que o senhor analisa os resultados usando o Unity Catalog, aumente a quantidade de tráfego até que todo o tráfego seja redirecionado.

Promover um modelo em todos os ambientes

A promoção de um modelo entre ambientes funciona de forma diferente com modelos no Unity Catalog. Para obter detalhes, consulte Promover um modelo em todos os ambientes.

Use Job webhooks para aprovação manual da implementação do modelo

A Databricks recomenda que o senhor automatize a implantação do modelo, se possível, usando verificações e testes apropriados durante o processo de implantação do modelo. No entanto, se o senhor precisar realizar aprovações manuais para implantar modelos de produção, poderá usar as notificações do Job para chamar os sistemas externos CI/CD e solicitar aprovação manual para implantar um modelo, depois que o Job de treinamento do modelo for concluído com êxito. Depois que a aprovação manual for fornecida, o sistema CI/CD poderá implantar a versão do modelo para atender ao tráfego, por exemplo, definindo o alias "Champion" nele.