modelos implantados para inferência e predição de lotes

Este artigo descreve como implantar modelos MLflow para inferência offline (lotes e transmissão). Databricks recomenda que você use MLflow para implantar modelo de aprendizado de máquina para lotes ou inferência de transmissão. Para obter informações gerais sobre como trabalhar com modelos MLflow, consulte logs, carregamento, registro e modelos MLflow implantados.

Use MLflow para inferência de modelo

O MLflow ajuda você a gerar código para lotes ou inferência de transmissão.

Você também pode personalizar o código gerado por qualquer uma das opções acima. Veja o seguinte Notebook para exemplos:

  • O exemplo de inferência de modelo usa um modelo treinado com Scikit-Learn e logs anteriormente no MLflow para mostrar como carregar um modelo e usá-lo para fazer previsões sobre dados em diferentes formatos. O Notebook ilustra como aplicar o modelo como um modelo Scikit-Learn a um Pandas DataFrame e como aplicar o modelo como um PySpark UDF a um Spark DataFrame.

  • O exemplo de MLflow Model Registry mostra como criar, gerenciar e aprimorar um modelo com Model Registry. Nessa página, você pode pesquisar por .predict para identificar exemplos de previsões off-line (lotes).

Criar um Jobdo Databricks

Para executar previsões de lotes ou transmissão como um trabalho, crie um Notebook ou JAR que inclua o código usado para realizar as previsões. Em seguida, execute o Notebook ou JAR como um trabalho Databricks. Os trabalhos podem ser executados imediatamente ou em uma programação. Veja programar e orquestrar fluxo de trabalho.

inferência transmitida

No MLflow Model Registry, você pode gerar automaticamente um Notebook que integra a UDF de inferência MLflow PySpark com Delta Live Tables.

O senhor também pode modificar a inferência gerada Notebook para usar a Apache Spark transmissão estructurada API.

Inferência com modelos de aprendizagem profunda

Para obter informações e exemplos de inferência de modelo de aprendizagem profunda no Databricks, consulte os seguintes artigos:

Inferência com modelos MLlib e XGBoost4J

Para inferência de modelo escalonável com modelos MLlib e XGBoost4J, use os métodos transform nativos para realizar a inferência diretamente no Spark DataFrames. O Notebook de exemplo MLlib inclui passos de inferência.

Personalize e otimize a inferência de modelos

Ao usar as APIs MLflow para inferência de execução em Spark DataFrames, você pode carregar o modelo como um Spark UDF e aplicá-lo em escala usando computação distribuída.

Você pode personalizar seu modelo para adicionar pré-processamento ou pós-processamento e otimizar o desempenho computacional para modelos grandes. Uma boa opção para personalizar modelos é a API pyfunc MLflow, que permite agrupar um modelo com lógica personalizada.

Se precisar fazer mais customizações, você pode agrupar manualmente sua versão do machine learning em um Pandas UDF ou um pandas Iterator UDF. Veja os exemplos de aprendizagem profunda.

Para dataset menores, você também pode usar as rotinas de inferência de modelo nativo fornecidas pela biblioteca.