Servir modelos com o Databricks

Nesta seção, o senhor aprenderá a usar Mosaic AI Model Serving para servir modelos IA e ML por meio do endpoint REST, bem como a usar MLflow para inferência de lotes e transmissão.

Mosaic AI Model Serving

Mosaic AI Model Serving é a interface unificada do Databrickspara implantar, administrar e consultar modelos de AI e ML. Cada modelo que o senhor atende está disponível como uma API REST que pode ser integrada ao seu aplicativo da Web ou cliente.

O Mosaic AI Model Serving oferece suporte ao atendimento do seguinte:

• Modelos personalizados Python pacote no formato MLflow. Os exemplos incluem os modelos de transformadores scikit-learn, XGBoost, PyTorch e Hugging Face.

• Os modelos externos hospedados fora da Databricks podem ser controlados de forma centralizada a partir da Databricks. Isso simplifica o uso e o gerenciamento de vários provedores de LLM, como o OpenAI e o Anthropic, em sua organização.

inferência de lotes

Para inferência de lotes e transmissão, o site Databricks recomenda que o senhor use MLflow para implantar modelos MLflow. Para obter mais informações, consulte modelos implantados para inferência e previsão de lotes.