Monitore a qualidade do modelo e a integridade do endpoint

Prévia

O Mosaic AI Model Serving está em Public Preview e é compatível com os sites us-east1 e us-central1.

Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.

Ferramenta

Descrição

Propósito

Acesso

Logs de serviço

Captura stdout e stderr transmissão do endpoint do modelo de operação.

Útil para depuração durante a implantação do modelo. Use print(..., flush=true) para exibição imediata nos logs.

Acessível usando a na IU do logs tab Serving. Os logs são transmitidos em tempo real e podem ser exportados através da API.

Logs de compilação

Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o endpoint do modelo instalado.

Útil para diagnosticar problemas de implantação e dependência de modelo.

Disponível após a conclusão do build do modelo de atividades em Build logs logs tabna . Os logs podem ser exportados por meio da API.

Medições de integridade do endpoint

Fornece percepções sobre métricas de infraestrutura como latência, taxa de solicitação, taxa de erros, uso de CPU e uso de memória.

Importante para compreender o desempenho e a integridade da infraestrutura de serviço.

Disponível por default na IU de exibição nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real.