servindo modelo limites e regiões
Prévia
O Mosaic AI Model Serving está em Public Preview e é compatível com os sites us-east1
e us-central1
.
Este artigo resume as limitações e a disponibilidade de regiões para Mosaic AI Model Serving e os tipos de endpoint compatíveis.
limites de recurso e carga útil
Mosaic AI Model Serving impõe default limites para garantir um desempenho confiável. Se o senhor tiver comentários sobre esses limites, entre em contato com a equipe Databricks account .
A tabela a seguir resume as limitações de recurso e carga útil para atender ao modelo de endpoint.
Recurso |
Granularidade |
Limite |
---|---|---|
Tamanho da carga útil |
Por solicitação |
16 MB. Para modelos externos que atendem a endpoints, o limite é de 4 MB. |
Consultas por segundo (QPS) |
Por workspace |
200, mas pode ser aumentado para 25.000 ou mais entrando em contato com a equipe da Databricks account. |
Duração da execução do modelo |
Por solicitação |
120 segundos |
Uso de memória do modelo de endpoint da CPU |
Por endpoint |
4 GB |
provisionamento concurrency |
Por workspace |
200 de simultaneidade. Pode ser aumentado entrando em contato com a equipe da Databricks account. |
Latência de sobrecarga |
Por solicitação |
Menos de 50 milissegundos |
Init scripts |
Os scripts de inicialização não são suportados. |
|
Limites de taxa de APIs do modelo Foundation (pay-per-tokens) |
Por workspace |
O Llama 3.3 70B Instruct tem um limite de 2 consultas por segundo e 1200 consultas por hora. Se esse limite for insuficiente para seu caso de uso, o site Databricks recomenda o uso do provisionamento Taxa de transferência. |
Foundation Model APIs (provisionamento Taxa de transferência) limites de taxa |
Por workspace |
200 |
Limitações de rede e segurança
Os endpoints do modelo servindo são protegidos pelo controle de acesso e respeitam as regras de entrada relacionadas à rede configuradas no site workspace.
A servindo modelo não fornece patches de segurança para imagens de modelos existentes devido ao risco de desestabilização das implantações de produção. Uma nova imagem de modelo criada a partir de uma nova versão de modelo conterá os patches mais recentes. Entre em contato com a equipe do Databricks account para obter mais informações.
Limites das APIs do Foundation Model
Observação
Como parte do fornecimento do Modelo Básico APIs, Databricks poderá processar seus dados fora da região e do provedor cloud onde seus dados foram originados.
Tanto para cargas de trabalho de pagamento por tokens quanto de provisionamento:
Somente os administradores do site workspace podem alterar as configurações de governança, como limites de taxa para o endpoint Foundation Model APIs. Para alterar os limites da taxa, use as seguintes etapas:
Abra a Serving UI em seu site workspace para ver seu endpoint de serviço.
No menu kebab do endpoint do Foundation Model APIs que o senhor deseja editar, selecione view details.
No menu kebab no canto superior direito da página de detalhes do endpoint, selecione Change rate limit (Alterar limite de taxa).
Limites de pagamento por tokens
A seguir, os limites relevantes para as APIs cargas de trabalho pay-per-tokens do Foundation Model:
As cargas de trabalho pay-per-tokens não são compatíveis com o perfil de segurança HIPAA ou compliance.
O Meta Llama 3.3 70B Instruct está disponível apenas em regiões com suporte de pay-per-tokens nos EUA.
provisionamento Taxa de transferência limits
Os limites a seguir são relevantes para as cargas de trabalho do modelo da Fundação APIs provisionamento Taxa de transferência:
O provisionamento Taxa de transferência é compatível com o perfil HIPAA compliance e é recomendado para cargas de trabalho que exigem certificações compliance.
Os modelos de incorporação GTE Large (En) não geram incorporações normalizadas.
A tabela a seguir mostra a disponibilidade regional dos modelos Meta Llama 3.1, 3.2 e 3.3 compatíveis. Consulte Implantação de modelos de fundação ajustados para obter orientação sobre como implantar modelos ajustados.
Variante do modelo Meta Llama
Regiões
us-east1
us-central1
us-east1
us-central1
us-east1
us-central1
us-east1
us-central1
Disponibilidade da região
Observação
Se o senhor precisar de um endpoint em uma região sem suporte, entre em contato com a equipe da Databricks account.
Se o seu workspace estiver implantado em uma região que ofereça suporte ao servindo modelo, mas for atendido por um plano de controle em uma região sem suporte, o workspace não oferece suporte ao servindo modelo. Se o senhor tentar usar o servindo modelo em tal workspace, verá uma mensagem de erro informando que o seu workspace não é compatível. Entre em contato com a equipe do Databricks account para obter mais informações.
Para obter mais informações sobre a disponibilidade regional do recurso, consulte servindo modelo de disponibilidade regional.