Google
Cloud Platform
Amazon Web Services
Microsoft AzureModelos de fundação suportados no Mosaic AI Model Serving
Este artigo descreve os modelos de fundação que o senhor pode utilizar Mosaic AI Model Serving.
Os modelos Foundation são neurais de rede grandes e pré-treinados que são treinados em grandes e amplas faixas de dados. Esses modelos são projetados para aprender padrões gerais em linguagem, imagens ou outros tipos de dados e podem ser ajustados para tarefas específicas com treinamento adicional.
O servindo modelo oferece opções flexíveis para hospedagem e consulta de modelos da fundação com base em suas necessidades:
Modelos externos: Essa opção permite o acesso a modelos de fundação hospedados fora da Databricks, como os fornecidos pela OpenAI ou Anthropic. Esses modelos podem ser gerenciados de forma centralizada em Databricks para uma governança simplificada.
provisionamento Taxa de transferência: Recomendado para casos de uso de produção que exigem garantias de desempenho. Essa opção permite a implementação de modelos de fundação ajustados com endpoint de serviço otimizado.
Modelos básicos hospedados na Databricks
A Databricks hospeda modelos de fundação aberta de última geração, como o GTE-Large. Esses modelos são disponibilizados por meio do Foundation Model APIs provisionamento Taxa de transferência.
provisionamento Taxa de transferência
Modelo de fundação APIs provisionamento A taxa de transferência é recomendada para casos de produção. O senhor pode criar um endpoint que use o provisionamento Taxa de transferência para implantar arquiteturas de modelo de fundação ajustadas. Quando o senhor usa o provisionamento Taxa de transferência, o serviço endpoint é otimizado para cargas de trabalho do modelo básico que exigem garantias de desempenho.
A tabela a seguir resume as arquiteturas de modelos compatíveis com o provisionamento da Taxa de transferência. Databricks recomenda o uso de modelos de base pré-treinados em Unity Catalog para cargas de trabalho de Taxa de transferência de provisionamento.
Arquitetura do modelo |
Tipos de tarefa |
Notas |
|---|---|---|
GTE v1.5 (inglês) |
Incorporação |
Não gera incorporações normalizadas. |
BGE v1.5 (inglês) |
Incorporação |
Acessar modelos de fundação hospedados fora da Databricks
Os modelos básicos criados por provedores de LLM, como OpenAI e Anthropic, também podem ser acessados no Databricks usando modelos externos. Esses modelos são hospedados fora da Databricks e o senhor pode criar um endpoint para consultá-los. Esses endpoints podem ser controlados de forma centralizada em Databricks, o que simplifica o uso e o gerenciamento de vários provedores de LLM em sua organização.
A tabela a seguir apresenta uma lista não exaustiva dos modelos compatíveis e dos tipos de endpoint correspondentes. O senhor pode usar as associações de modelos listadas para ajudá-lo a configurar seu endpoint para quaisquer tipos de modelos recém-lançados, à medida que eles se tornam disponíveis em um determinado provedor. Os clientes são responsáveis por garantir o compliance com as licenças de modelo aplicáveis.
Observação
Com o rápido desenvolvimento dos LLMs, não há garantia de que essa lista esteja sempre atualizada. Geralmente, há suporte para novas versões de modelos do mesmo fornecedor, mesmo que não estejam na lista.
Fornecedor de modelos |
llm/v1/conclusões |
llm/v1/chat |
llm/v1/incorporações |
|---|---|---|---|
IA aberta** |
|
|
|
Azure OpenAI** |
|
|
|
Anthropic |
|
|
|
Coer** |
|
|
|
Mosaic AI Model Serving |
Databricks servindo endpoint |
Databricks servindo endpoint |
Databricks servindo endpoint |
Amazon Bedrock |
Anthropic:
Cohere:
AI21 Labs:
|
Anthropic:
Cohere:
|
Amazon:
Cohere:
|
Laboratórios AI21† |
|
||
Google Cloud Vertex AI |
bisonte de texto |
|
|
** O provedor de modelos oferece suporte a modelos de preenchimento e bate-papo aprimorados. Para consultar um modelo ajustado, preencha o campo name da configuração external model com o nome do seu modelo ajustado.
† O fornecedor de modelos oferece suporte a modelos de conclusão personalizados.
Criar um endpoint de modelo de serviço de fundação
Para consultar e usar modelos básicos em seus aplicativos AI, o senhor deve primeiro criar um modelo de serviço endpoint. O servindo modelo usa um API e uma UI unificados para criar e atualizar o endpoint do servindo modelo da fundação.
Para criar um endpoint que sirva variantes ajustadas de modelos de fundação disponibilizados por meio do provisionamento de Foundation Model APIs Taxa de transferência, consulte Criar seu provisionamento Taxa de transferência endpoint usando o REST API .
Para criar um endpoint de serviço que acesse os modelos da fundação disponibilizados usando a oferta de modelos externos, consulte Criar um modelo de serviço externo endpoint.
Query foundation servindo modelo endpoint
Depois de criar o endpoint de serviço, o senhor poderá consultar o modelo da fundação. O servindo modelo usa um API e um SDK unificados e compatíveis com o OpenAI para consultar os modelos da fundação. Essa experiência unificada simplifica a forma como você experimenta e personaliza modelos básicos para produção em nuvens e fornecedores compatíveis.
Consulte Modelos básicos de consulta.