APIs do Foundation Model do Databricks

Prévia

Esse recurso está em Public Preview e é compatível com os sites us-east1 e us-central1.

Este artigo fornece uma visão geral das APIs do Foundation Model na Databricks. Ele inclui requisitos de uso, modelos compatíveis e limitações.

O que são as APIs de Foundation Model do Databricks?

O Mosaic AI Model Serving agora é compatível com as APIs do Foundation Model, que permitem que o senhor acesse e consulte modelos abertos de última geração a partir de um endpoint de serviço. Com o Foundation Model APIs, o senhor pode criar aplicativos de forma rápida e fácil que aproveitam um modelo generativo de alta qualidade AI sem manter sua própria implantação de modelo. O Foundation Model APIs é um serviço designado pela Databricks, o que significa que ele usa o Databricks Geos para gerenciar a residência de dados ao processar o conteúdo do cliente.

O Foundation Model APIs está disponível no modo de provisionamento Taxa de transferência. Esse modo é recomendado para todas as cargas de trabalho de produção, especialmente aquelas que exigem alta taxa de transferência, garantias de desempenho, modelos ajustados ou requisitos de segurança adicionais. O provisionamento do endpoint da Taxa de transferência está disponível com as certificações compliance, como HIPAA.

Usando as APIs do Foundation Model, o senhor pode fazer o seguinte:

  • Consulte um LLM generalizado para verificar a validade de um projeto antes de investir mais recursos.

  • Consulte um LLM generalizado para criar rapidamente uma prova de conceito para uma aplicação baseada em LLM antes de investir no treinamento e implantação de um modelo personalizado.

  • Construa um aplicativo LLM para desenvolvimento ou produção em cima de uma solução de serviço LLM escalável e com SLA garantido que possa suportar seus picos de tráfego de produção.

Requisitos

Use as APIs do Foundation Model

Você tem várias opções para usar as APIs do modelo básico.

As APIs são compatíveis com o OpenAI, portanto, o senhor pode usar o cliente OpenAI para fazer consultas. O senhor também pode usar a interface do usuário, o SDK Python das APIs do Foundation Models, o SDK do MLflow Deployments ou a API REST para consultar os modelos compatíveis. A Databricks recomenda usar o SDK ou a API do cliente OpenAI para interações estendidas e a interface do usuário para experimentar o recurso.

Consulte Modelos generativos de consulta AI para obter exemplos de pontuação.

APIs do Foundation Model de taxa de transferência provisionada

O provisionamento Taxa de transferência fornece ao endpoint uma inferência otimizada para cargas de trabalho do modelo de fundação que exigem garantias de desempenho. Databricks recomenda o provisionamento Taxa de transferência para cargas de trabalho de produção. Consulte o provisionamento Taxa de transferência Foundation Model APIs para obter um guia passo a passo sobre como implantar o Foundation Model APIs no provisionamento em todo o modo.

O suporte da taxa de transferência provisionada inclui:

  • Modelos básicos de todos os tamanhos. Os modelos básicos podem ser acessados usando o Databricks Marketplace download Hugging Face site ou, alternativamente, o Unity Catalog senhor pode acessá-los em ou em outra fonte externa e registrá-los no site. A última abordagem funciona com qualquer variante ajustada dos modelos suportados, independentemente do método de ajuste fino empregado.

  • Variantes ajustadas de modelos básicos, como modelos que são ajustados com base em dados proprietários.

  • Pesos e tokenizadores totalmente personalizados, como aqueles treinados do zero ou pré-treinados contínuos ou outras variações usando a arquitetura do modelo básico (como o CodelLama ).

A tabela a seguir resume as arquiteturas de modelo suportadas para a taxa de transferência provisionada.

Arquitetura do modelo

Tipos de tarefa

Notas

GTE v1.5 (inglês)

Incorporação

Não gera incorporações normalizadas.

BGE v1.5 (inglês)

Incorporação