Google
Cloud Platform
Amazon Web Services
Microsoft AzureMosaic AI Gateway
Prévia
Esse recurso está em Prévia Pública.
Este artigo descreve o Mosaic AI Gateway, a solução Databricks para governar e monitorar o acesso a modelos de AI generativos compatíveis e seu endpoint de modelo de serviço associado.
O que é o Mosaic AI Gateway?
O Mosaic AI Gateway foi projetado para simplificar o uso e o gerenciamento de modelos de IA generativos em uma organização. É um serviço centralizado que traz governança, monitoramento e prontidão de produção para atender ao modelo de endpoint. Ele também permite que o senhor execute, proteja e controle o tráfego de AI para democratizar e acelerar a adoção da AI em sua organização.
Todos os dados são registrados em tabelas Delta em Unity Catalog.
Para começar a visualizar percepções a partir de seus dados do AI Gateway, acesse download o exemplo de painel do AI Gateway em GitHub. Esse painel aproveita os dados das tabelas de inferência de acompanhamento de uso e de registro de carga útil.
Depois de fazer download do arquivo JSON, importe o painel para seu workspace. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.
O IA Gateway é compatível com os seguintes recursos:
Permissão e limitação de taxa para controlar quem tem acesso e quanto acesso.
Registro de carga útil para monitorar e auditar os dados enviados às APIs do modelo usando tabelas de inferência.
Acompanhamento do uso para monitorar o uso operacional no endpoint e os custos associados usando tabelas do sistema.
Roteamento de tráfego para minimizar as interrupções na produção durante e após a implantação.
O Mosaic AI Gateway incorre em cobranças com base no recurso ativado. Durante a visualização, esses recursos pagos incluem registro de carga útil e acompanhamento de uso. Recursos como permissões de consulta, limitação de taxa e roteamento de tráfego são gratuitos. Qualquer novo recurso está sujeito a cobrança.
Usar IA Gateway
O senhor pode configurar o recurso IA Gateway em seu endpoint de modelo de serviço usando a Serving UI. Consulte Configurar o IA Gateway no endpoint do modelo de serviço.