Monitorar os custos do modelo de serviço

Este artigo fornece exemplos de como usar as tabelas do sistema para monitorar o custo do ponto de extremidade Mosaic AI Model Serving em seu Databricks account.

Requisitos

Para acessar as tabelas do sistema, seu workspace deve estar habilitado para o Unity Catalog. Para obter mais informações, consulte Habilitar esquemas de tabelas do sistema.

Tabela do sistema de utilização de faturamento SKU

O senhor pode acompanhar os custos do modelo de serviço em Databricks usando a tabela do sistema de uso faturável. Depois que a tabela do sistema de uso de cobrança é ativada, a tabela é preenchida automaticamente com o uso mais recente em seu site Databricks account. Os custos aparecem na tabela system.billing.usage com a coluna sku_name como uma das seguintes:

`sku_name`	Descrição
`<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region>`	Este site SKU inclui todas as DBUs acumuladas quando um endpoint começa depois de zerar.
`<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region>`	Todos os outros custos do modelo de serviço estão agrupados neste site SKU. Onde `tier` corresponde ao nível da plataforma Databricks e `region` corresponde à região cloud da implantação Databricks.

Consulte e visualize o uso

O senhor pode consultar a tabela system.billing.usage para agregar todas as DBUs (Databricks Units) associadas ao Mosaic AI Model Serving. A seguir, um exemplo de consulta que agrega DBUs do modelo servindo por dia nos últimos 30 dias usando SQL:

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Painel de observabilidade de custos

Para ajudá-lo a começar a monitorar seus custos de modelo de serviço, download o exemplo de painel de atribuição de custos de GitHub. Veja o painel de atribuição de custos da servindo modelo.

Depois de fazer download do arquivo JSON, importe o painel para seu workspace. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.

Como usar esse painel

Esse painel é alimentado por AI/BI e o senhor precisa ter acesso às tabelas do sistema. Ele fornece percepções do seu serviço endpoint custos e uso no nível workspace.

Os passos a seguir levam o senhor a começar:

Digite a ID workspace.
Selecione a data de início e a data de término.
Filtre o painel selecionando o nome endpoint específico na lista dropdown (se o senhor estiver interessado em um endpoint específico).
Separadamente, insira o tag key se o senhor usar algum tags personalizado para o seu endpoint.

Observação

A servindo modelo impõe limites de default no workspace para garantir que não haja gastos excessivos. Veja servindo modelo limites e regiões.

Gráficos que você pode usar

Os gráficos a seguir estão incluídos neste painel. Eles servem como ponto de partida para que o senhor crie sua própria versão personalizada do painel de atribuição de custos da Servindo Modelo.

Últimos 7 dias Ponto final superior Consumo
Total diário de uso de $ DBU
servindo modelo Custos por tipo de endpoint
- Pay-Per-tokens
- CPU/GPU
- Modelo de fundação
Consumo diário Por modelo de serviço Tipo
Os 10 endpoints de serviço mais caros
Os 10 endpoints de pagamento por tokens mais caros
LLM Fine tuning Últimos 7 dias Gastos
LLM Ajuste fino do gasto por e-mail

Use etiquetas para monitorar os custos

Inicialmente, os custos agregados podem ser suficientes para observar os custos gerais do modelo de serviço. No entanto, à medida que o número de endpoints aumenta, o senhor pode querer dividir os custos com base no caso de uso, na unidade de negócios ou em outros identificadores personalizados. A servindo modelo suporta a criação de tags personalizado que pode ser aplicado ao seu endpoint servindo modelo.

Todos os tags personalizados aplicados ao endpoint servindo modelo se propagam para a tabela system.billing.usage na coluna custom_tags e podem ser usados para agregar e visualizar os custos. Databricks recomenda adicionar o descritivo tags a cada endpoint para um acompanhamento preciso dos custos.

Exemplos de consultas

Principal ponto final por custo:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Custo com tags ("business_unit": "ciência de dados") ao longo do tempo:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Outros recursos

Para obter exemplos de como monitorar o custo do trabalho em seu site account, consulte Monitorar custos e desempenho do trabalho com tabelas do sistema.