Monitorar os custos do modelo de serviço
Este artigo fornece exemplos de como usar as tabelas do sistema para monitorar o custo do ponto de extremidade Mosaic AI Model Serving em seu Databricks account.
Requisitos
Para acessar as tabelas do sistema, seu workspace deve estar habilitado para o Unity Catalog. Para obter mais informações, consulte Habilitar esquemas de tabelas do sistema.
Tabela do sistema de utilização de faturamento SKU
O senhor pode acompanhar os custos do modelo de serviço em Databricks usando a tabela do sistema de uso faturável. Depois que a tabela do sistema de uso de cobrança é ativada, a tabela é preenchida automaticamente com o uso mais recente em seu site Databricks account. Os custos aparecem na tabela system.billing.usage
com a coluna sku_name
como uma das seguintes:
|
Descrição |
---|---|
|
Este site SKU inclui todas as DBUs acumuladas quando um endpoint começa depois de zerar. |
|
Todos os outros custos do modelo de serviço estão agrupados neste site SKU. Onde |
Consulte e visualize o uso
O senhor pode consultar a tabela system.billing.usage
para agregar todas as DBUs (Databricks Units) associadas ao Mosaic AI Model Serving. A seguir, um exemplo de consulta que agrega DBUs do modelo servindo por dia nos últimos 30 dias usando SQL:
SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC
LIMIT 30
Painel de observabilidade de custos
Para ajudá-lo a começar a monitorar seus custos de modelo de serviço, download o exemplo de painel de atribuição de custos de GitHub. Veja o painel de atribuição de custos da servindo modelo.
Depois de fazer download do arquivo JSON, importe o painel para seu workspace. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.
Como usar esse painel
Esse painel é alimentado por AI/BI e o senhor precisa ter acesso às tabelas do sistema. Ele fornece percepções do seu serviço endpoint custos e uso no nível workspace.
Os passos a seguir levam o senhor a começar:
Digite a ID workspace.
Selecione a data de início e a data de término.
Filtre o painel selecionando o nome endpoint específico na lista dropdown (se o senhor estiver interessado em um endpoint específico).
Separadamente, insira o tag key se o senhor usar algum tags personalizado para o seu endpoint.
Observação
A servindo modelo impõe limites de default no workspace para garantir que não haja gastos excessivos. Veja servindo modelo limites e regiões.
Gráficos que você pode usar
Os gráficos a seguir estão incluídos neste painel. Eles servem como ponto de partida para que o senhor crie sua própria versão personalizada do painel de atribuição de custos da Servindo Modelo.
Últimos 7 dias Ponto final superior Consumo
Total diário de uso de $ DBU
servindo modelo Custos por tipo de endpoint
Pay-Per-tokens
CPU/GPU
Modelo de fundação
Consumo diário Por modelo de serviço Tipo
Os 10 endpoints de serviço mais caros
Os 10 endpoints de pagamento por tokens mais caros
LLM Fine tuning Últimos 7 dias Gastos
LLM Ajuste fino do gasto por e-mail
Use etiquetas para monitorar os custos
Inicialmente, os custos agregados podem ser suficientes para observar os custos gerais do modelo de serviço. No entanto, à medida que o número de endpoints aumenta, o senhor pode querer dividir os custos com base no caso de uso, na unidade de negócios ou em outros identificadores personalizados. A servindo modelo suporta a criação de tags personalizado que pode ser aplicado ao seu endpoint servindo modelo.
Todos os tags personalizados aplicados ao endpoint servindo modelo se propagam para a tabela system.billing.usage
na coluna custom_tags
e podem ser usados para agregar e visualizar os custos. Databricks recomenda adicionar o descritivo tags a cada endpoint para um acompanhamento preciso dos custos.
Exemplos de consultas
Principal ponto final por custo:
SELECT
usage_metadata.endpoint_name AS endpoint_name,
SUM(usage_quantity) AS model_serving_dbus
FROM
system.billing.usage
WHERE
sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;
Custo com tags ("business_unit": "ciência de dados") ao longo do tempo:
SELECT
SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM
system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC
LIMIT 30
Outros recursos
Para obter exemplos de como monitorar o custo do trabalho em seu site account, consulte Monitorar os custos do trabalho com tabelas do sistema.