Referência da tabela do sistema de utilização faturável
Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.
Para obter informações sobre como usar essa tabela para monitorar os custos do Job, consulte Monitorar os custos do Job com as tabelas do sistema.
Esquema da tabela de utilização faturável
A tabela do sistema de uso faturável está localizada em system.billing.usage
e usa o seguinte esquema:
Nome da coluna |
Tipo de dados |
Descrição |
Exemplo |
---|---|---|---|
|
string |
ID exclusivo para esse registro |
|
|
string |
ID do site account para o qual esse relatório foi gerado |
|
|
string |
ID do site workspace ao qual esse uso estava associado |
|
|
string |
Nome da SKU |
|
|
string |
cloud este uso é relevante para. Os valores possíveis são |
|
|
timestamp |
O tempo de início relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com |
|
|
timestamp |
A hora final relevante para esse registro de uso. As informações de fuso horário são registradas no final do valor com |
|
|
Data |
Data do registro de uso, esse campo pode ser usado para uma agregação mais rápida por data |
|
|
map |
tags aplicados pelos usuários a esse uso. Inclui compute recurso tags e Job tags. |
|
|
string |
Unidade em que esse uso é medido. Os valores possíveis incluem DBUs. |
|
|
decimal |
Número de unidades consumidas para esse registro. |
|
|
struct |
Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Analisar metadados de uso. |
|
|
struct |
Usado para atribuir registros serverless em Azure e AWS. O valor será |
|
|
string |
Se o registro é original, uma retratação ou uma reformulação. O valor é |
|
|
Data |
Data em que o registro foi ingerido na tabela |
|
|
string |
O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte view informações sobre o produto associado ao uso. |
|
|
struct |
Detalhes sobre o produto recurso específico usado. |
Para obter os valores possíveis, consulte produto recurso. |
|
string |
O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são |
|
Analisar metadados de uso
Os valores em usage_metadata
informam o senhor sobre o recurso envolvido no registro de uso.
Valor |
Tipo de dados |
Descrição |
---|---|---|
|
string |
ID do cluster associado ao registro de uso |
|
string |
ID do site SQL warehouse associado ao registro de uso |
|
string |
ID do pool de instâncias associado ao registro de uso |
|
string |
O tipo de instância do recurso compute |
|
string |
ID do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna |
|
string |
ID da execução do trabalho associado ao registro de uso. Somente retorna um valor para o uso de serverless compute ou Job compute; caso contrário, retorna |
|
string |
Nome dado pelo usuário do trabalho associado ao registro de uso. Somente retorna um valor para a execução do trabalho em serverless compute, caso contrário, retorna |
|
string |
ID do site Notebook associado ao uso. Retorna apenas um valor para serverless compute para uso em Notebook; caso contrário, retorna |
|
string |
caminho de armazenamento do espaço de trabalho do Notebook associado ao uso. Somente retorna um valor para serverless compute para uso do Notebook; caso contrário, retorna |
|
string |
ID do pipeline do Delta Live Tables associado ao registro de uso |
|
string |
ID da atualização do pipeline Delta Live Tables associada ao registro de uso |
|
string |
ID da tarefa de manutenção Delta Live Tables pipeline associada ao registro de uso |
|
string |
Identificador exclusivo voltado para o usuário do Mosaic AI Model treinamento fine-tuning execution associado ao registro de uso |
|
string |
O nome do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso |
|
string |
ID do modelo de serviço endpoint ou pesquisa vetorial endpoint associado ao registro de uso |
|
string |
ID da sala limpa central associada ao registro de uso |
Analise os registros de correção
A tabela billing.usage
suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.
Quando ocorre uma correção, o Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type
:
RETRACTION
: usado para negar o uso incorreto original. Todos os campos são idênticos ao registroORIGINAL
, excetousage_quantity
, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse259.4356
, o registro de retração teria uma quantidade de uso de-259.4356
.RESTATEMENT
: o registro que inclui os campos e a quantidade de uso corretos.
Por exemplo, a consulta a seguir retorna a quantidade correta de uso por hora relacionada a um job_id
, mesmo que tenham sido feitas correções. Ao agregar a quantidade de uso, o registro de retração nega o registro original e somente os valores da atualização são retornados.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Observação
Para correções em que o registro de uso original não deveria ter sido escrito, uma correção só pode adicionar um registro de retração e nenhum registro de atualização.
view informações sobre o produto associado ao uso
Alguns produtos do Databricks são faturados sob o mesmo SKU compartilhado. Para ajudar o senhor a diferenciar o uso, as colunas billing_origin_product
e product_features
fornecem mais entendimento sobre o produto específico e o recurso associado ao uso.
A coluna billing_origin_product
mostra o produto Databricks associado ao registro de uso. Os valores incluem:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
MANAGED_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
A coluna product_features
é um objeto que contém informações sobre o produto recurso específico usado e inclui o seguinte par chave-valor:
jobs_tier
Valores: incluemLIGHT
,CLASSIC
ounull
sql_tier
Valores: incluemCLASSIC
,PRO
ounull
dlt_tier
Valores: incluemCORE
,PRO
,ADVANCED
ounull
is_serverless
Valores incluemtrue
oufalse
, ounull
is_photon
Valores incluemtrue
oufalse
, ounull
serving_type
Valores: incluemMODEL
,GPU_MODEL
,FOUNDATION_MODEL
,FEATURE
ounull
Consultas de amostra
O senhor pode usar os exemplos de consultas a seguir para responder a perguntas comuns sobre o uso faturável:
Quanto uso pode ser atribuído ao recurso com um determinado tag?
Qual é o consumo DBU de uma tabela materializada view ou de transmissão?
Qual é a tendência diária do consumo de DBU?
SELECT
usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
system.billing.usage
WHERE
sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
usage_date
ORDER BY
usage_date ASC
Quantas DBUs de cada SKU foram usadas ao longo deste mês?
SELECT
sku_name, usage_date, sum(usage_quantity) as `DBUs`
FROM
system.billing.usage
WHERE
month(usage_date) = month(NOW())
AND
year(usage_date) = year(NOW())
GROUP BY
sku_name, usage_date
Quanto de cada SKU um espaço de trabalho usou em 1º de junho?
Não se esqueça de substituir workspace_id
por sua ID workspace real.
SELECT
sku_name, sum(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
workspace_id = 1234567890123456
AND
usage_date = "2023-06-01"
GROUP BY
sku_name
Observação
Essa consulta retorna uma linha por ID exclusiva do SKU usada no workspace na data escolhida.
Qual trabalho consumiu mais DBUs?
SELECT
usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.job_id IS NOT NULL
GROUP BY
`Job ID`
ORDER BY
`DBUs` DESC
Quanto uso pode ser atribuído ao recurso com um tag específico?
O senhor pode dividir os custos de várias maneiras. Este exemplo mostra ao senhor como dividir os custos por uma tag personalizada. Não se esqueça de substituir o tagpersonalizado por key e o valor na consulta.
SELECT
sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2
Mostre-me a SKU onde o uso está crescendo
SELECT
after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT
sku_name, sum(usage_quantity) as before_dbus
FROM
system.billing.usage
WHERE
usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY
sku_name
) as before
JOIN
(SELECT
sku_name, sum(usage_quantity) as after_dbus
FROM
system.billing.usage
WHERE
usage_date
BETWEEN
"2023-05-01" and "2023-05-30"
GROUP BY
sku_name
) as after
WHERE
before.sku_name = after.sku_name
SORT BY
growth_rate DESC
Qual é a tendência de uso do All Purpose Compute (Photon)?
SELECT
sku_name,
usage_date,
sum(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
year(usage_date) = year(CURRENT_DATE)
AND
sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
usage_date > "2023-04-15"
GROUP BY
sku_name, usage_date
Qual é o consumo DBU de uma tabela materializada view ou de transmissão?
Para obter o DBU usage e o SKU para uma tabela materializada específica view ou transmissão, envie uma consulta à tabela do sistema billable usage para registros em que usage_metadata.dlt_pipeline_id
esteja definido como o ID do pipeline associado à tabela materializada view ou transmissão. O senhor pode encontrar o ID pipeline em Details tab no Catalog Explorer ao visualizar a tabela materializada view ou de transmissão. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data final ou um intervalo de datas. A consulta a seguir recupera o uso do DBU para o pipeline com ID 00732f83-cd59-4c76-ac0d-57958532ab5b
e uma data de início de uso de 2023-05-30
:
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
usage_start_time > "2023-05-30"
GROUP BY
ALL
Qual é o consumo de DBU de um pipeline DLT sem servidor?
Para obter o uso de DBU e SKU para um serverless DLT pipeline, envie uma consulta à tabela do sistema de uso faturável para registros em que usage_metadata.dlt_pipeline_id
é definido como o ID do pipeline. O senhor pode encontrar o ID do pipeline em Detalhes do pipeline tab ao visualizar um pipeline na interface do usuário Delta Live Tables. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data final ou um intervalo de datas. A consulta a seguir recupera o uso de DBU de dezembro de 2023 para o pipeline com ID 00732f83-cd59-4c76-ac0d-57958532ab5b
.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
usage_start_time >= "2023-12-01"
AND
usage_end_time < "2024-01-01"
GROUP BY
ALL