Referência da tabela do sistema de utilização faturável

Visualização

Este recurso está em visualização pública.

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e exemplos de consultas. Com as tabelas do sistema, os dados de uso faturável do seu accountsão centralizados e roteados para todas as regiões, de modo que o senhor pode view o uso global do seu accountde qualquer região em que o workspace esteja.

Esquema da tabela de utilização faturável

A tabela do sistema de uso faturável está localizada em system.billing.usage e usa o seguinte esquema:

Nome da coluna

Tipo de dados

Descrição

Exemplo

record_id

string

ID exclusivo para esse registro

11e22ba4-87b9-4cc2-9770-d10b894b7118

account_id

string

ID do site account para o qual esse relatório foi gerado

23e22ba4-87b9-4cc2-9770-d10b894b7118

workspace_id

string

ID do site workspace ao qual esse uso estava associado

1234567890123456

sku_name

string

Nome da SKU

STANDARD_ALL_PURPOSE_COMPUTE

cloud

string

cloud este uso é relevante para. Os valores possíveis são AWS, AZURE e GCP.

AWS, AZURE, ou GCP

usage_start_time

timestamp

O tempo de início relevante para esse registro de uso

2023-01-09 10:00:00.000

usage_end_time

timestamp

A hora final relevante para esse registro de uso

2023-01-09 11:00:00.000

usage_date

Data

Data do registro de uso, esse campo pode ser usado para uma agregação mais rápida por data

2023-01-01

custom_tags

map

tags aplicado pelos usuários a esse uso

{ “env”: “production” }

usage_unit

string

Unidade em que esse uso é medido. Os valores possíveis incluem DBUs.

DBU

usage_quantity

decimal

Número de unidades consumidas para esse registro.

259.2958

usage_metadata

struct

Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para compute recurso e Job (se aplicável). Consulte Analisar metadados de uso.

{cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}

identity_metadata

struct

Usado para atribuir registros serverless em Azure e AWS. O valor será null.

null

record_type

string

Se o registro é uma correção. Os valores possíveis são ORIGINAL, RETRACTION e RESTATEMENT.

ORIGINAL

ingestion_date

Data

Data em que o registro foi ingerido na tabela usage.

2024-01-01

billing_origin_product

string

O produto que originou o uso. Alguns produtos podem ser faturados como SKUs diferentes. Para obter os valores possíveis, consulte view informações sobre o produto associado ao uso.

JOBS

product_features

struct

Detalhes sobre o produto recurso específico usado.

Para obter os valores possíveis, consulte produto recurso.

usage_type

string

O tipo de uso atribuído ao produto ou à carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, COMPUTE_SLOT, STORAGE_SPACE, NETWORK_BYTES, API_CALLS, TOKEN ou GPU_TIME.

STORAGE_SPACE

Analisar metadados de uso

Os valores em usage_metadata informam o senhor sobre o recurso envolvido no registro de uso.

Valor

Tipo de dados

Descrição

cluster_id

string

ID do cluster associado ao registro de uso

instance_pool_id

string

ID do pool de instâncias associado ao registro de uso

node_type

string

O tipo de instância do recurso compute

job_id

string

ID do site Job associado ao registro de uso

job_run_id

string

ID da Job execução associada ao registro de uso

notebook_id

string

ID do site Notebook associado ao registro de uso

dlt_pipeline_id

string

ID do pipeline do Delta Live Tables associado ao registro de uso

Observação

Em casos raros, job_run_id não é preenchido para trabalhos de longa duração cujo compute começou a ser executado antes de Databricks começar a capturar os metadados job_run_id. Reinicie o Job's compute para começar a gravar o job_run_id.

Encontre um Job ou Notebook na interface do usuário usando o Job ou Notebook

Estas instruções explicam como acessar um site específico Job ou Notebook na interface do usuário com base em seu ID.

Para localizar um Job na UI com base em seu job_id:

  1. Copie o job_id do registro de uso. Para este exemplo, suponha que o ID seja 700809544510906.

  2. Navegue até o fluxo de trabalho UI no mesmo Databricks workspace que o Job.

  3. Certifique-se de que o filtro Only Job owned by me esteja desmarcado.

  4. Cole o ID(700809544510906) na barra de pesquisa Filter Job.

Para localizar um Notebook na UI com base em seu notebook_id, use as instruções a seguir:

  1. Copie o notebook_id do registro de uso. Para este exemplo, suponha que o ID seja 700809544510906.

  2. Navegue até a UI do espaço de trabalho no mesmo Databricks workspace que o Notebook.

  3. Clique em qualquer Notebook que o senhor vir.

  4. Depois de abrir o site Notebook, examine o URL na barra de endereços do navegador. Ele deve se parecer com https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.

  5. Na barra de endereços do navegador, substitua o ID Notebook pelo ID que o senhor copiou no primeiro passo e, em seguida, exclua tudo após o ID Notebook. Ele deve se parecer com https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.

  6. Depois de acessar o site Notebook, o senhor pode clicar no botão Share (Compartilhar ) para view o proprietário do site Notebook.

view informações sobre o produto associado ao uso

Alguns produtos do Databricks são faturados sob o mesmo SKU compartilhado. Para ajudar o senhor a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais entendimento sobre o produto específico e o recurso associado ao uso.

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

  • JOBS

  • DLT

  • SQL

  • ALL_PURPOSE

  • MODEL_SERVING

  • INTERACTIVE

  • MANAGED_STORAGE

  • VECTOR_SEARCH

  • LAKEHOUSE_MONITORING

  • PREDICTIVE_OPTIMIZATION

  • ONLINE_TABLES

A coluna product_features é um objeto que contém informações sobre o produto recurso específico usado e inclui o seguinte par chave-valor:

  • jobs_tierValores: incluem LIGHT, CLASSIC ou null

  • sql_tierValores: incluem CLASSIC, PRO ou null

  • dlt_tierValores: incluem CORE, PRO, ADVANCED ou null

  • is_serverlessValores incluem true ou false, ou null

  • is_photonValores incluem true ou false, ou null

  • serving_typeValores: incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null

Consultas de amostra

O senhor pode usar os exemplos de consultas a seguir para responder a perguntas comuns sobre o uso faturável:

Qual é a tendência diária do consumo de DBU? 

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

Quantas DBUs de cada SKU foram usadas ao longo deste mês? 

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

Quanto de cada SKU um espaço de trabalho usou em 1º de junho?

Não se esqueça de substituir workspace_id por sua ID workspace real.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

Observação

Essa consulta retorna uma linha por ID exclusiva do SKU usada no workspace na data escolhida.

Qual trabalho consumiu mais DBUs? 

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

Quanto uso pode ser atribuído ao recurso com um tag específico?

O senhor pode dividir os custos de várias maneiras. Este exemplo mostra ao senhor como dividir os custos por uma tag personalizada. Não se esqueça de substituir o tagpersonalizado por key e o valor na consulta.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Mostre-me a SKU onde o uso está crescendo 

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

Qual é a tendência de uso do All Purpose Compute (Photon)? 

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

Qual é o consumo DBU de uma tabela materializada view ou de transmissão?

Para determinar o uso de DBU e SKU para uma tabela materializada view ou de transmissão específica, o senhor precisa do ID pipeline associado (dlt_pipeline_id). Localize o ID do pipeline em Details tab ao visualizar a tabela materializada relevante view ou a tabela de transmissão no Catalog Explorer.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL