Esquema de registros de uso faturável (legado)
Observação
Este artigo inclui detalhes sobre os logs de uso herdados, que não registram o uso de todos os produtos. A Databricks recomenda o uso da tabela do sistema de uso faturável para acessar e consultar dados completos de uso.
Este artigo explica como ler e analisar os downloads de dados de logs de uso do console account.
Você pode view e downloads do uso faturável diretamente no console da conta ou usando a API da conta.
Esquema de arquivo CSV
Coluna |
Tipo |
Descrição |
Exemplo |
---|---|---|---|
workspaceId |
string |
ID do workspace. |
|
timestamp |
datetime |
Fim da hora para o uso fornecido. |
|
clusterId |
string |
ID do cluster (para um cluster) ou do warehouse (para um warehouse SQL) |
Exemplo de cluster: Exemplo de warehouse SQL: |
clusterName |
string |
Nome fornecido pelo usuário para o cluster/warehouse. |
|
clusterNodeType |
string |
Tipo de instância do cluster/warehouse. |
Exemplo de cluster: Exemplo de warehouse SQL: |
clusterOwnerUserId |
string |
ID do usuário que criou o cluster/warehouse. |
|
clusterCustomTags |
string (“-escaped json) |
Tags personalizadas associadas ao cluster/warehouse durante essa hora. |
|
sku |
string |
SKU de cobrança. Consulte a tabela SKUs de cobrança para obter uma lista de valores. |
|
dbus |
double |
Número de DBUs usadas pelo usuário durante essa hora. |
|
machineHours |
double |
Número total de horas de máquina usadas por todos os contêineres no cluster/warehouse. |
|
clusterOwnerUserName |
string |
Nome de usuário (email) do usuário que criou o cluster/warehouse. |
|
tags |
string (“-escaped json) |
default e clusters/warehouse personalizados tags, e default e pool de instâncias personalizadas tags (se aplicável) associados aos clusters durante essa hora. Consulte Tag de cluster, tags de armazém e tags de pool. Esse é um superconjunto da coluna |
|
SKUs de faturamento
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(PHOTON)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SQL_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(PHOTON)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SQL_COMPUTE
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(PHOTON)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(PHOTON)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)
STANDARD_ALL_PURPOSE_COMPUTE
STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(PHOTON)
STANDARD_JOBS_LIGHT_COMPUTE
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(PHOTON)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(PHOTON)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)
Analisar dados de uso no Databricks
Esta seção descreve como disponibilizar os dados no arquivo CSV de uso faturável ao Databricks para análise.
O arquivo CSV usa um formato que é padrão para aplicativos de planilha comercial, mas requer uma modificação para ser lido pelo Apache Spark. Você deve usar option("escape", "\"")
ao criar a tabela de uso no Databricks.
O total de DBUs é a soma da coluna dbus
.
Importar o log usando a interface do usuário Criar tabela
Você pode usar a opção Carregar dados usando a interface de usuário de adição de dados para importar o arquivo CSV para o Databricks para análise.
Criar um DataFrame Spark
Você também pode usar o código a seguir para criar a tabela de uso a partir de um caminho para o arquivo CSV:
df = (spark.
read.
option("header", "true").
option("inferSchema", "true").
option("escape", "\"").
csv("/FileStore/tables/usage_data.csv"))
df.createOrReplaceTempView("usage")
Criar uma tabela Delta
Para criar uma tabela Delta a partir do DataFrame (df
) no exemplo anterior, use o código a seguir:
(df.write
.format("delta")
.mode("overwrite")
.saveAsTable("database_name.table_name")
)
Aviso
A tabela Delta salva não é atualizada automaticamente quando você adiciona ou substitui novos arquivos CSV. Se você precisar dos dados mais recentes, execute novamente esses comandos antes de usar a tabela Delta.