Esquema de registros de uso faturável (legado)

Observação

Este artigo inclui detalhes sobre os logs de uso herdados, que não registram o uso de todos os produtos. A Databricks recomenda o uso da tabela do sistema de uso faturável para acessar e consultar dados completos de uso.

Este artigo explica como ler e analisar os downloads de dados de logs de uso do console account.

Você pode view e downloads do uso faturável diretamente no console da conta ou usando a API da conta.

Esquema de arquivo CSV

Coluna

Tipo

Descrição

Exemplo

workspaceId

string

ID do workspace.

1234567890123456

timestamp

datetime

Fim da hora para o uso fornecido.

2019-02-22T09:59:59.999Z

clusterId

string

ID do cluster (para um cluster) ou do warehouse (para um warehouse SQL)

Exemplo de cluster: 0406-020048-brawl507

Exemplo de warehouse SQL: 8e00f0c8b392983e

clusterName

string

Nome fornecido pelo usuário para o cluster/warehouse.

Shared Autoscaling

clusterNodeType

string

Tipo de instância do cluster/warehouse.

Exemplo de cluster: m4.16xlarge

Exemplo de warehouse SQL: db.xlarge

clusterOwnerUserId

string

ID do usuário que criou o cluster/warehouse.

12345678901234

clusterCustomTags

string (“-escaped json)

Tags personalizadas associadas ao cluster/warehouse durante essa hora.

"{""dept"":""mktg"",""op_phase"":""dev""}"

sku

string

SKU de cobrança. Consulte a tabela SKUs de cobrança para obter uma lista de valores.

STANDARD_ALL_PURPOSE_COMPUTE

dbus

double

Número de DBUs usadas pelo usuário durante essa hora.

1.2345

machineHours

double

Número total de horas de máquina usadas por todos os contêineres no cluster/warehouse.

12.345

clusterOwnerUserName

string

Nome de usuário (email) do usuário que criou o cluster/warehouse.

user@yourcompany.com

tags

string (“-escaped json)

default e clusters/warehouse personalizados tags, e default e pool de instâncias personalizadas tags (se aplicável) associados aos clusters durante essa hora. Consulte Tag de cluster, tags de armazém e tags de pool. Esse é um superconjunto da coluna clusterCustomTags.

"{""dept"":""mktg"",""op_phase"":""dev"", ""Vendor"":""Databricks"", ""ClusterId"":""0405-020048-brawl507"", ""Creator"":""user@yourcompany.com""}"

SKUs de faturamento

  • ENTERPRISE_ALL_PURPOSE_COMPUTE

  • ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)

  • ENTERPRISE_JOBS_COMPUTE

  • ENTERPRISE_JOBS_COMPUTE_(PHOTON)

  • ENTERPRISE_JOBS_LIGHT_COMPUTE

  • ENTERPRISE_SQL_COMPUTE

  • ENTERPRISE_DLT_CORE_COMPUTE

  • ENTERPRISE_DLT_CORE_COMPUTE_(PHOTON)

  • ENTERPRISE_DLT_PRO_COMPUTE

  • ENTERPRISE_DLT_PRO_COMPUTE_(PHOTON)

  • ENTERPRISE_DLT_ADVANCED_COMPUTE

  • ENTERPRISE_DLT_ADVANCED_COMPUTE_(PHOTON)

  • PREMIUM_ALL_PURPOSE_COMPUTE

  • PREMIUM_ALL_PURPOSE_COMPUTE_(PHOTON)

  • PREMIUM_JOBS_COMPUTE

  • PREMIUM_JOBS_COMPUTE_(PHOTON)

  • PREMIUM_JOBS_LIGHT_COMPUTE

  • PREMIUM_SQL_COMPUTE

  • PREMIUM_DLT_CORE_COMPUTE

  • PREMIUM_DLT_CORE_COMPUTE_(PHOTON)

  • PREMIUM_DLT_PRO_COMPUTE

  • PREMIUM_DLT_PRO_COMPUTE_(PHOTON)

  • PREMIUM_DLT_ADVANCED_COMPUTE

  • PREMIUM_DLT_ADVANCED_COMPUTE_(PHOTON)

  • STANDARD_ALL_PURPOSE_COMPUTE

  • STANDARD_ALL_PURPOSE_COMPUTE_(PHOTON)

  • STANDARD_JOBS_COMPUTE

  • STANDARD_JOBS_COMPUTE_(PHOTON)

  • STANDARD_JOBS_LIGHT_COMPUTE

  • STANDARD_DLT_CORE_COMPUTE

  • STANDARD_DLT_CORE_COMPUTE_(PHOTON)

  • STANDARD_DLT_PRO_COMPUTE

  • STANDARD_DLT_PRO_COMPUTE_(PHOTON)

  • STANDARD_DLT_ADVANCED_COMPUTE

  • STANDARD_DLT_ADVANCED_COMPUTE_(PHOTON)

Analisar dados de uso no Databricks

Esta seção descreve como disponibilizar os dados no arquivo CSV de uso faturável ao Databricks para análise.

O arquivo CSV usa um formato que é padrão para aplicativos de planilha comercial, mas requer uma modificação para ser lido pelo Apache Spark. Você deve usar option("escape", "\"") ao criar a tabela de uso no Databricks.

O total de DBUs é a soma da coluna dbus.

Importar o log usando a interface do usuário Criar tabela

Você pode usar a opção Carregar dados usando a interface de usuário de adição de dados para importar o arquivo CSV para o Databricks para análise.

Criar um DataFrame Spark

Você também pode usar o código a seguir para criar a tabela de uso a partir de um caminho para o arquivo CSV:

df = (spark.
      read.
      option("header", "true").
      option("inferSchema", "true").
      option("escape", "\"").
      csv("/FileStore/tables/usage_data.csv"))

df.createOrReplaceTempView("usage")

Criar uma tabela Delta

Para criar uma tabela Delta a partir do DataFrame (df) no exemplo anterior, use o código a seguir:

(df.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("database_name.table_name")
)

Aviso

A tabela Delta salva não é atualizada automaticamente quando você adiciona ou substitui novos arquivos CSV. Se você precisar dos dados mais recentes, execute novamente esses comandos antes de usar a tabela Delta.