Monitorar o uso usando tags

Para monitorar o custo e atribuir com precisão o uso do Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), é possível adicionar tags personalizadas ao espaço de trabalho e ao recurso compute. A Databricks recomenda o uso de tabelas de sistema (Public Preview) para view dados de uso. Consulte a referência da tabela do sistema de uso faturável.

O gráfico de uso faturável do Databricks no console account pode agregar o uso por tags individuais. Os downloads de relatórios CSV de uso faturável da mesma página também incluem tags default e personalizadas. As tags também se propagam para GKE e GCE rótulo.

tags objetos e recursos

Você pode adicionar tags personalizadas para os seguintes objetos gerenciados pelo Databricks:

Objeto	interface tags (IU)	interface tags (API)
pool	UI do pool no Databricks workspace	API do pool de instâncias
Para todos os fins e Job compute	compute UI no Databricks workspace	API de clusters
Armazém SQL	SQL warehouse UI no Databricks workspace	API de armazéns

Aviso

Não atribua tags personalizadas com a key Name a clusters. Todos clusters possuem tags Name cujo valor é definido pelo Databricks. Se você alterar o valor associado à key Name, os clusters não poderão mais ser rastreados pelo Databricks. Como consequência, os clusters podem não ser encerrados após se tornarem parado e continuarão a incorrer em custos de uso.

Tags padrão

A Databricks adiciona as seguintes tags default ao site compute para todos os fins:

etiquetas key	Valor
`Vendor`	Valor constante: `Databricks`
`ClusterId`	Databricks ID interno dos clusters
`ClusterName`	Nome dos clusters
`Creator`	Nome de usuário (endereço email ) do usuário que criou os clusters

Em clusters Job , o Databricks também aplica as seguintes tags default :

etiquetas key	Valor
`RunName`	Nome Job
`JobId`	ID Job

A Databricks adiciona as seguintes tags default a todos os pools:

etiquetas key	Valor
`Vendor`	Valor constante: `Databricks`
`DatabricksInstancePoolCreatorId`	ID interno do Databricks do usuário que criou o pool
`DatabricksInstancePoolId`	Databricks ID interno do pool

Propagação de tags

clusters e tags de pool se propagam de três maneiras diferentes que você pode usar para agregar custos:

tags nos relatórios DBU: tags se propagam para a tabela do sistema de uso faturável logs e para os relatórios de uso DBU nos relatórios de downloads.
Rótulo do GKE (Kubernetes) para cada pod: as tags são propagadas para o rótulo nos pods do GKE. Isso permite que você use a medição de uso do GKE para atribuir custos a todos os recursos compute do Databricks.
Rótulo GCE para cada VM e seus discos permanentes: As tags se propagam para o rótulo no recurso GCE, como VM e seus discos permanentes. Isso permite que você use a medição de uso do GCE para atribuir custos, o que é mais preciso do que o rótulo do GKE para agregação de custos clouds do Google para todos os recursos de computação do Databricks. A tags key e os valores das são transformados para estar em conformidade com os limites de formato de rótulo do GCE .

Como as tags se propagam para clusters criados no pool

As tags se propagam para instâncias de nós de maneira diferente, dependendo se um clusters foi criado ou não a partir de um pool.

Se um clusters não for criado a partir de um pool, suas tags serão propagadas conforme esperado para as instâncias do nó.
Se um clusters for criado a partir de um pool, suas instâncias herdarão as tags do pool e a Cluster Tag. As tags do pool são usadas diretamente para dados de uso de VM apenas para VMs parado.
Se houver um conflito de nome de tag, as tags default do Databricks terão precedência sobre as tags personalizadas e as tags de pool terão precedência sobre Cluster Tag.

Limitações

tags key e os valores podem conter apenas caracteres dolatin1 conjunto ISO 8859-1 ( ). tags contendo outros caracteres são ignoradas.
Se você alterar nomes ou valores key tags , essas alterações se aplicarão somente após a reinicialização clusters ou a expansão pool .
O número máximo personalizado de tags que podem ser propagadas para o rótulo GCE é 54.
O comprimento máximo da e key dos valores do rótulo GCE é de 63 caracteres.
A propagação do rótulo pode ser atrasada devido aos limites de taxa da API GCE para o projeto. Você pode resolver isso aumentando os limites de taxa da API GCE para o projeto clouds do Google.

Aplicação de tags com políticas

O senhor pode aplicar tags em clusters usando as políticas do site compute. Para obter mais informações, consulte Aplicação de tags personalizadas.

Limites do rótulo GCE

O rótulo do GKE pode usar diretamente as e os valores do Databricks.tags key

Para o rótulo GCE, existem limitações:

key e valores devem consistir apenas em letras minúsculas, caracteres numéricos, sublinhado e travessões.
O comprimento máximo da key e dos valores do rótulo GCE é de 63 caracteres.
O número máximo de tags que podem ser propagadas para o rótulo GCE é 54.

Para estar em conformidade com as regras de formato do GCE, as tags são transformadas antes de se tornarem valores e key de rótulo do GCE. Se houver duplicatas após as transformações, o par de key e valores que aparece posteriormente (inferior) nas definições da tag é o que persiste.

A tabela a seguir compara do GKE e do GCE.default Cluster Tag

keyde rótulo do GKE	Valor do rótulo do GKE	keyde rótulo GCE	Valor do rótulo GCE
`Vendor`	`Databricks`	`vendor`	`databricks`
`ClusterId`	ID Databricks	`clusterId`	ID Databricks
`ClusterName`	Nome definido pelo cliente	`clustername`	Nome definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou travessões. Por exemplo, `My Cluster` torna-se `mycluster`.
`Creator`	Endereço email do usuário criador com `@` substituído por `_at_`. Por exemplo `user123_at_databricks.com`.	`creator`	Endereço email do usuário criador com `@` substituído por `_at_`. As letras são minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou travessões. Por exemplo, `X+Y@databricks.com` torna-se `xy_at_databricks.com`.

A tabela a seguir compara tags de pool de instâncias default do GKE e do GCE:

keyde rótulo do GKE	Valor do rótulo do GKE	keyde rótulo GCE	Valor do rótulo GCE
`DatabricksInstancePoolId`	ID Databricks	`databricksinstancepoolid`	ID Databricks
`DatabricksInstancePoolCreatorId`	ID Databricks	`databricksinstancepoolcreatorid`	ID Databricks

A tabela a seguir compara o GKE e o GCE para todas as outras tags (tags personalizadas):

keyde rótulo do GKE	Valor do rótulo do GKE	keyde rótulo GCE	Valor do rótulo GCE
keydefinida pelo cliente	Valor definido pelo cliente	key definida pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou travessões. Por exemplo, `My Key` torna-se `mykey`.	Valor definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou travessões. Por exemplo, `My.Val` torna-se `myval`.