Monitorar o uso usando tags

Para monitorar o custo e atribuir com precisão o uso do Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), o senhor pode adicionar o tags personalizado ao espaço de trabalho e ao recurso compute. Databricks recomenda o uso de tabelas de sistema (Public Preview) para view dados de uso. Consulte a referência da tabela do sistema de uso faturável. Observação: os dados da tag podem ser replicados globalmente. Portanto, não use tag nomes ou valores que possam comprometer a segurança do seu recurso. Por exemplo, não use nomes tag que contenham informações pessoais ou confidenciais.

O gráfico de Databricks uso faturável no account console pode agregar o uso por indivíduo tags. Os downloads dos relatórios de uso faturável CSV da mesma página também incluem default e tags personalizado. tags também se propagam para o rótulo GKE e GCE.

tags objects e recurso

O senhor pode adicionar o tags personalizado para os seguintes objetos gerenciados pelo Databricks:

Objeto	interface de tags (UI)	interface de tags (API)
Pool	UI do pool no site Databricks workspace	API do pool de instâncias
Para todos os fins e Job compute	compute UI no site Databricks workspace	API de clusters
Armazém SQL	SQL warehouse UI no site Databricks workspace	API de armazéns

Aviso

Não atribua um tag personalizado com o key Name a um cluster. Cada cluster tem uma tag Name cujo valor é definido pela Databricks. Se o senhor alterar o valor associado ao key Name, o cluster não poderá mais ser rastreado pelo Databricks. Como consequência, o cluster pode não ser encerrado depois de se tornar parado e continuará a incorrer em custos de uso.

Tags padrão

Databricks adiciona o seguinte default tags para todos os fins compute:

tag key	Valor
`Vendor`	Valor constante: `Databricks`
`ClusterId`	ID interna de Databricks do cluster
`ClusterName`	Nome do cluster
`Creator`	Nome de usuário (endereçoemail ) do usuário que criou o cluster

Em Job clusters, Databricks também se aplica o seguinte default tags:

tag key	Valor
`RunName`	Nome do Job
`JobId`	ID do Job

Databricks adiciona o seguinte default tags a todo o pool:

tag key	Valor
`Vendor`	Valor constante: `Databricks`
`DatabricksInstancePoolCreatorId`	ID interno do Databricks do usuário que criou o pool
`DatabricksInstancePoolId`	ID interna do pool do Databricks

Propagação de tags

As tags de cluster e pool se propagam de três maneiras diferentes que o senhor pode usar para agregar custos:

tags nos relatórios DBU : tags propagam para a tabela do sistema de uso faturável logs e DBU relatórios de uso nos relatórios de downloads.
Rótulo do GKE (Kubernetes) para cada pod: tags propaga para o rótulo nos pods do GKE. Isso permite que o senhor use a medição de uso do GKE para atribuir custos a todos os recursos do Databricks compute .
Rótulo do GCE para cada VM e seus discos persistentes: tags propagam para o rótulo no recurso do GCE, como a VM e seus discos persistentes. Isso permite que o senhor use a medição de uso do GCE para atribuir custos, o que é mais preciso do que o rótulo GKE para agregação dos custos do Google cloud para todos os Databricks compute recursos. A chave e os valores do tagsão transformados para se adequarem aos limites de formato do rótulo do GCE.

Como o tags se propaga para o clusters criado a partir do pool

As tags se propagam para as instâncias de nós de forma diferente, dependendo do fato de um cluster ter sido criado ou não a partir de um pool.

Se um cluster não for criado a partir de um pool, suas tags se propagarão como esperado para as instâncias de nó.
Se um cluster for criado a partir de um pool, suas instâncias herdarão tanto o pool tags quanto a tag de cluster. O pool's tags é usado diretamente para os dados de uso da VM somente para as VMs paradas.
Se houver um conflito de nome tag, Databricks default tags terá precedência sobre tags personalizado, e pool tags terá precedência sobre Cluster Tag.

Limitações

A chave e os valores da tag só podem conter letras, espaços, números ou os caracteres +, -, =, ., _, :, /, @. As tags que contêm outros caracteres são inválidas.
Se o senhor alterar os nomes ou valores das chaves do site tag, essas alterações serão aplicadas somente após a reinicialização do site cluster ou a expansão do site pool.
O número máximo personalizado de tags que pode se propagar para o rótulo GCE é 54.
O comprimento máximo da chave e dos valores do rótulo GCE é de 63 caracteres.
A propagação do rótulo pode ser atrasada devido aos limites de taxa da GCE API para o projeto. O senhor pode resolver esse problema aumentando os limites de taxa do GCE API para o projeto Google cloud.

Práticas recomendadas de marcação

Como as tags podem ser inseridas manualmente, sua organização deve padronizar seu par key-value. Databricks recomenda o desenvolvimento de uma política comercial para key e a nomeação de valores que o senhor possa compartilhar com todos os usuários.
Todos os recursos devem ser marcados com uma chave geral que atribua o uso a uma unidade de negócios ou projeto. Por exemplo, um recurso do Job compute criado pela equipe financeira para seu orçamento anual pode incluir as tags business-unit:finance e project:annual-budget.
Para percepções mais granulares, atribua tags usando uma chave de alta especificidade. Por exemplo, o senhor pode criar chaves com base em funções, produto, serviço ou clientes.
Quando aplicável, os administradores do workspace devem aplicar as tags usando as políticas do compute e as políticas de orçamento. Consulte Aplicação de tags personalizadas.

Limites do rótulo GCE

O rótulo GKE pode usar diretamente a chave e os valores do Databricks tag .

Para o rótulo GCE, há limitações:

A chave e os valores devem consistir apenas em letras minúsculas, caracteres numéricos, sublinhado e traços.
O comprimento máximo da chave e dos valores do rótulo GCE é de 63 caracteres.
O número máximo de tags que pode se propagar para o rótulo GCE é 54.

Para estar em conformidade com as regras de formato do GCE, tags é transformado antes de se tornar a chave e os valores do rótulo do GCE. Se houver duplicatas após as transformações, o par de chave e valores que aparecem mais tarde (mais abaixo) nas definições do site tag são os que persistem.

A tabela a seguir compara o GKE e o GCE default Cluster Tag.

GKE rótulo key	Valor do rótulo GKE	Rótulo GCE key	Valor do rótulo GCE
`Vendor`	`Databricks`	`vendor`	`databricks`
`ClusterId`	ID da Databricks	`clusterId`	ID da Databricks
`ClusterName`	Nome definido pelo cliente	`clustername`	Nome definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, `My Cluster` se torna `mycluster`.
`Creator`	Endereço do usuário criador email com `@` substituído por `_at_`. Por exemplo, `user123_at_databricks.com`.	`creator`	Endereço do usuário criador email com `@` substituído por `_at_`. As letras são minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, `X+Y@databricks.com` se torna `xy_at_databricks.com`.

A tabela a seguir compara o GKE e o GCE default instance pool tags:

GKE rótulo key	Valor do rótulo GKE	Rótulo GCE key	Valor do rótulo GCE
`DatabricksInstancePoolId`	ID da Databricks	`databricksinstancepoolid`	ID da Databricks
`DatabricksInstancePoolCreatorId`	ID da Databricks	`databricksinstancepoolcreatorid`	ID da Databricks

A tabela a seguir compara o GKE e o GCE para todas as outras tags (tags personalizadas):

GKE rótulo key	Valor do rótulo GKE	Rótulo GCE key	Valor do rótulo GCE
Definido pelo cliente key	Valor definido pelo cliente	Definido pelo cliente key em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, `My Key` se torna `mykey`.	Valor definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, `My.Val` se torna `myval`.