Monitorar o uso usando tags
Para monitorar o custo e atribuir com precisão o uso do Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), o senhor pode adicionar o tags personalizado ao espaço de trabalho e ao recurso compute. Databricks recomenda o uso de tabelas de sistema (Public Preview) para view dados de uso. Consulte a referência da tabela do sistema de uso faturável. Observação: os dados da tag podem ser replicados globalmente. Portanto, não use tag nomes ou valores que possam comprometer a segurança do seu recurso. Por exemplo, não use nomes tag que contenham informações pessoais ou confidenciais.
O gráfico de Databricks uso faturável no account console pode agregar o uso por indivíduo tags. Os downloads dos relatórios de uso faturável CSV da mesma página também incluem default e tags personalizado. tags também se propagam para o rótulo GKE e GCE.
tags objects e recurso
O senhor pode adicionar o tags personalizado para os seguintes objetos gerenciados pelo Databricks:
Objeto |
interface de tags (UI) |
interface de tags (API) |
---|---|---|
Pool |
UI do pool no site Databricks workspace |
|
Para todos os fins e Job compute |
compute UI no site Databricks workspace |
|
Armazém SQL |
SQL warehouse UI no site Databricks workspace |
Aviso
Não atribua um tag personalizado com o key Name
a um cluster. Cada cluster tem uma tag Name
cujo valor é definido pela Databricks. Se o senhor alterar o valor associado ao key Name
, o cluster não poderá mais ser rastreado pelo Databricks. Como consequência, o cluster pode não ser encerrado depois de se tornar parado e continuará a incorrer em custos de uso.
Tags padrão
Databricks adiciona o seguinte default tags para todos os fins compute:
tag key |
Valor |
---|---|
|
Valor constante: |
|
ID interna de Databricks do cluster |
|
Nome do cluster |
|
Nome de usuário (endereçoemail ) do usuário que criou o cluster |
Em Job clusters, Databricks também se aplica o seguinte default tags:
tag key |
Valor |
---|---|
|
Nome do Job |
|
ID do Job |
Databricks adiciona o seguinte default tags a todo o pool:
tag key |
Valor |
---|---|
|
Valor constante: |
|
ID interno do Databricks do usuário que criou o pool |
|
ID interna do pool do Databricks |
Propagação de tags
As tags de cluster e pool se propagam de três maneiras diferentes que o senhor pode usar para agregar custos:
tags nos relatórios DBU : tags propagam para a tabela do sistema de uso faturável logs e DBU relatórios de uso nos relatórios de downloads.
Rótulo do GKE (Kubernetes) para cada pod: tags propaga para o rótulo nos pods do GKE. Isso permite que o senhor use a medição de uso do GKE para atribuir custos a todos os recursos do Databricks compute .
Rótulo do GCE para cada VM e seus discos persistentes: tags propagam para o rótulo no recurso do GCE, como a VM e seus discos persistentes. Isso permite que o senhor use a medição de uso do GCE para atribuir custos, o que é mais preciso do que o rótulo GKE para agregação dos custos do Google cloud para todos os Databricks compute recursos. A chave e os valores do tagsão transformados para se adequarem aos limites de formato do rótulo do GCE.
Como o tags se propaga para o clusters criado a partir do pool
As tags se propagam para as instâncias de nós de forma diferente, dependendo do fato de um cluster ter sido criado ou não a partir de um pool.
Se um cluster não for criado a partir de um pool, suas tags se propagarão como esperado para as instâncias de nó.
Se um cluster for criado a partir de um pool, suas instâncias herdarão tanto o pool tags quanto a tag de cluster. O pool's tags é usado diretamente para os dados de uso da VM somente para as VMs paradas.
Se houver um conflito de nome tag, Databricks default tags terá precedência sobre tags personalizado, e pool tags terá precedência sobre Cluster Tag.
Limitações
A chave e os valores da tag só podem conter letras, espaços, números ou os caracteres
+
,-
,=
,.
,_
,:
,/
,@
. As tags que contêm outros caracteres são inválidas.Se o senhor alterar os nomes ou valores das chaves do site tag, essas alterações serão aplicadas somente após a reinicialização do site cluster ou a expansão do site pool.
O número máximo personalizado de tags que pode se propagar para o rótulo GCE é 54.
O comprimento máximo da chave e dos valores do rótulo GCE é de 63 caracteres.
A propagação do rótulo pode ser atrasada devido aos limites de taxa da GCE API para o projeto. O senhor pode resolver esse problema aumentando os limites de taxa do GCE API para o projeto Google cloud.
Aplicação de tags com políticas
O senhor pode impor tags em clusters usando políticas compute. Para obter mais informações, consulte a aplicação do Custom tag .
Limites do rótulo GCE
O rótulo GKE pode usar diretamente a chave e os valores do Databricks tag .
Para o rótulo GCE, há limitações:
A chave e os valores devem consistir apenas em letras minúsculas, caracteres numéricos, sublinhado e traços.
O comprimento máximo da chave e dos valores do rótulo GCE é de 63 caracteres.
O número máximo de tags que pode se propagar para o rótulo GCE é 54.
Para estar em conformidade com as regras de formato do GCE, tags é transformado antes de se tornar a chave e os valores do rótulo do GCE. Se houver duplicatas após as transformações, o par de chave e valores que aparecem mais tarde (mais abaixo) nas definições do site tag são os que persistem.
A tabela a seguir compara o GKE e o GCE default Cluster Tag.
GKE rótulo key |
Valor do rótulo GKE |
Rótulo GCE key |
Valor do rótulo GCE |
---|---|---|---|
|
|
|
|
|
ID da Databricks |
|
ID da Databricks |
|
Nome definido pelo cliente |
|
Nome definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, |
|
Endereço do usuário criador email com |
|
Endereço do usuário criador email com |
A tabela a seguir compara o GKE e o GCE default instance pool tags:
GKE rótulo key |
Valor do rótulo GKE |
Rótulo GCE key |
Valor do rótulo GCE |
---|---|---|---|
|
ID da Databricks |
|
ID da Databricks |
|
ID da Databricks |
|
ID da Databricks |
A tabela a seguir compara o GKE e o GCE para todas as outras tags (tags personalizadas):
GKE rótulo key |
Valor do rótulo GKE |
Rótulo GCE key |
Valor do rótulo GCE |
---|---|---|---|
Definido pelo cliente key |
Valor definido pelo cliente |
Definido pelo cliente key em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, |
Valor definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, |