Monitorar o uso usando tags

Para monitorar o custo e atribuir com precisão o uso do Databricks às unidades de negócios e equipes da sua organização (para estornos, por exemplo), o senhor pode adicionar o tags personalizado ao espaço de trabalho e ao recurso compute. Databricks recomenda o uso de tabelas de sistema (Public Preview) para view dados de uso. Consulte a referência da tabela do sistema de uso faturável. Observação: os dados da tag podem ser replicados globalmente. Portanto, não use tag nomes ou valores que possam comprometer a segurança do seu recurso. Por exemplo, não use nomes tag que contenham informações pessoais ou confidenciais.

O gráfico de Databricks uso faturável no account console pode agregar o uso por indivíduo tags. Os downloads dos relatórios de uso faturável CSV da mesma página também incluem default e tags personalizado. tags também se propagam para o rótulo GKE e GCE.

tags objects e recurso

O senhor pode adicionar o tags personalizado para os seguintes objetos gerenciados pelo Databricks:

Objeto

interface de tags (UI)

interface de tags (API)

Pool

UI do pool no site Databricks workspace

API do pool de instâncias

Para todos os fins e Job compute

compute UI no site Databricks workspace

API de clusters

Armazém SQL

SQL warehouse UI no site Databricks workspace

API de armazéns

Aviso

Não atribua um tag personalizado com o key Name a um cluster. Cada cluster tem uma tag Name cujo valor é definido pela Databricks. Se o senhor alterar o valor associado ao key Name, o cluster não poderá mais ser rastreado pelo Databricks. Como consequência, o cluster pode não ser encerrado depois de se tornar parado e continuará a incorrer em custos de uso.

Tags padrão

Databricks adiciona o seguinte default tags para todos os fins compute:

tag key

Valor

Vendor

Valor constante: Databricks

ClusterId

ID interna de Databricks do cluster

ClusterName

Nome do cluster

Creator

Nome de usuário (endereçoemail ) do usuário que criou o cluster

Em Job clusters, Databricks também se aplica o seguinte default tags:

tag key

Valor

RunName

Nome do Job

JobId

ID do Job

Databricks adiciona o seguinte default tags a todo o pool:

tag key

Valor

Vendor

Valor constante: Databricks

DatabricksInstancePoolCreatorId

ID interno do Databricks do usuário que criou o pool

DatabricksInstancePoolId

ID interna do pool do Databricks

Propagação de tags

As tags de cluster e pool se propagam de três maneiras diferentes que o senhor pode usar para agregar custos:

Como o tags se propaga para o clusters criado a partir do pool

As tags se propagam para as instâncias de nós de forma diferente, dependendo do fato de um cluster ter sido criado ou não a partir de um pool.

  • Se um cluster não for criado a partir de um pool, suas tags se propagarão como esperado para as instâncias de nó.

  • Se um cluster for criado a partir de um pool, suas instâncias herdarão tanto o pool tags quanto a tag de cluster. O pool's tags é usado diretamente para os dados de uso da VM somente para as VMs paradas.

  • Se houver um conflito de nome tag, Databricks default tags terá precedência sobre tags personalizado, e pool tags terá precedência sobre Cluster Tag.

cluster e pool tag propagação

Limitações

  • A chave e os valores da tag só podem conter letras, espaços, números ou os caracteres +, -, =, ., _, :, /, @. As tags que contêm outros caracteres são inválidas.

  • Se o senhor alterar os nomes ou valores das chaves do site tag, essas alterações serão aplicadas somente após a reinicialização do site cluster ou a expansão do site pool.

  • O número máximo personalizado de tags que pode se propagar para o rótulo GCE é 54.

  • O comprimento máximo da chave e dos valores do rótulo GCE é de 63 caracteres.

  • A propagação do rótulo pode ser atrasada devido aos limites de taxa da GCE API para o projeto. O senhor pode resolver esse problema aumentando os limites de taxa do GCE API para o projeto Google cloud.

Aplicação de tags com políticas

O senhor pode impor tags em clusters usando políticas compute. Para obter mais informações, consulte a aplicação do Custom tag .

Limites do rótulo GCE

O rótulo GKE pode usar diretamente a chave e os valores do Databricks tag .

Para o rótulo GCE, há limitações:

  • A chave e os valores devem consistir apenas em letras minúsculas, caracteres numéricos, sublinhado e traços.

  • O comprimento máximo da chave e dos valores do rótulo GCE é de 63 caracteres.

  • O número máximo de tags que pode se propagar para o rótulo GCE é 54.

Para estar em conformidade com as regras de formato do GCE, tags é transformado antes de se tornar a chave e os valores do rótulo do GCE. Se houver duplicatas após as transformações, o par de chave e valores que aparecem mais tarde (mais abaixo) nas definições do site tag são os que persistem.

A tabela a seguir compara o GKE e o GCE default Cluster Tag.

GKE rótulo key

Valor do rótulo GKE

Rótulo GCE key

Valor do rótulo GCE

Vendor

Databricks

vendor

databricks

ClusterId

ID da Databricks

clusterId

ID da Databricks

ClusterName

Nome definido pelo cliente

clustername

Nome definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, My Cluster se torna mycluster.

Creator

Endereço do usuário criador email com @ substituído por _at_. Por exemplo, user123_at_databricks.com.

creator

Endereço do usuário criador email com @ substituído por _at_. As letras são minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, X+Y@databricks.com se torna xy_at_databricks.com.

A tabela a seguir compara o GKE e o GCE default instance pool tags:

GKE rótulo key

Valor do rótulo GKE

Rótulo GCE key

Valor do rótulo GCE

DatabricksInstancePoolId

ID da Databricks

databricksinstancepoolid

ID da Databricks

DatabricksInstancePoolCreatorId

ID da Databricks

databricksinstancepoolcreatorid

ID da Databricks

A tabela a seguir compara o GKE e o GCE para todas as outras tags (tags personalizadas):

GKE rótulo key

Valor do rótulo GKE

Rótulo GCE key

Valor do rótulo GCE

Definido pelo cliente key

Valor definido pelo cliente

Definido pelo cliente key em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, My Key se torna mykey.

Valor definido pelo cliente em letras minúsculas. Os caracteres são removidos se não forem letras, números, sublinhados ou traços. Por exemplo, My.Val se torna myval.