タグを使用して使用状況を監視する

コストを監視し、Databricks の使用状況を組織のビジネスユニットやチームに正確に割り当てる (チャージバックなど) ために、ワークスペースとコンピュートリソースにカスタムタグを追加できます。 Databricks では、システムテーブル (パブリックプレビュー) を使用して使用状況データを表示することをお勧めします。料金利用システムテーブルリファレンスを参照してください。

アカウントコンソールの Databricks 課金利用グラフでは、個々のタグごとに使用状況を集計できます。同じページからダウンロードされた課金利用CSVレポートには、デフォルトタグとカスタムタグも含まれます。タグは GKE ラベルと GCE ラベルにも反映されます。

タグ付けされたオブジェクトとリソース

Databricks によって管理される次のオブジェクトにカスタムタグを追加できます。

オブジェクト	タグ付けインターフェイス (UI)	タグ付けインターフェイス (API)
プール	Databricks ワークスペースのプール UI	インスタンスプール API
万能・ジョブコンピュート	Databricks ワークスペースのコンピュート UI	クラスター API
SQLウェアハウス	Databricks ワークスペースの SQLwarehouse UI	ウェアハウスAPI

警告

キー Name を持つカスタムタグをクラスターに割り当てないでください。すべてのクラスターには、値が Databricks によって設定されるタグ Name があります。キー Nameに関連付けられている値を変更すると、クラスターは Databricks で追跡できなくなります。その結果、アイドル状態になった後にクラスターが終了せず、引き続き使用コストが発生します。

デフォルトのタグ

Databricks は、次のデフォルトタグを汎用コンピュートに追加します。

タグキー	値
`Vendor`	定数値: `Databricks`
`ClusterId`	クラスターの内部 ID Databricks
`ClusterName`	クラスターの名前
`Creator`	クラスターを作成したユーザーのユーザー名 (Eメールアドレス)

ジョブクラスターでは、Databricks は次の既定のタグも適用します。

タグキー	値
`RunName`	ジョブ名
`JobId`	ジョブ ID

Databricks は、次のデフォルトタグをすべてのプールに追加します。

タグキー	値
`Vendor`	定数値: `Databricks`
`DatabricksInstancePoolCreatorId`	プールを作成したユーザーの内部 ID Databricks
`DatabricksInstancePoolId`	プールの内部 ID Databricks

タグの伝播

クラスターとプールのタグは、コストの集計に使用できる 3 つの異なる方法で伝達されます。

DBU レポートのタグ: タグは、ダウンロードされたレポートの課金利用システムテーブルログおよびDBU 使用状況レポートに伝播されます。
各ポッドの GKE(Kubernetes)ラベル: タグは GKE ポッドのラベルに反映されます。これにより、 GKE 使用量計測を使用して、すべての Databricks コンピュートリソースのコストをアトリビューションできます。
各 VM とその永続ディスクの GCE ラベル: タグは、VM とその永続ディスクなどの GCE リソースのラベルに反映されます。これにより、 GCE 使用量計測を使用してコストをアトリビューションできるため、すべての Databricks コンピュートリソースの Google クラウドコストを集計するための GKE ラベルよりも正確です。タグのキーと値は、 GCE ラベル形式の制限に準拠するように変換されます。

プールから作成されたクラスターのタグの伝達方法

タグは、クラスターがプールから作成されたかどうかに応じて、異なる方法でノードインスタンスに伝達されます。

クラスターがプールから作成されていない場合、そのタグは期待どおりにノードインスタンスに伝達されます。
クラスターがプールから作成された場合、そのインスタンスはプールタグとクラスタータグの両方を継承します。プールのタグは、アイドル状態の VM の使用状況データにのみ直接使用されます。
タグ名の競合がある場合は、Databricks デフォルトタグがカスタムタグよりも優先され、プールタグがクラスタータグよりも優先されます。

制限

タグのキーと値には、ISO 8859-1 (latin1) セットの文字のみを含めることができます。他の文字を含むタグは無視されます。
タグキーの名前または値を変更した場合、これらの変更はクラスターの再起動またはプールの拡張後にのみ適用されます。
GCE ラベルに伝達できるタグのカスタムの最大数は 54 です。
GCE ラベルのキーと値の最大長は 63 文字です。
ラベルの伝達は、プロジェクトの GCE API レート制限により遅延する可能性があります。これを解決するには、Google クラウドプロジェクトの GCE API レート制限を増やします。

ポリシーによるタグの適用

コンピュートポリシーを使用して、クラスターにタグを適用できます。詳細については、「カスタムタグの適用」を参照してください。

GCE ラベルの制限

GKE ラベルでは、Databricks タグのキーと値を直接使用できます。

GCE ラベルには制限があります。

キーと値は、小文字、数字、アンダースコア、ダッシュのみで構成する必要があります。
GCE ラベルのキーと値の最大長は 63 文字です。
GCE ラベルに伝達できるタグの最大数は 54 です。

GCE 形式のルールに準拠するために、タグは GCE ラベルのキーと値になる前に変換されます。変換後に重複がある場合、タグ定義で後(下)に表示されるキーと値のペアが保持されます。

次の表は、GKE と GCE のデフォルトのクラスタータグを比較したものです。

GKE ラベルキー	GKE ラベル値	GCE ラベルキー	GCE ラベル値
`Vendor`	`Databricks`	`vendor`	`databricks`
`ClusterId`	Databricks ID	`clusterId`	Databricks ID
`ClusterName`	顧客定義名	`clustername`	小文字の顧客定義名。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `My Cluster` は `mycluster`になります。
`Creator`	CreatorユーザーのEメールアドレス`@_at_`に置き換えました。たとえば、 `user123_at_databricks.com`.	`creator`	CreatorユーザーのEメールアドレス`@_at_`に置き換えました。文字は小文字です。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `X+Y@databricks.com` は `xy_at_databricks.com`になります。

次の表は、GKE と GCE のデフォルトのインスタンスプールタグを比較したものです。

GKE ラベルキー	GKE ラベル値	GCE ラベルキー	GCE ラベル値
`DatabricksInstancePoolId`	Databricks ID	`databricksinstancepoolid`	Databricks ID
`DatabricksInstancePoolCreatorId`	Databricks ID	`databricksinstancepoolcreatorid`	Databricks ID

次の表は、他のすべてのタグ(カスタムタグ)の GKE と GCE を比較したものです。

GKE ラベルキー	GKE ラベル値	GCE ラベルキー	GCE ラベル値
顧客定義キー	顧客定義値	小文字の顧客定義キー。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `My Key` は `mykey`になります。	顧客定義の値を小文字で指定します。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `My.Val` は `myval`になります。