タグを使用して使用状況を監視する

コストを監視し、 Databricks 使用量を組織のビジネスユニットやチーム (チャージバックなど) に正確に帰属させるために、カスタムタグをワークスペースとコンピュートリソースに追加できます。 Databricks では、使用状況データを表示するためにシステムテーブル (パブリックプレビュー) を使用することをお勧めします。「課金利用システムテーブルリファレンス」を参照してください。注: タグデータはグローバルにレプリケートできます。そのため、リソースのセキュリティを損なう可能性のあるタグ名や値は使用しないでください。たとえば、個人情報や機密情報を含むタグ名は使用しないでください。

アカウントコンソールのDatabricks課金利用グラフでは、個々のタグごとに使用状況を集計できます。同じページからダウンロードした課金利用CSVレポートには、デフォルトとカスタムタグも含まれます。タグはGKE および GCE ラベルにも伝播します。

タグ付けされたオブジェクトとリソース

Databricks によって管理される次のオブジェクトにカスタムタグを追加できます。

オブジェクト	タグ付けインターフェース（UI）	タグ付けインターフェース (API)
プール	Databricks ワークスペースのプール UI	インスタンスプール API
All-purposeとジョブコンピュート	Databricks ワークスペースのコンピュート UI	クラスター API
SQLウェアハウス	Databricks ワークスペースの SQL ウェアハウス UI	ウェアハウスAPI

警告

キーNameを持つカスタムタグをクラスターに割り当てないでください。すべてのクラスターにはタグNameがあり、その値は Databricks によって設定されます。キーNameに関連付けられた値を変更すると、クラスターは Databricks によって追跡できなくなります。その結果、クラスターはアイドル状態になった後も終了されず、使用コストが発生し続ける可能性があります。

デフォルトタグ

Databricks 、汎用コンピュートに次のデフォルトタグを追加します。

タグキー	値
`Vendor`	定数値: `Databricks`
`ClusterId`	クラスターの Databricks 内部 ID
`ClusterName`	クラスターの名前
`Creator`	クラスターを作成したユーザーのユーザー名（Eメールアドレス）

ジョブクラスターでは、 Databricks次のデフォルトタグも適用されます。

タグキー	値
`RunName`	ジョブ名
`JobId`	ジョブID

Databricks は、すべてのプールに次のデフォルトタグを追加します。

タグキー	値
`Vendor`	定数値: `Databricks`
`DatabricksInstancePoolCreatorId`	プールを作成したユーザーの Databricks 内部 ID
`DatabricksInstancePoolId`	プールの Databricks 内部 ID

タグの伝播

クラスタータグとプールタグは、コストの集計に使用できる 3 つの異なる方法で伝播されます。

DBUレポート内のタグ: タグは課金利用システムログおよびダウンロードされたレポートのDBU使用状況レポートに伝播されます。
各ポッドの GKE (Kubernetes) ラベル: タグは GKE ポッドのラベルに伝播されます。これにより、 GKE 使用状況測定を使用して、すべてのDatabricksコンピュートリソースのコストを分類できるようになります。
各 VM とその永続ディスクの GCE ラベル: タグは、VM とその永続ディスクなどの GCE リソースのラベルに伝播されます。これにより、GCE 使用状況測定を使用してコストを分類できるようになります。これは、すべてのDatabricksコンピュートリソースの Google Cloud コストを集計する場合、GKE ラベルよりも正確です。タグのキーと値は、GCE ラベル形式の制限に準拠するように変換されます。

プールから作成されたクラスターのタグの伝播方法

クラスターがプールから作成されたかどうかに応じて、タグはノードインスタンスに異なる方法で伝播されます。

クラスターがプールから作成されていない場合、そのタグは期待どおりにノードインスタンスに伝播されます。
クラスターがプールから作成される場合、そのインスタンスはプールタグとクラスタータグの両方を継承します。プールのタグは、アイドル状態の VM の VM 使用状況データにのみ直接使用されます。
タグ名が競合する場合は、 Databricksデフォルトタグがカスタムタグよりも優先され、プールタグがクラスタータグよりも優先されます。

制限事項

タグのキーと値には、文字、スペース、数字、または文字 +、 -、 =、 .、 _、 :、 /、 @のみを含めることができます。他の文字を含むタグは無効です。
タグキーの名前または値を変更した場合、これらの変更はクラスターの再起動またはプールの拡張後にのみ適用されます。
GCE ラベルに伝播できるカスタムタグの最大数は 54 です。
GCE ラベルのキーと値の最大長は 63 文字です。
プロジェクトの GCE API レート制限により、ラベルの伝播が遅れる場合があります。この問題は、Google Cloud プロジェクトの GCE APIレート制限を増やすことで解決できます。

タグ付けのベストプラクティス

タグは手動で入力できるため、組織ではキーと値のペアを標準化する必要があります。 Databricks では、すべてのユーザーと共有できるキーと値の命名に関するビジネスポリシーを作成することをお勧めします。
すべてのリソースには、使用量をビジネスユニットまたはプロジェクトに帰属させる一般的なキーでタグ付けする必要があります。たとえば、財務チームが年間予算用に作成したジョブコンピュートリソースには、 business-unit:finance タグと project:annual-budgetタグが含まれる場合があります。
より詳細な知見を得るには、特異性の高いキーを使用してタグを割り当てます。たとえば、ロール、製品、サービス、または顧客に基づいてキーを作成できます。
該当する場合、ワークスペース管理者は、コンピュートポリシーと予算ポリシーを使用してタグを適用する必要があります。カスタムタグの適用をご覧ください。

GCE ラベルの制限

GKE ラベルは、Databricks タグのキーと値を直接使用できます。

GCE ラベルには制限があります。

キーと値は、小文字、数字、アンダースコア、ダッシュのみで構成する必要があります。
GCE ラベルのキーと値の最大長は 63 文字です。
GCE ラベルに伝播できるタグの最大数は 54 です。

GCE 形式のルールに準拠するために、タグは GCE ラベルのキーと値になる前に変換されます。変換後に重複がある場合、タグ定義内で後から（下位に）表示されるキーと値のペアが保持されます。

次の表は、GKE と GCE デフォルトクラスタータグを比較したものです。

GKE ラベルキー	GKE ラベル値	GCE ラベルキー	GCE ラベル値
`Vendor`	`Databricks`	`vendor`	`databricks`
`ClusterId`	Databricks ID	`clusterId`	Databricks ID
`ClusterName`	顧客定義名	`clustername`	小文字の顧客定義名。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `My Cluster` は `mycluster`になります。
`Creator`	作成者ユーザーのEメールアドレス`@`が`_at_`に置き換えられました。たとえば、 `user123_at_databricks.com`.	`creator`	作成者ユーザーのEメールアドレス`@`が`_at_`に置き換えられました。文字は小文字です。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `X+Y@databricks.com` は `xy_at_databricks.com`になります。

次の表は、GKE と GCE のデフォルトのインスタンスプールタグを比較したものです。

GKE ラベルキー	GKE ラベル値	GCE ラベルキー	GCE ラベル値
`DatabricksInstancePoolId`	Databricks ID	`databricksinstancepoolid`	Databricks ID
`DatabricksInstancePoolCreatorId`	Databricks ID	`databricksinstancepoolcreatorid`	Databricks ID

次の表は、その他すべてのタグ (カスタムタグ) について GKE と GCE を比較したものです。

GKE ラベルキー	GKE ラベル値	GCE ラベルキー	GCE ラベル値
顧客定義キー	顧客定義の値	小文字の顧客定義キー。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `My Key` は `mykey`になります。	顧客が定義した小文字の値。文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。たとえば、 `My.Val` は `myval`になります。