タグを使用して使用状況を監視する

コストを監視し、 Databricks 使用量を組織のビジネスユニットやチーム (チャージバックなど) に正確に帰属させるために、カスタムタグをワークスペースとコンピュートリソースに追加できます。 Databricks では、使用状況データを表示するために システムテーブル (パブリック プレビュー) を使用することをお勧めします。 「課金利用 システムテーブル リファレンス」を参照してください。: タグ データはグローバルにレプリケートできます。 そのため、リソースのセキュリティを損なう可能性のあるタグ名や値は使用しないでください。 たとえば、個人情報や機密情報を含むタグ名は使用しないでください。

アカウント コンソールのDatabricks課金利用グラフでは、個々のタグごとに使用状況を集計できます。 同じページからダウンロードした課金利用CSVレポートには、デフォルトとカスタムタグも含まれます。 タグはGKE および GCE ラベルにも伝播します

タグ付けされたオブジェクトとリソース

Databricks によって管理される次のオブジェクトにカスタム タグを追加できます。

オブジェクト

タグ付けインターフェース(UI)

タグ付けインターフェース (API)

プール

Databricks ワークスペースのプール UI

インスタンスプール API

All-purposeとジョブコンピュート

Databricks ワークスペースのコンピュート UI

クラスター API

SQLウェアハウス

Databricks ワークスペースの SQL ウェアハウス UI

ウェアハウスAPI

警告

キーNameを持つカスタム タグをクラスターに割り当てないでください。 すべてのクラスターにはタグNameがあり、その値は Databricks によって設定されます。 キーNameに関連付けられた値を変更すると、クラスターは Databricks によって追跡できなくなります。 その結果、クラスターはアイドル状態になった後も終了されず、使用コストが発生し続ける可能性があります。

デフォルトタグ

Databricks 、汎用コンピュートに次の デフォルト タグを追加します。

タグキー

Vendor

定数値: Databricks

ClusterId

クラスターの Databricks 内部 ID

ClusterName

クラスターの名前

Creator

クラスターを作成したユーザーのユーザー名(Eメールアドレス)

ジョブ クラスターでは、 Databricks次の デフォルト タグも適用されます。

タグキー

RunName

ジョブ名

JobId

ジョブID

Databricks は、すべてのプールに次のデフォルト タグを追加します。

タグキー

Vendor

定数値: Databricks

DatabricksInstancePoolCreatorId

プールを作成したユーザーの Databricks 内部 ID

DatabricksInstancePoolId

プールの Databricks 内部 ID

タグの伝播

クラスター タグとプール タグは、コストの集計に使用できる 3 つの異なる方法で伝播されます。

  • DBUレポート内のタグ: タグは課金利用システムログおよびダウンロードされたレポートのDBU使用状況レポートに伝播されます。

  • 各ポッドの GKE (Kubernetes) ラベル: タグは GKE ポッドのラベルに伝播されます。 これにより、 GKE 使用状況測定を使用して、すべてのDatabricksコンピュートリソースのコストを分類できるようになります。

  • 各 VM とその永続ディスクの GCE ラベル: タグは、VM とその永続ディスクなどの GCE リソースのラベルに伝播されます。 これにより、GCE 使用状況測定を使用してコストを分類できるようになります。これは、すべてのDatabricksコンピュートリソースの Google Cloud コストを集計する場合、GKE ラベルよりも正確です。 タグのキーと値は、GCE ラベル形式の制限に準拠するように変換されます

プールから作成されたクラスターのタグの伝播方法

クラスターがプールから作成されたかどうかに応じて、タグはノード インスタンスに異なる方法で伝播されます。

  • クラスターがプールから作成されていない場合、そのタグは期待どおりにノード インスタンスに伝播されます。

  • クラスターがプールから作成される場合、そのインスタンスはプール タグとクラスタータグの両方を継承します。 プールのタグは、アイドル状態の VM の VM 使用状況データにのみ直接使用されます。

  • タグ名が競合する場合は、 Databricksデフォルト タグがカスタム タグよりも優先され、プール タグがクラスタータグよりも優先されます。

クラスターとプールのタグの伝播

制限事項

  • タグのキーと値には、文字、スペース、数字、または文字 +-=._:/@のみを含めることができます。 他の文字を含むタグは無効です。

  • タグ キーの名前または値を変更した場合、これらの変更はクラスターの再起動またはプールの拡張後にのみ適用されます。

  • GCE ラベルに伝播できるカスタム タグの最大数は 54 です。

  • GCE ラベルのキーと値の最大長は 63 文字です。

  • プロジェクトの GCE API レート制限により、ラベルの伝播が遅れる場合があります。 この問題は、Google Cloud プロジェクトの GCE APIレート制限を増やすことで解決できます。

ポリシーによるタグの適用

コンピュート ポリシーを使用して、クラスターにタグを適用できます。 詳細については、 「カスタム タグの適用」を参照してください。

GCE ラベルの制限

GKE ラベルは、Databricks タグのキーと値を直接使用できます。

GCE ラベルには制限があります。

  • キーと値は、小文字、数字、アンダースコア、ダッシュのみで構成する必要があります。

  • GCE ラベルのキーと値の最大長は 63 文字です。

  • GCE ラベルに伝播できるタグの最大数は 54 です。

GCE 形式のルールに準拠するために、タグは GCE ラベルのキーと値になる前に変換されます。 変換後に重複がある場合、タグ定義内で後から(下位に)表示されるキーと値のペアが保持されます。

次の表は、GKE と GCE デフォルト クラスタータグを比較したものです。

GKE ラベル キー

GKE ラベル値

GCE ラベルキー

GCE ラベル値

Vendor

Databricks

vendor

databricks

ClusterId

Databricks ID

clusterId

Databricks ID

ClusterName

顧客定義名

clustername

小文字の顧客定義名。 文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。 たとえば、 My Clustermyclusterになります。

Creator

作成者ユーザーのEメールアドレス@_at_に置き換えられました。 たとえば、 user123_at_databricks.com.

creator

作成者ユーザーのEメールアドレス@_at_に置き換えられました。 文字は小文字です。 文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。 たとえば、 X+Y@databricks.comxy_at_databricks.comになります。

次の表は、GKE と GCE のデフォルトのインスタンス プール タグを比較したものです。

GKE ラベル キー

GKE ラベル値

GCE ラベルキー

GCE ラベル値

DatabricksInstancePoolId

Databricks ID

databricksinstancepoolid

Databricks ID

DatabricksInstancePoolCreatorId

Databricks ID

databricksinstancepoolcreatorid

Databricks ID

次の表は、その他すべてのタグ (カスタム タグ) について GKE と GCE を比較したものです。

GKE ラベル キー

GKE ラベル値

GCE ラベルキー

GCE ラベル値

顧客定義キー

顧客定義の値

小文字の顧客定義キー。 文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。 たとえば、 My Keymykeyになります。

顧客が定義した小文字の値。 文字が文字、数字、アンダースコア、ダッシュでない場合は削除されます。 たとえば、 My.Valmyvalになります。