サーバーレスコンピュートのコストを監視する
プレビュー
ノートブックとジョブのサーバーレス コンピュートはプライベート プレビュー中です。 資格と有効化に関する情報については、 「サーバレス コンピュートを有効にする」を参照してください。
この記事では、課金利用 システムテーブルを使用して、サーバレス コンピュートの利用コストを監視する方法について説明します。
サーバーレス コンピュートのコストに関連するユーザーとワークロードの属性を含む課金利用システム テーブル ( system.billing.usage
) をクエリすることで、ノートブックとジョブのサーバーレス コンピュートの使用状況を監視できます。 適用可能なフィールドは次のとおりです。
identity_metadata
列にはrun_as
フィールドが含まれており、ワークロードの実行に資格情報が使用されたユーザーまたは サービスプリンシパル が表示されます。usage_metadata
列には、ワークロードを説明するフィールド (job_run_id
、job_name
、notebook_id
、notebook_path
) があります。
サーバーレス使用記録に関する考慮事項
サーバーレスの使用状況を分析するときは、次の点を考慮してください。
特定の時間に、特定のサーバレス コンピュート ワークロードに関連付けられた複数のレコードが表示される場合があります。 たとえば、同じ
job_id
、job_run_id
、またはジョブの複数のレコードがあり、それぞれに異なる DBU 消費量の値がある場合があります。 これらの DBU の合計は、特定のジョブ実行の時間単位の DBU 消費量をまとめて表します。
予算を使用して支出を監視する
アカウント管理者は予算を設定してコストをグループ化し、アラートを設定できます。 「予算を使用してアカウントの支出を監視する」を参照してください。
UIでジョブまたはノートブックを検索する
請求レコードに基づいて UI でジョブまたはノートブックを検索するには、使用状況レコードから usage_metadata.job_id
または usage_metadata.notebook_id
の値をコピーします。 これらの ID は不変であり、ジョブ名やノートブックのパスが変更されても使用できます。
job_id
に基づいてUIでジョブを検索するには:
使用状況レコードから
job_id
をコピーします。 この例では、ID が700809544510906
であると仮定します。ジョブと同じ Databricks ワークスペースの ワークフロー UI に移動します。
[自分が所有するジョブのみ] フィルターがオフになっていることを確認します。
ID (700809544510906) を [フィルター ジョブ ] 検索バーに貼り付けます。
notebook_id
に基づいて UI でノートブックを検索するには、次の手順を使用します。
使用状況レコードから
notebook_id
をコピーします。 この例では、ID が700809544510906
であると仮定します。ノートブックと同じ Databricksワークスペースの ワークスペース UIに移動します。
リスト内の任意のノートブックをクリックします。
ノートブックを開いたら、ブラウザーのアドレス バーで URL を確認します。
https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>
のように見えるはずです。ブラウザのアドレスバーで、ノートブック ID を最初のステップでコピーした ID に置き換えてから、ノートブック ID の後ろのすべてを削除します。
https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906
のように見えるはずです。ノートブックを開いた後、[ 共有 ] ボタンをクリックしてノートブックの所有者を表示できます。
アラートを使用してサーバーレスの支出を追跡する
アラートは、サーバーレスの支出について常に情報を得るための強力な方法です。 アラートを使用すると、クエリ結果で特定の条件が満たされたときに通知を受け取ることができます。 アラートを作成する方法については、 「アラートを作成する」を参照してください。
次のクエリにアラートを追加して予算を監視できます。 各クエリで、 {budget}
を選択した予算に置き換えます。
過去 30 日間のワークスペースの支出がしきい値を超えた場合にアラートを通知します
このクエリが行を返すたびにアラートをトリガーするように設定できます。 {budget}
選択した予算に置き換えてください。
SELECT
t1.workspace_id,
SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
t1.cloud = list_prices.cloud and
t1.sku_name = list_prices.sku_name and
t1.usage_start_time >= list_prices.price_start_time and
(t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
t1.sku_name LIKE '%SERVERLESS%'
AND billing_origin_product IN ("JOBS", "INTERACTIVE")
AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
t1.workspace_id
HAVING
list_cost > {budget}
ユーザーが過去 30 日間にしきい値を超えた場合に通知します
このクエリが行を返すたびにアラートをトリガーするように設定できます。 {budget}
選択した予算に置き換えてください。
SELECT
t1.identity_metadata.run_as,
SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
t1.cloud = list_prices.cloud and
t1.sku_name = list_prices.sku_name and
t1.usage_start_time >= list_prices.price_start_time and
(t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
t1.sku_name LIKE '%SERVERLESS%'
AND billing_origin_product IN ("JOBS", "INTERACTIVE")
AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
t1.identity_metadata.run_as
HAVING
list_cost > {budget}
過去 30 日間にジョブがしきい値を超えた場合に通知します
このクエリが行を返すたびにアラートをトリガーするように設定できます。 {budget}
選択した予算に置き換えてください。
SELECT
t1.workspace_id,
t1.usage_metadata.job_id,
SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
t1.cloud = list_prices.cloud and
t1.sku_name = list_prices.sku_name and
t1.usage_start_time >= list_prices.price_start_time and
(t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
t1.sku_name LIKE '%SERVERLESS%'
AND billing_origin_product IN ("JOBS")
AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
t1.workspace_id, t1.usage_metadata.job_id,
HAVING
list_cost > {budget}
サンプル クエリ
次のクエリを使用して、アカウント内のサーバーレスの使用状況を把握します。
高価なサーバレスコンピュートを特定する
このクエリは、 DBU消費量の降順で、データベースと各データベースが消費した DBU 数のリストを返します。
SELECT
usage_metadata.notebook_id,
SUM(usage_quantity) as total_dbu
FROM
system.billing.usage
WHERE
usage_metadata.notebook_id is not null
and billing_origin_product = 'INTERACTIVE'
and product_features.is_serverless
and usage_unit = 'DBU'
and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
1
ORDER BY
total_dbu DESC
高価なサーバーレスコンピュートジョブを特定する
このクエリは、ジョブのリストと、各ジョブが消費した DBU の数を、 DBU消費量の降順で返します。
SELECT
usage_metadata.job_id,
SUM(usage_quantity) as total_dbu
FROM
system.billing.usage
WHERE
usage_metadata.job_id is not null
and billing_origin_product = 'JOBS'
and product_features.is_serverless
and usage_unit = 'DBU'
and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
1
ORDER BY
total_dbu DESC
特定のユーザーが消費した DBU に関するレポート
このクエリは、特定のユーザーまたはサービスプリンシパルによって serverless コンピュート 実行 を使用するワークロードとジョブのリストと、各ワークロードで消費された DBU の数を返します。
SELECT
usage_metadata.job_id,
usage_metadata.notebook_id,
SUM(usage_quantity) as total_dbu
FROM
system.billing.usage
WHERE
identity_metadata.run_as = '<emailaddress@domain.com>'
and billing_origin_product in ('JOBS','INTERACTIVE')
and product_features.is_serverless
and usage_unit = 'DBU'
and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
1,2
ORDER BY
total_dbu DESC