ワークスペースの Google Cloud リソース割り当てを確認して設定する

Google Cloudでは、予期しない使用量の急増を防ぎ、Google Cloud ユーザーのコミュニティを保護するために、プロジェクトのリソース使用量に割り当て制限を適用しています。 Databricksワークスペースを作成するときは、Google Cloud プロジェクトを指定します。Databricks Databricksこのプロジェクトを使用して、クラスターの仮想マシン インスタンスなどの新しいリソースを作成します。

ワークスペースを作成する前に、ワークスペースでクラスターの実行に使用する予定の Google Cloud プロジェクトでDatabricksに必要な Google Cloud リソースの割り当てを確認してください。 クォータの引き上げを要求する必要がある場合があります。

すべてのプロジェクトに同じ初期クォータがあるわけではないことに注意してください。 初期割り当ては、Google Cloud アカウントの種類、Google Cloud アカウントの経過年数、その他の要因によって異なります。 Google Cloudの利用が増えると、アカウント内の初期プロジェクトまたは既存プロジェクトの割り当てもそれに応じて増加する可能性があります。 今後、使用量が大幅に増加することが予想される場合は、クォータの調整を事前に要求できます。

重要

Databricks が期待どおりに動作するには、プロジェクトのクォータを増やす必要がある場合があります。 たとえば、プロジェクトが CPU クォータを超えると、Databricks クラスターの起動は失敗します。

Databricksに必要な Google Cloud リソースの割り当て

必要な割り当ては、関連する Google API サービスごとにグループ化されます。 最小機能と大規模実行の推奨事項には異なる値があることに注意してください。 必須最小値列にデフォルトがあるセルの場合、Google Cloud デフォルトは初期使用およびテストに使用できます。

コンピュートエンジンAPI

コンピュートエンジンAPIの割り当て

必要最低限のもの

大規模な実行に推奨

フィールド名

CPUの

デフォルト

2400

compute.googleapis.com/cpus

ルート

デフォルト

300

compute.googleapis.com/routes

サブネットワーク

デフォルト

275

compute.googleapis.com/subnetworks

使用中の IP アドレス

デフォルト

500

compute.googleapis.com/regional_in_use_addresses

マネージドインスタンスグループ

デフォルト

500

compute.googleapis.com/instance_group_managers

インスタンス グループ

デフォルト

500

compute.googleapis.com/instance_groups

永続ディスク標準 (GB)

デフォルト

50 TB

compute.googleapis.com/cpus

N2 CPU (英語)

デフォルト

300

compute.googleapis.com/cpus

永続ディスク SSD (GB)

デフォルト

50 TB

compute.googleapis.com/disks_total_storage

ローカル SSD (GB)

デフォルト

50 TB

compute.googleapis.com/local_ssd_total_storage

Databricks SQLコンピュート エンジン の クォータAPI

必要な量の CPU とストレージ リソースがない場合、SQL ウェアハウスは起動しません。 必要に応じて、SQL ウェアハウスの使用をサポートするためにリソース クォータを増やすことができます。 「 クォータの確認と引き上げ」を参照してください。 ワークスペースのコストに関する情報については、ワークスペースあたりのコストを参照してください。

Databricks SQLコンピュート エンジン の クォータAPI

必要最低限のもの

大規模な実行に推奨

N2 CPU (英語)

100

500

永続ディスク SSD (GB)

5 TB

30 TBの

ローカル SSD (GB)

15 TBの

100 TB

クォータ

クラウド モニタリングAPI

クラウド モニタリングの割り当て

必要な最小クォータ

大規模に実行するための推奨クォータ

時系列インジェスト要求数/分

デフォルト

6000

アイデンティティとアクセス管理 (IAM) API

IAM のクォータ

必要な最小クォータ

大規模に実行するための推奨クォータ

サービスアカウント数

デフォルト

100

クォータを確認し、クォータの引き上げを要求する

  1. クラウド上でコンソールのクォータ ページに移動します。

  2. 上部のナビゲーションのプロジェクト ピッカーで、ワークスペースで使用する予定の Google Cloud プロジェクトを選択してクラスターを実行します。

    Marketplaceプレイスリストプロジェクトピッカー
  3. Databricksプロジェクトの割り当てごとに、Google Cloud リージョンの現在の割り当てを確認します。

    1. クォータごとに、クォータ名またはそのフィールド名をフィルタ フィールドに入力します。 ワークスペースをデプロイする Google Cloud リージョンの割り当ての行を見つけます。 フィルターエディターでは、リージョンフィルターを追加して、目的のリージョンのクォータのみを確認することができます。 たとえば、特定のリージョンの CPU クォータを検索できます。

      1 つのクォータでリージョンでフィルター処理
    2. クォータの引き上げをリクエストするには、クォータの左側にあるチェックボックスをクリックし、ページ上部にある [クォータの編集] という青いテキストをクリックします。 そのテキストが表示されない場合は、適切な権限またはアカウントの種類がない可能性があります。 Google サポートに連絡して、アカウントの割り当ての増加をリクエストする方法を問い合わせてください。

    3. 右側に表示されるパネルで、 Databricksが各割り当てに対して必要とする Google Cloud リソースの割り当てのガイダンスに従って、割り当て値を増やします。 設定した値、ユーザー アカウント、Google Cloud プロジェクトによっては、割り当てを増やすにはサービス プロバイダの承認が必要になる場合があります。 クォータの増加をリクエストする場合は、ワークスペースを作成する前に、各リクエストの電子メールによる確認を待つ必要があります。

      クォータの昇給を要求する
    4. Databricksに必要な Google Cloudリソースの割り当てすべてに対してこのプロセスを繰り返します。

    5. リクエストした割り当て量の増加を確認する電子メールを待ちます。

    重要

    割り当て量を変更した場合は、変更後または割り当て量の増加を電子メールで確認してから 15 分待ってからワークスペースを作成してください。

関連する Google ドキュメント記事: