ワークスペースの Google クラウドリソース割り当ての確認と設定

Google クラウドでは、プロジェクトのリソース使用量に割り当てを適用し、使用量の予期せぬ急増を防ぐことで Google クラウドユーザーのコミュニティを保護しています。 Databricks ワークスペースを作成するときは、Databricks がクラスターの仮想マシンインスタンスなどの新しいリソースを作成するために使用する Google クラウドプロジェクトを指定します。

ワークスペースを作成する前に、クラスターを実行するためにワークスペースで使用する予定の Google クラウドプロジェクトで Databricks が必要とする Google クラウドリソースクォータを確認します。クォータの引き上げを要求する必要がある場合があります。

すべてのプロジェクトに同じ初期クォータがあるわけではないことに注意してください。初期割り当ては、Google クラウドアカウントの種類、Google クラウドアカウントの経過時間、その他の要因によって異なります。 Google クラウドの使用が増えるにつれて、アカウントの初期プロジェクトまたは既存のプロジェクトの割り当てがそれに応じて増加する可能性があります。今後、使用量が大幅に増加することが予想される場合は、クォータの調整を事前に要求できます。

重要

Databricks が期待どおりに動作するように、プロジェクトのクォータを上げる必要がある場合があります。たとえば、プロジェクトが CPU クォータを超えると、Databricks クラスターの起動は失敗します。

Databricks が必要とする Google クラウドのリソースクォータ

必要な割り当ては、関連する Google API サービスごとにグループ化されます。最小機能と大規模実行の推奨事項には異なる値があることに注意してください。 [必要な最小値] 列に [デフォルト] があるセルの場合、初期使用とテストには Google クラウドのデフォルトを使用できます。

コンピュートエンジン API

コンピュートエンジン API のクォータ	必要最低限のもの	大規模な実行に推奨	フィールド名
CPUの	デフォルト	2400	compute.googleapis.com/cpus
ルート	デフォルト	300	compute.googleapis.com/routes
サブネットワーク	デフォルト	275	compute.googleapis.com/subnetworks
使用中の IP アドレス	デフォルト	500	compute.googleapis.com/regional_in_use_addresses
管理対象インスタンス・グループ	デフォルト	500	compute.googleapis.com/instance_group_managers
インスタンスグループ	デフォルト	500	compute.googleapis.com/instance_groups
永続ディスク標準 (GB)	デフォルト	50 TB	compute.googleapis.com/cpus
N2 CPU (英語)	デフォルト	300	compute.googleapis.com/cpus
永続ディスク SSD (GB)	デフォルト	50 TB	compute.googleapis.com/disks_total_storage
ローカル SSD (GB)	デフォルト	50 TB	compute.googleapis.com/local_ssd_total_storage

コンピュートエンジン API の Databricks SQL クォータ

SQLウェアハウスは、必要な量の CPU とストレージリソースをプロビジョニングしないと起動しません。必要に応じて、リソースクォータを増やして、SQLウェアハウスの使用をサポートできます。「クォータの確認と引き上げ」を参照してください。ワークスペースのコストについては、「ワークスペースあたりのコスト」を参照してください。

コンピュートエンジン API の Databricks SQL クォータ	必要最低限のもの	大規模な実行に推奨
N2 CPU (英語)	100	500
永続ディスク SSD (GB)	5 TB	30 TBの
ローカル SSD (GB)	15 TBの	100 TB

Cloud モニタリング API

Quotas for クラウドモニタリング	必要な最小クォータ	大規模に実行するための推奨クォータ
時系列インジェスト要求数/分	デフォルト	6000

IDおよびアクセス管理(IAM)API

IAMのクォータ	必要な最小クォータ	大規模に実行するための推奨クォータ
サービスアカウント数	デフォルト	100

クォータを確認し、クォータの引き上げを要求する

[ クォータ] ページ [クラウド上でコンソール] に移動します。
上部のナビゲーションのプロジェクトピッカーで、クラスターを実行するためにワークスペースで使用する予定の Google クラウドプロジェクトを選択します。
Databricks プロジェクトのクォータごとに、Google クラウドリージョンの現在のクォータを確認します。
1. クォータごとに、クォータ名またはそのフィールド名をフィルタフィールドに入力します。ワークスペースをデプロイする Google クラウドリージョンのクォータの行を見つけます。フィルターエディターでは、リージョンフィルターを追加して、目的のリージョンのクォータのみを確認することができます。たとえば、特定のリージョンの CPU クォータを検索できます。
2. クォータの引き上げをリクエストするには、クォータの左側にあるチェックボックスをクリックし、ページ上部にある [クォータの編集] という青いテキストをクリックします。このテキストが表示されない場合は、適切な権限またはアカウントの種類がない可能性があります。 Google サポートにお問い合わせのうえ、アカウントの割り当ての引き上げをリクエストする方法をご確認ください。
3. 右側に表示されるパネルで、「Databricks が各クォータに必要とする Google クラウドリソースクォータ」のガイダンスに従って、クォータ値を増やします。設定した値、ユーザーアカウント、Google クラウドプロジェクトによっては、割り当てを増やすにはサービスプロバイダの承認が必要な場合があります。クォータの引き上げをリクエストする場合は、ワークスペースを作成する前に、リクエストごとにメールで確認されるのを待つ必要があります。
4. Databricks で必要な Google クラウドリソースクォータのすべてのクォータに対して、このプロセスを繰り返します。
5. 要求したクォータの引き上げに関する電子メールの確認を待ちます。
重要

クォータを変更する場合は、変更後、またはクォータの引き上げを電子メールで確認してから 15 分待ってからワークスペースを作成してください。