ワークスペースの Google クラウドリソース割り当てを確認して設定する

Google クラウドでは、予期しない使用量の急増を防ぎ、Google クラウドユーザーのコミュニティを保護するために、プロジェクトのリソース使用量に割り当て制限を適用しています。 Databricksワークスペースを作成するときは、Google クラウドプロジェクトを指定します。Databricks Databricksこのプロジェクトを使用して、クラスターの仮想マシンインスタンスなどの新しいリソースを作成します。

ワークスペースを作成する前に、ワークスペースでクラスターの実行に使用する予定の Google クラウドプロジェクトでDatabricksに必要な Google クラウドリソースの割り当てを確認してください。クォータの引き上げを要求する必要がある場合があります。

すべてのプロジェクトに同じ初期クォータがあるわけではないことに注意してください。初期割り当ては、Google クラウドアカウントの種類、Google クラウドアカウントの経過年数、その他の要因によって異なります。 Google クラウドの利用が増えると、アカウント内の初期プロジェクトまたは既存プロジェクトの割り当てもそれに応じて増加する可能性があります。今後、使用量が大幅に増加することが予想される場合は、クォータの調整を事前に要求できます。

重要

Databricks が期待どおりに動作するには、プロジェクトのクォータを増やす必要がある場合があります。たとえば、プロジェクトが CPU クォータを超えると、Databricks クラスターの起動は失敗します。

Databricksに必要な Google クラウドリソースの割り当て

必要な割り当ては、関連する Google API サービスごとにグループ化されます。最小機能と大規模実行の推奨事項には異なる値があることに注意してください。 必須最小値列にデフォルトがあるセルの場合、Google クラウドデフォルトは初期使用およびテストに使用できます。

コンピュートエンジンAPI

コンピュートエンジンAPIの割り当て	必要最低限のもの	大規模な実行に推奨	フィールド名
CPUの	デフォルト	2400	compute.googleapis.com/cpus
ルート	デフォルト	300	compute.googleapis.com/routes
サブネットワーク	デフォルト	275	compute.googleapis.com/subnetworks
使用中の IP アドレス	デフォルト	500	compute.googleapis.com/regional_in_use_addresses
マネージドインスタンスグループ	デフォルト	500	compute.googleapis.com/instance_group_managers
インスタンスグループ	デフォルト	500	compute.googleapis.com/instance_groups
永続ディスク標準 (GB)	デフォルト	50 TB	compute.googleapis.com/cpus
N2 CPU (英語)	デフォルト	300	compute.googleapis.com/cpus
永続ディスク SSD (GB)	デフォルト	50 TB	compute.googleapis.com/disks_total_storage
ローカル SSD (GB)	デフォルト	50 TB	compute.googleapis.com/local_ssd_total_storage

Databricks SQLコンピュートエンジンのクォータAPI

必要な量の CPU とストレージリソースがない場合、SQL ウェアハウスは起動しません。必要に応じて、SQL ウェアハウスの使用をサポートするためにリソースクォータを増やすことができます。「クォータの確認と引き上げ」を参照してください。ワークスペースのコストに関する情報については、ワークスペースあたりのコストを参照してください。

Databricks SQLコンピュートエンジンのクォータAPI	必要最低限のもの	大規模な実行に推奨
N2 CPU (英語)	100	500
永続ディスク SSD (GB)	5 TB	30 TBの
ローカル SSD (GB)	15 TBの	100 TB

クラウドモニタリングAPI

クラウドモニタリングの割り当て	必要な最小クォータ	大規模に実行するための推奨クォータ
時系列インジェスト要求数/分	デフォルト	6000

アイデンティティとアクセス管理 (IAM) API

IAM のクォータ	必要な最小クォータ	大規模に実行するための推奨クォータ
サービスアカウント数	デフォルト	100

クォータを確認し、クォータの引き上げを要求する

クラウド上でコンソールのクォータページに移動します。
上部のナビゲーションのプロジェクトピッカーで、ワークスペースで使用する予定の Google クラウドプロジェクトを選択してクラスターを実行します。
Databricksプロジェクトの割り当てごとに、Google クラウドリージョンの現在の割り当てを確認します。
1. クォータごとに、クォータ名またはそのフィールド名をフィルタフィールドに入力します。ワークスペースをデプロイする Google クラウドリージョンの割り当ての行を見つけます。フィルターエディターでは、リージョンフィルターを追加して、目的のリージョンのクォータのみを確認することができます。たとえば、特定のリージョンの CPU クォータを検索できます。
2. クォータの引き上げをリクエストするには、クォータの左側にあるチェックボックスをクリックし、ページ上部にある [クォータの編集] という青いテキストをクリックします。そのテキストが表示されない場合は、適切な権限またはアカウントの種類がない可能性があります。 Google サポートに連絡して、アカウントの割り当ての増加をリクエストする方法を問い合わせてください。
3. 右側に表示されるパネルで、 Databricksが各割り当てに対して必要とする Google クラウドリソースの割り当てのガイダンスに従って、割り当て値を増やします。設定した値、ユーザーアカウント、Google クラウドプロジェクトによっては、割り当てを増やすにはサービスプロバイダの承認が必要になる場合があります。クォータの増加をリクエストする場合は、ワークスペースを作成する前に、各リクエストの電子メールによる確認を待つ必要があります。
4. Databricksに必要な Google クラウドリソースの割り当てすべてに対してこのプロセスを繰り返します。
5. リクエストした割り当て量の増加を確認する電子メールを待ちます。
重要

割り当て量を変更した場合は、変更後または割り当て量の増加を電子メールで確認してから 15 分待ってからワークスペースを作成してください。