Google
Cloud Platform
Amazon Web Services
Microsoft Azureワークスペースの Google Cloud リソース割り当てを確認して設定する
Google Cloudでは、予期しない使用量の急増を防ぎ、Google Cloud ユーザーのコミュニティを保護するために、プロジェクトのリソース使用量に割り当て制限を適用しています。 Databricksワークスペースを作成するときは、Google Cloud プロジェクトを指定します。Databricks Databricksこのプロジェクトを使用して、クラスターの仮想マシン インスタンスなどの新しいリソースを作成します。
ワークスペースを作成する前に、ワークスペースでクラスターの実行に使用する予定の Google Cloud プロジェクトでDatabricksに必要な Google Cloud リソースの割り当てを確認してください。 クォータの引き上げを要求する必要がある場合があります。
すべてのプロジェクトに同じ初期クォータがあるわけではないことに注意してください。 初期割り当ては、Google Cloud アカウントの種類、Google Cloud アカウントの経過年数、その他の要因によって異なります。 Google Cloudの利用が増えると、アカウント内の初期プロジェクトまたは既存プロジェクトの割り当てもそれに応じて増加する可能性があります。 今後、使用量が大幅に増加することが予想される場合は、クォータの調整を事前に要求できます。
重要
Databricks が期待どおりに動作するには、プロジェクトのクォータを増やす必要がある場合があります。 たとえば、プロジェクトが CPU クォータを超えると、Databricks クラスターの起動は失敗します。
Databricksに必要な Google Cloud リソースの割り当て
必要な割り当ては、関連する Google API サービスごとにグループ化されます。 最小機能と大規模実行の推奨事項には異なる値があることに注意してください。 必須最小値列にデフォルトがあるセルの場合、Google Cloud デフォルトは初期使用およびテストに使用できます。
コンピュートエンジンAPI
コンピュートエンジンAPIの割り当て |
必要最低限のもの |
大規模な実行に推奨 |
フィールド名 |
|---|---|---|---|
CPUの |
デフォルト |
2400 |
compute.googleapis.com/cpus |
ルート |
デフォルト |
300 |
compute.googleapis.com/routes |
サブネットワーク |
デフォルト |
275 |
compute.googleapis.com/subnetworks |
使用中の IP アドレス |
デフォルト |
500 |
compute.googleapis.com/regional_in_use_addresses |
マネージドインスタンスグループ |
デフォルト |
500 |
compute.googleapis.com/instance_group_managers |
インスタンス グループ |
デフォルト |
500 |
compute.googleapis.com/instance_groups |
永続ディスク標準 (GB) |
デフォルト |
50 TB |
compute.googleapis.com/cpus |
N2 CPU (英語) |
デフォルト |
300 |
compute.googleapis.com/cpus |
永続ディスク SSD (GB) |
デフォルト |
50 TB |
compute.googleapis.com/disks_total_storage |
ローカル SSD (GB) |
デフォルト |
50 TB |
compute.googleapis.com/local_ssd_total_storage |
Databricks SQLコンピュート エンジン の クォータAPI
必要な量の CPU とストレージ リソースがない場合、SQL ウェアハウスは起動しません。 必要に応じて、SQL ウェアハウスの使用をサポートするためにリソース クォータを増やすことができます。 「 クォータの確認と引き上げ」を参照してください。 ワークスペースのコストに関する情報については、ワークスペースあたりのコストを参照してください。
Databricks SQLコンピュート エンジン の クォータAPI |
必要最低限のもの |
大規模な実行に推奨 |
|---|---|---|
N2 CPU (英語) |
100 |
500 |
永続ディスク SSD (GB) |
5 TB |
30 TBの |
ローカル SSD (GB) |
15 TBの |
100 TB |
クォータを確認し、クォータの引き上げを要求する
クラウド上でコンソールのクォータ ページに移動します。
上部のナビゲーションのプロジェクト ピッカーで、ワークスペースで使用する予定の Google Cloud プロジェクトを選択してクラスターを実行します。
Databricksプロジェクトの割り当てごとに、Google Cloud リージョンの現在の割り当てを確認します。
クォータごとに、クォータ名またはそのフィールド名をフィルタ フィールドに入力します。 ワークスペースをデプロイする Google Cloud リージョンの割り当ての行を見つけます。 フィルターエディターでは、リージョンフィルターを追加して、目的のリージョンのクォータのみを確認することができます。 たとえば、特定のリージョンの CPU クォータを検索できます。
クォータの引き上げをリクエストするには、クォータの左側にあるチェックボックスをクリックし、ページ上部にある [クォータの編集] という青いテキストをクリックします。 そのテキストが表示されない場合は、適切な権限またはアカウントの種類がない可能性があります。 Google サポートに連絡して、アカウントの割り当ての増加をリクエストする方法を問い合わせてください。
右側に表示されるパネルで、 Databricksが各割り当てに対して必要とする Google Cloud リソースの割り当てのガイダンスに従って、割り当て値を増やします。 設定した値、ユーザー アカウント、Google Cloud プロジェクトによっては、割り当てを増やすにはサービス プロバイダの承認が必要になる場合があります。 クォータの増加をリクエストする場合は、ワークスペースを作成する前に、各リクエストの電子メールによる確認を待つ必要があります。
Databricksに必要な Google Cloudリソースの割り当てすべてに対してこのプロセスを繰り返します。
リクエストした割り当て量の増加を確認する電子メールを待ちます。
重要
割り当て量を変更した場合は、変更後または割り当て量の増加を電子メールで確認してから 15 分待ってからワークスペースを作成してください。
関連する Google ドキュメント記事: