Revise e defina cotas de recursos clouds do Google para um espaço de trabalho

clouds do Google impõem cotas de uso de recursos para projetos para proteger a comunidade de usuários clouds do Google, evitando picos imprevistos no uso. Ao criar um workspace do Databricks, você especifica um projeto clouds do Google, que o Databricks usa para criar novos recursos, como instâncias de máquinas virtuais para clusters.

Antes de criar um workspace, revise as cotas de recursos clouds do Google que o Databricks exige no projeto clouds do Google que você planeja usar com seu workspace para clusters de execução. Talvez seja necessário solicitar aumentos de cota.

Observe que nem todos os projetos têm as mesmas cotas iniciais. As cotas iniciais podem variar com base no clouds account tipo do Google , na idade da do Google clouds account e em outros fatores. À medida que você usa cada vez mais clouds do Google , as cotas para projetos iniciais ou existentes em sua account podem aumentar proporcionalmente. Se você espera um aumento notável no uso, poderá solicitar proativamente ajustes de cota.

Importante

Talvez seja necessário aumentar algumas cotas em seu projeto para que o Databricks funcione conforme o esperado. Por exemplo, se um projeto exceder a sua quota de CPU, o lançamento de clusters Databricks falhará.

Google clouds cotas de recursos exigidas pelo Databricks

As cotas necessárias são agrupadas pelo serviço API do Google relevante. Observe que existem valores diferentes para funcionalidade mínima e recomendação para execução em escala. Para células que possuem default na coluna Mínimo obrigatório , o do Google clouds default é aceitável para uso inicial e teste.

API Compute Engine

Cotas para a API compute Engine	Mínimo necessário	Recomendado para execução em escala	Nome do campo
CPUs	Padrão	2400	computa.googleapis.com/cpus
Rotas	Padrão	300	computa.googleapis.com/routes
Sub-redes	Padrão	275	computa.googleapis.com/subnetworks
Endereços IP em uso	Padrão	500	computa.googleapis.com/regional_in_use_addresses
gerenciar grupos de instâncias	Padrão	500	computa.googleapis.com/instance_group_managers
Grupos de instâncias	Padrão	500	computa.googleapis.com/instance_groups
Padrão de disco permanente (GB)	Padrão	50 TB	computa.googleapis.com/cpus
CPU N2	Padrão	300	computa.googleapis.com/cpus
SSD de disco permanente (GB)	Padrão	50 TB	computa.googleapis.com/disks_total_storage
SSD local (GB)	Padrão	50 TB	computa.googleapis.com/local_ssd_total_storage

Cotas Databricks SQL para API Compute Engine

SQL warehouse não começará se você não provisionar a quantidade necessária de CPU e recurso de armazenamento. Se necessário, você pode aumentar as cotas de recursos para dar suporte ao uso do SQL warehouse. Consulte Revisar e aumentar cotas. Para obter informações sobre o custo do espaço de trabalho, consulte custo por espaço de trabalho.

Cotas Databricks SQL para API compute Engine	Mínimo necessário	Recomendado para execução em escala
CPU N2	100	500
SSD de disco permanente (GB)	5 TB	30 TB
SSD local (GB)	15 TB	100 TB

API de monitoramento clouds

Cotas para monitoramento clouds	Cota mínima exigida	Cotas recomendadas para execução em escala
Solicitações de ingestão de série temporal por minuto	Padrão	6.000

API de gerenciamento de identidade e acesso (IAM)

Cotas para IAM	Cota mínima exigida	Cotas recomendadas para execução em escala
Contagem account de serviço	Padrão	100

Revise as cotas e solicite aumentos de cotas

1. Vá para a página Cotas no Cloud Console.

2. No seletor de projetos da navegação superior, selecione o projeto clouds do Google que você planeja usar com seu workspace para clusters de execução.

   

3. Para cada uma das cotas do projeto Databricks, confirme as cotas atuais para sua região clouds do Google.

   1. Para cada cota, digite o nome da cota ou o nome do campo no campo de filtro. Encontre a linha da cota da região clouds do Google em que você implantou seu workspace. No editor de filtros, você pode adicionar um filtro de região para garantir que está revisando apenas as cotas da região desejada. Por exemplo, você pode pesquisar a cota de CPUs de uma região específica:

      

   2. Para solicitar aumentos de cota, clique na caixa de seleção à esquerda da cota e clique no texto azul na parte superior da página que diz EDITAR COTAS. Se você não vir esse texto, talvez você não tenha as permissões ou o tipo account corretos. Entre em contato com o Suporte do Google e pergunte como solicitar aumentos de cota para sua account.

   3. No painel que aparece à direita, aumente os valores das cotas conforme orientação em cotas de recurso clouds do Google que o Databricks exige para cada cota. Dependendo dos valores definidos, da sua account de usuário e do projeto clouds do Google, o aumento das cotas pode exigir a aprovação do seu provedor de serviços. Se você solicitar aumentos de cota, precisará aguardar a confirmação email de cada solicitação antes de criar um workspace.

      

   4. Repita esse processo para todas as cotas de recursos de clouds do Google que o Databricks exige.

   5. Aguarde a confirmação email de quaisquer aumentos de cota solicitados.

   Importante

   Se você alterar alguma cota, aguarde 15 minutos após as alterações ou email de confirmação do aumento da cota antes de criar um workspace.

Artigos de documentação relacionados do Google:

• Documentação do Google para cotas compute Engine

• Documentação do Google para cotas do Filestore clouds