Revisar e definir cotas de recurso do Google cloud para um workspace

O Google cloud impõe cotas de uso de recursos para projetos a fim de proteger a comunidade de usuários do Google cloud, evitando picos imprevistos de uso. Ao criar um Databricks workspace, o senhor especifica um projeto do Google cloud, que o Databricks usa para criar novos recursos, como instâncias de máquinas virtuais para o clusters.

Antes de criar um workspace, revise as cotas de recurso do Google cloud que o Databricks requer no projeto do Google cloud que você planeja usar com seu workspace para executar o clusters. Talvez o senhor precise solicitar aumentos de cota.

Observe que nem todos os projetos têm as mesmas cotas iniciais. As cotas iniciais podem variar de acordo com o tipo de Google cloud account , a idade do Google cloud account e outros fatores. À medida que o senhor usa cada vez mais o Google cloud, as cotas para projetos iniciais ou existentes no seu account podem aumentar de acordo. Se o senhor espera um aumento significativo no uso, pode solicitar proativamente ajustes de cota.

Importante

Talvez o senhor precise aumentar algumas cotas em seu projeto para que o Databricks funcione como esperado. Por exemplo, se um projeto exceder sua cota de CPU, o lançamento de um cluster do Databricks falhará.

Google cloud recurso cotas que Databricks exige

As cotas necessárias são agrupadas pelo serviço relevante da API do Google. Observe que há valores diferentes para a funcionalidade mínima e a recomendação para execução em escala. Para células que têm default na coluna Required minimum (Mínimo necessário ), o Google cloud default é aceitável para uso inicial e testes.

API do mecanismo de computação

Cotas para compute Engine API	Mínimo exigido	Recomendado para execução em escala	Nome do campo
CPUs	Padrão	2400	compute.googleapis.com/cpus
Rotas	Padrão	300	compute.googleapis.com/routes
Sub-redes	Padrão	275	compute.googleapis.com/subnetworks
Endereços IP em uso	Padrão	500	compute.googleapis.com/regional_in_use_addresses
gerenciar grupos de instância	Padrão	500	compute.googleapis.com/instance_group_managers
Grupos de instâncias	Padrão	500	compute.googleapis.com/instance_groups
Disco persistente padrão (GB)	Padrão	50 TB	compute.googleapis.com/cpus
CPUs N2	Padrão	300	compute.googleapis.com/cpus
Disco persistente SSD (GB)	Padrão	50 TB	compute.googleapis.com/disks_total_storage
SSD local (GB)	Padrão	50 TB	compute.googleapis.com/local_ssd_total_storage

Databricks SQL cotas para compute Engine API

O SQL warehouse não começará se o senhor não provisionar a quantidade necessária de CPU e recurso de armazenamento. Se necessário, o senhor pode aumentar as cotas de recurso para dar suporte ao uso do SQL warehouse. Consulte Revisar e aumentar as cotas. Para obter informações sobre o custo do workspace, consulte o custo por workspace.

Databricks SQL cotas para compute Engine API	Mínimo exigido	Recomendado para execução em escala
CPUs N2	100	500
Disco persistente SSD (GB)	5 TB	30 TB
SSD local (GB)	15 TB	100 TB

API de monitoramento de nuvem

Cotas para cloud monitoramento	Cota mínima exigida	Cotas recomendadas para execução em escala
Solicitações de ingestão de séries temporais por minuto	Padrão	6000

API de gerenciamento de identidade e acesso (IAM)

Cotas para IAM	Cota mínima exigida	Cotas recomendadas para execução em escala
serviço account count	Padrão	100

Revisar cotas e solicitar aumentos de cotas

Vá para a página Cotas no Console da nuvem.
No seletor de projetos da navegação superior, selecione o projeto do Google cloud que o senhor planeja usar com seu workspace para executar clusters.
Para cada uma das Databricks cotas do projeto , confirme as cotas atuais para sua cloud região do Google .
1. Para cada cota, digite o nome da cota ou o nome do campo no campo de filtro. Encontre a linha da cota para a região do Google cloud na qual o senhor implantou seu workspace. No editor de filtros, o senhor pode adicionar um filtro de região para garantir que esteja revisando apenas as cotas da região desejada. Por exemplo, o senhor pode pesquisar a cota de CPUs para uma região específica:
2. Para solicitar aumentos de cota, clique na caixa de seleção à esquerda da cota e clique no texto azul na parte superior da página que diz EDITAR COTAS. Se o texto não for exibido, talvez o senhor não tenha as permissões corretas ou o tipo de account. Entre em contato com o Suporte do Google e pergunte como solicitar aumentos de cota para o seu account.
3. No painel exibido à direita, aumente os valores das cotas de acordo com a orientação no Google cloud recurso cotas que o Databricks exige para cada cota. Dependendo dos valores definidos, do seu usuário account e do projeto Google cloud, o aumento das cotas pode exigir a aprovação do seu provedor de serviços. Se o senhor solicitar aumentos de cota, precisará aguardar a confirmação do email para cada solicitação antes de criar um workspace.
4. Repita esse processo para todas as cotas no Google cloud recurso cotas que o Databricks exige.
5. Aguarde a confirmação do email de qualquer aumento de cota que o senhor tenha solicitado.
Importante

Se o senhor alterar alguma cota, aguarde 15 minutos após as alterações ou a confirmação de aumento de cota pelo site email antes de criar um workspace.

Artigos relacionados à documentação do Google: