Referência de configuração de pool

Este artigo descreve as configurações disponíveis ao criar um pool usando a UI. Para saber como usar o Databricks CLI para criar um pool, consulte Databricks CLI comando. Para saber como usar o REST API para criar um pool, consulte o Instance pool API.

Tamanho da piscina

Ao criar um pool, para controlar seu tamanho, o senhor pode definir as instâncias mínimas de parada e a capacidade máxima. Não há suporte para o encerramento automático de instâncias parado no pool.

Instâncias mínimas de paradoxo

O número mínimo de instâncias que o pool mantém parado. Essas instâncias não são encerradas, independentemente das configurações de encerramento automático. Se um clusters consumir instâncias paradas do pool, o Databricks provisionará instâncias adicionais para manter o mínimo.

Tipos de instância

Um pool consiste em instâncias paradas mantidas prontas para novos clusters e instâncias em uso por clusters em execução. Todas essas instâncias são do mesmo tipo de provedor de instância, selecionado ao criar um pool.

O tipo de instância de um pool não pode ser editado. Os clusters anexados a um pool usam o mesmo tipo de instância para os nós de driver e worker . Diferentes famílias de tipos de instância se adaptam a diferentes casos de uso, como cargas de trabalho com uso intensivo de memória ou compute .

O Databricks sempre fornece um aviso de descontinuação de um ano antes de interromper o suporte para um tipo de instância.

Versão pré-carregada do Databricks Runtime

Você pode acelerar os lançamentos clusters selecionando uma versão do Databricks Runtime a ser carregada em instâncias parado no pool. Se um usuário selecionar esse tempo de execução ao criar clusters apoiados pelo pool, esses clusters serão iniciados ainda mais rapidamente do que poolapoiados clusters que não usam uma versão pré-carregada do Databricks Runtime.

Definir esta opção como Nenhum retarda os lançamentos clusters , pois faz com que a versão do Databricks Runtime downloads sob demanda para instâncias do Parado no pool. Quando os clusters liberam as instâncias no pool, a versão do Databricks Runtime permanece armazenada em cache nessas instâncias. As próximas operações de criação clusters que usam a mesma versão do Databricks Runtime podem se beneficiar desse comportamento de cache, mas isso não é garantido.

Tags de pool

As tags de pool permitem monitorar o custo do recurso clouds usado por vários grupos em sua organização.

O gráfico de Databricks uso faturável no account console pode agregar o uso por indivíduo tags. Os downloads dos relatórios de uso faturável CSV da mesma página também incluem default e tags personalizado. tags também se propagam para o rótulo GKE e GCE.

Por conveniência, o Databricks aplica três tags default a cada pool: Vendor, DatabricksInstancePoolId e DatabricksInstancePoolCreatorId. Você também pode adicionar tags personalizadas ao criar um pool. Você pode adicionar até 43 tags personalizadas.

Tags personalizadas

Para adicionar tags adicionais ao pool, navegue até tab tab na parte inferior da página Criar Pool . Clique no botão + Adicionar e insira o valor-chave nominal.

pool-backed clusters herda default e tags personalizado da configuração pool. Para obter informações detalhadas sobre como pool tags e Cluster Tag funcionam juntos, consulte Monitorar o uso usando tags.

Configurar a zona de disponibilidade

Você pode configurar a zona de disponibilidade do pool ao criá-lo usando a API de pools de instâncias. Este é um campo opcional. Se não for especificado, o pool usará uma zona default .

O senhor não pode atualizar a zona de disponibilidade de um pool depois que o pool é iniciado. Se quiser que seu pool use uma zona de disponibilidade diferente, o senhor deve criar um novo pool.

Para definir a zona de disponibilidade, adicione um atributo zone_id ao objeto gcp_attributes . Por exemplo:

"gcp_attributes": {
    "zone_id": "us-central1-a"
}

Observação

A zona de disponibilidade fornecida deve estar na mesma região do seu workspace do Databricks.

Configurações zonais conflitantes

Se o recurso compute que o senhor anexar a uma instância pool estiver configurado para usar uma zona de disponibilidade diferente da instância pool, as configurações do recurso compute serão ignoradas e ele herdará a configuração zonal da instância pool.

O driver do recurso compute herda a preferência zonal ou multizonal da instância do driver pool e qualquer executor herda a preferência zonal ou multizonal da instância executor pool.