Configurações de fila e simultaneidade do Databricks Jobs

Este artigo contém instruções e recomendações para a configuração de definições avançadas em Databricks Jobs.

Habilitar a fila de execução de trabalhos

Observação

O enfileiramento é ativado pelo site default para trabalhos criados por meio da interface do usuário após 15 de abril de 2024.

Para evitar que a execução de um trabalho seja ignorada devido aos limites de simultaneidade, o senhor pode ativar o enfileiramento para o trabalho. Quando o enfileiramento está ativado, a execução é enfileirada por até 48 horas se os recursos não estiverem disponíveis para a execução de um trabalho. Quando a capacidade está disponível, a execução do trabalho é retirada da fila e executada. As execuções em fila são exibidas na lista de execuções do Job e na lista de execuções recentes do Job.

Uma execução é colocada na fila quando um dos seguintes limites é atingido:

  • A execução ativa máxima do concorrente no site workspace.

  • A tarefa máxima concorrente Run Job executada no site workspace.

  • A execução máxima concorrente do trabalho.

O enfileiramento é uma propriedade de nível de trabalho que enfileira a execução somente para esse trabalho.

Para ativar ou desativar o enfileiramento, clique em Advanced settings (Configurações avançadas ) e clique no botão de alternância Queue (Enfileirar ) no painel lateral Job details (Detalhes do trabalho).

Configurar a execução máxima da concorrente

Em default, a execução concorrente máxima para todos os novos trabalhos é 1.

Clique em Editar execução concorrente em Configurações avançadas para definir o número máximo de execuções paralelas desse trabalho.

Databricks pula a execução se o trabalho já tiver atingido o número máximo de execuções ativas ao tentar iniciar uma nova execução.

Defina esse valor como maior que 1 para permitir a execução concorrente múltipla do mesmo trabalho. Isso é útil, por exemplo, se o senhor acionar seu trabalho em uma programação frequente e quiser permitir que execuções consecutivas se sobreponham ou acionar várias execuções que diferem em seus parâmetros de entrada.