Otimize a utilização de cluster do pipeline Delta Live Tables com a autoescala aprimorada
O databricks Enhanced autoscale otimiza a utilização clusters alocando automaticamente recursos clusters com base no volume de carga de trabalho, com impacto mínimo na latência de processamento de dados de seus pipelines.
aprimorada autoscale melhora a clusters autoscale funcionalidade do Databricks com o seguinte recurso:
autoscale aprimorada implementa a otimização de cargas de trabalho de transmissão e adiciona aprimoramentos para melhorar o desempenho de cargas de trabalho de lotes. autoscale aprimorada otimiza os custos adicionando ou removendo máquinas à medida que a carga de trabalho muda.
autoscale aprimorado desliga proativamente os nós subutilizados, garantindo que não haja falhas nas tarefas durante o desligamento. O recurso de escalonamento autoscale clusters existentes reduz os nós somente se o nó for parado.
autoscale aprimorado é o modo autoscale default quando você cria um novo pipeline na IU do Delta Live Tables. Você pode habilitar autoscale aprimorado para pipelines existentes editando as configurações do pipeline na interface do usuário. Você também pode habilitar autoscale aprimorado ao criar ou editar pipelines com a API Delta Live Tables.
Ativar autoscaleaprimorado
Para usar autoscale aprimorada , siga um destes procedimentos:
Defina o modoclusters como autoscaleaprimorado ao criar um pipeline ou editar um pipeline na IU do Delta Live Tables.
Adicione a configuração
autoscale
à configuração do cluster de pipeline e defina o campomode
comoENHANCED
. Consulte Configurar as definições do site compute .
Use as seguintes diretrizes ao configurar o Enhanced autoscale para o pipeline de produção:
Deixe a configuração
Min workers
em default.Defina a configuração
Max workers
como um valor baseado no orçamento e na prioridade do pipeline.
O exemplo a seguir configura um Enhanced autoscale cluster com um mínimo de 5 workers e um máximo de 10 workers. max_workers
deve ser maior ou igual a min_workers
.
Observação
autoscale aprimorado está disponível apenas para
updates
clusters. O recurso autoscale existente é usado paramaintenance
clusters.A configuração
autoscale
tem dois modos:LEGACY
: Use clusters autoscale.ENHANCED
: Use autoscale aprimorada.
{
"clusters": [
{
"autoscale": {
"min_workers": 5,
"max_workers": 10,
"mode": "ENHANCED"
}
}
]
}
O pipeline é reiniciado automaticamente após a alteração da configuração autoscale se o pipeline estiver configurado para execução contínua. Após a reinicialização, espere um curto período de latência aumentada. Após esse breve período de maior latência, o tamanho clusters deve ser atualizado com base na sua configuração autoscale
e a latência do pipeline retorna às suas características de latência anteriores.
monitoramento Pipelines habilitados para autoscale aprimorado
Você pode usar os logs in interface do usuário Delta Live Tables para monitorar as métricas autoscale aprimoradas. Os eventos autoscale aprimorado têm o tipo de evento autoscale
. Seguem exemplos de eventos:
Evento |
Mensagem |
---|---|
pedidos de redimensionamento clusters começar |
|
solicitação de redimensionamento clusters bem-sucedida |
|
solicitação de redimensionamento clusters parcialmente bem-sucedida |
|
falha na solicitação de redimensionamento clusters |
|
Você também pode view eventos de autoscale aprimorado consultando diretamente os logsde eventos:
Para query os logs de eventos em busca de métricaslogs anteriores, consulte Monitorarlogs anteriores de dados queryos logsde eventos.
Para monitorar as solicitações e respostas de redimensionamento clusters durante as operações autoscale aprimorado, consulte Monitorar eventos de autoscale aprimorado dos logsde eventos.