Cronograma de empregos

A linha do tempo do trabalho é um ótimo ponto de partida para entender seu pipeline ou consulta. Ele fornece ao senhor uma visão geral do que estava sendo executado, quanto tempo cada passo levou e se houve alguma falha ao longo do caminho.

Como abrir a linha do tempo do trabalho

No site Spark UI, clique em Jobs and Event Timeline, conforme destacado em vermelho na captura de tela a seguir. O senhor verá a linha do tempo. Este exemplo mostra o driver e o executor 0 sendo adicionados:

O que procurar

As seções abaixo explicam como ler a linha do tempo do evento para descobrir a possível causa do seu problema de desempenho ou custo. Se o senhor notar alguma dessas tendências em sua linha do tempo, o final de cada seção correspondente contém um link para um artigo que fornece orientação.

Trabalho falho ou executor falho

Este é um exemplo de uma falha no site Job e de um executor removido, indicado por um status vermelho, na linha do tempo do evento.

Se o senhor vir um trabalho com falha ou um executor com falha, consulte Remoção de trabalho ou executor com falha.

Lacunas na execução

Procure por intervalos de um minuto ou mais, como neste exemplo:

Esse exemplo tem várias lacunas, algumas das quais são destacadas pelas setas vermelhas. Se o senhor vir lacunas em sua linha do tempo, elas são de um minuto ou mais? É de se esperar que haja pequenos intervalos enquanto o motorista coordena o trabalho. Se o senhor tiver lacunas mais longas, elas estão no meio de um pipeline? Ou esse cluster está em constante funcionamento e, portanto, as lacunas são explicadas pela pausa na atividade? Talvez o senhor consiga determinar isso com base no horário em que sua carga de trabalho começa e termina.

Se o senhor observar longos intervalos inexplicáveis no meio de um pipeline, consulte Gaps between Spark Job.

Trabalho longo

A linha do tempo é dominada por um ou alguns trabalhos longos? Esse longo trabalho seria algo a ser investigado. No exemplo a seguir, a carga de trabalho tem um Job que é muito mais longo do que os outros. Esse é um bom alvo para investigação.

Clique no site Job mais longo para se aprofundar. Para obter informações sobre como investigar esse estágio longo, consulte Diagnosticando um estágio longo em Spark.

Muitos trabalhos pequenos

O que estamos procurando aqui é uma linha do tempo dominada por pequenos trabalhos. Pode ser algo parecido com o seguinte:

Observe todas as pequenas linhas azuis. Cada um deles é um pequeno Job que levou alguns segundos ou menos.

Se a sua linha do tempo for principalmente de trabalhos pequenos, consulte Many small Spark Job.

Nenhuma das opções acima

Se sua linha do tempo não se parecer com nenhuma das acima, o próximo passo é identificar a mais longa Job. Classifique o trabalho por duração e clique no link da descrição para ver o mais longo Job:

Quando o senhor estiver na página do estágio mais longo Job, informações adicionais sobre como investigar esse estágio longo estão em Diagnosing a long stage in Spark.