monitoramento e observabilidade para Databricks Jobs

Este artigo descreve o recurso disponível na interface do usuário Databricks para view o trabalho ao qual o senhor tem acesso, view o histórico de execução de um trabalho e view os detalhes da execução do trabalho. Para configurar as notificações para o Job, consulte Adicionar notificações em um Job.

Para saber como usar o Databricks CLI a view Job e executar o Job, execute o CLI comando databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Para saber mais sobre como usar a API de Jobs, consulte a API de Jobs.

Se o senhor tiver acesso ao esquema system.lakeflow, também poderá view e consultar os registros de execução e tarefa do trabalho em todo o seu account. Consulte a referência da tabela do sistema Jobs.

ver Trabalho

Para view a lista de trabalhos aos quais o senhor tem acesso, clique em fluxo de trabalho na barra lateral. O site Jobs tab na UI do fluxo de trabalho lista informações sobre todos os trabalhos disponíveis, como o criador do trabalho, o acionador do trabalho, se houver, e o resultado das últimas cinco execuções.

Para alterar as colunas exibidas na lista de trabalhos, clique em e selecione ou desmarque as colunas.

O senhor pode filtrar o Job na lista Jobs, conforme mostrado na captura de tela a seguir.

1. Pesquisando por palavras-chave. A pesquisa por palavra-chave é compatível com os campos nome, ID do trabalho e tag do trabalho. Para pesquisar uma tag criada com um key e um valor, o senhor pode pesquisar pelo key, pelo valor ou pelo key e pelo valor. Por exemplo, para uma tag com key department e o valor finance, o senhor pode pesquisar department ou finance para encontrar um trabalho correspondente. Para pesquisar pelo endereço key e pelo valor, digite key e o valor separados por dois pontos (por exemplo, department:finance).

2. Selecionando apenas o trabalho que o senhor possui.

3. Selecionando todos os trabalhos que o senhor tem permissão para acessar.

4. Selecionar todas as tarefas que o senhor marcou como favoritas.

5. Usando tags. Para pesquisar por tag, você pode usar o menu suspenso de tags para filtrar até cinco tags ao mesmo tempo ou usar diretamente a pesquisa por palavra-chave.

O senhor também pode classificar a lista de trabalhos (em ordem decrescente ou crescente) p elas colunas Name(Nome), Job ID (ID de) ou Created by (Criado por), clicando no cabeçalho da coluna. Em default, os trabalhos são classificados por nome em ordem crescente.

Para começar um trabalho, clique no botão play. Para interromper um trabalho, clique no botão Parar. Para acessar outras ações do trabalho, clique no menu kebab (por exemplo, para excluir o trabalho).

visualizar a execução de um único Job

O senhor pode view uma lista de execuções em andamento e concluídas recentemente para um trabalho ao qual tenha acesso, incluindo execuções iniciadas por ferramentas externas de orquestração, como Apache Airflow ou Azure Data Factory. Para view a lista de execução de trabalhos recentes:

1. Clique em fluxo de trabalho na barra lateral.

2. Na coluna Name (Nome ), clique em um nome de trabalho. A execução tab é exibida com matriz e visualização de lista de execuções ativas e concluídas.

A matriz view mostra um histórico de execução do trabalho, incluindo cada tarefa do trabalho.

A linha de duração total da execução da matriz exibe a duração total da execução e o estado da execução. Para view detalhes da execução, incluindo a hora de início, a duração e o status, passe o mouse sobre a barra na linha de duração total da execução.

Cada célula na linha de tarefas representa uma tarefa e o status correspondente da tarefa. Para acessar view os detalhes de cada tarefa, inclusive o horário de início, duração, cluster e status, passe o mouse sobre a célula dessa tarefa.

As barras de execução do trabalho e de execução da tarefa são codificadas por cores para indicar o status da execução. As execuções bem-sucedidas são verdes. A execução malsucedida é vermelha, a execução ignorada é rosa e a espera para nova tentativa é amarela. Pendentes, cancelados ou expirados estão em cinza. A altura das barras individuais de execução do trabalho e de execução da tarefa indica visualmente a duração da execução.

Se o senhor tiver configurado um tempo de conclusão esperado, a matriz view exibirá um aviso quando a duração de uma execução exceder o tempo configurado.

Em default, a lista de execução view exibe o seguinte:

• A hora de começar para a execução.

• O identificador de execução.

• Se a execução foi acionada por um Job programar ou uma solicitação API, ou se foi iniciada manualmente.

• O tempo decorrido para um trabalho em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder o tempo de conclusão esperado configurado.

• O status da execução: enfileirada, pendente, em execução, ignorada, bem-sucedida, com falha, com tempo limite, cancelada ou cancelada.

• O código de erro com o qual a execução foi encerrada.

• Os parâmetros de execução.

A execução ativa no momento exibe um botão de parada. Para interromper todas as execuções ativas e em fila, selecione Cancelar execução ou Cancelar todas as execuções em fila no menu suspenso.

Use o endereço para uma execução para ações adicionais específicas do contexto, como a exclusão de entradas para a execução concluída.

Para acessar ações específicas de contexto para a execução, clique no menu kebab (por exemplo, para interromper uma execução ativa ou excluir uma execução concluída).

Para alterar as colunas exibidas na lista de execução view, clique em e selecione ou desmarque as colunas.

Para acessar view os detalhes de uma execução de trabalho, clique no link da execução na coluna começar time na lista de execuções view. Para acessar view detalhes da execução bem-sucedida mais recente desse trabalho, clique em Go to the latest successful execution.

Databricks mantém um histórico da execução de seu trabalho por até 60 dias. Se o senhor precisar preservar a execução do trabalho, o site Databricks recomenda exportar os resultados antes que eles expirem. Para obter mais informações, consulte Exportar resultados da execução do trabalho.

Ver detalhes da execução do trabalho

A página de detalhes da execução do trabalho contém a saída do trabalho e links para logs, incluindo informações sobre o sucesso ou a falha de cada tarefa na execução do trabalho. O senhor pode acessar os detalhes da execução do trabalho no site tab para o trabalho.

Para view detalhes da execução do trabalho a partir da execução tab, clique no link da execução na coluna começar time na lista de execuções view. Para retornar à execução tab do trabalho, clique no valor Job ID.

Os trabalhos com várias tarefas também têm um gráfico, uma linha do tempo e uma lista view.

Visualização do gráfico

Clique em um nó de tarefa no gráfico para acessar view detalhes da execução da tarefa, inclusive:

• Detalhes da tarefa, incluindo a forma de execução, como o trabalho foi iniciado, hora de início, hora de término, duração e status.

• O código-fonte.

• O clustering que executa a tarefa e os links para sua história de consulta e logs.

• métricas para a tarefa.

Visualização da linha do tempo

Os trabalhos que contêm várias tarefas têm uma linha do tempo view para identificar as tarefas que estão demorando muito para serem concluídas, entender as dependências e a sobreposição para ajudar a depurar e otimizar esses trabalhos.

Visualização de lista

Em default, a lista view mostra o status, o nome, o tipo, o recurso, a duração e as dependências. O senhor pode adicionar e remover colunas neste site view.

O senhor pode pesquisar uma tarefa por nome, filtrar por status da tarefa ou tipo de tarefa e classificar a tarefa por status, nome ou duração.

Clique no valor Job ID para retornar à execução tab do Job.

Como o site Databricks determina o status de execução do trabalho?

Databricks determina se a execução de um trabalho foi bem-sucedida com base no resultado da tarefa de folha do trabalho. Uma tarefa folha é uma tarefa que não tem dependências downstream. A execução de um trabalho pode ter um dos três resultados:

• Foi bem-sucedido: Todas as tarefas foram bem-sucedidas.

• Foi bem-sucedido com falhas: Algumas tarefas falharam, mas todas as tarefas de folhas foram bem-sucedidas.

• Failed (Falha): Uma ou mais tarefas de folha falharam.

• Ignorado: A execução do trabalho foi ignorada (por exemplo, uma tarefa pode ser ignorada porque o senhor excedeu a execução máxima concorrente para o seu trabalho ou para o seu workspace).

• Tempo esgotado: A execução do trabalho demorou muito para ser concluída e atingiu o tempo limite.

• Cancelado: A execução do trabalho foi cancelada (por exemplo, um usuário cancelou manualmente a execução em andamento).

view métricas para transmissão tarefa

Prévia

A observabilidade da transmissão para Databricks Jobs está em Public Preview.

Ao acessar view os detalhes da execução do trabalho, o senhor pode obter dados sobre cargas de trabalho de transmissão com métricas de observabilidade de transmissão na UI do trabalho. Essas métricas incluem segundos de backlog, bytes de backlog, registros de backlog e arquivos de backlog para fontes suportadas por Spark transmissão estruturada, incluindo Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub e tabelas Delta. métricas são exibidas como gráficos no painel direito quando o senhor acessa view os detalhes de execução de uma tarefa. As métricas mostradas em cada gráfico são valores máximos agregados por minuto e podem incluir até as 48 horas anteriores.

Cada fonte de transmissão suporta apenas métricas específicas. As métricas não suportadas por uma fonte de transmissão não estão disponíveis para view na UI. A tabela a seguir mostra as métricas disponíveis para as fontes de transmissão suportadas:

Origem	bytes da lista de pendências	registros de pendências	segundos de atraso	arquivos de lista de pendências
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Auto Loader	✓			✓
Google Pub/Sub	✓	✓

O senhor também pode especificar limites para cada transmissão métrica e configurar notificações se uma transmissão exceder um limite durante a execução de uma tarefa. Consulte Configurar notificações para trabalhos lentos.

Para view transmissão métricas para a execução de uma tarefa que transmite dados de uma das fontes de transmissão estruturadas suportadas:

1. Na página de detalhes da execuçãoJob , clique na tarefa para a qual o senhor deseja view métricas.

2. Clique em métricas tab no painel de execução de tarefas.

3. Para abrir o gráfico de uma métrica, clique em ao lado do nome da métrica.

4. Para view as métricas de uma transmissão específica, insira o ID da transmissão na caixa de texto Filter by transmission (Filtrar por transmissão ). O senhor pode encontrar o ID da transmissão na saída da execução do trabalho.

5. Para alterar o período de tempo para as métricas gráficas, use o menu suspenso de tempo.

6. Para percorrer a transmissão, se a execução contiver mais de dez transmissões, clique em Next ou Previous.

limitações de observabilidade da transmissão

• As métricas são atualizadas a cada minuto, a menos que uma execução tenha mais de quatro transmissões. Se uma execução tiver mais de quatro transmissões, as métricas serão atualizadas a cada cinco minutos.

• As métricas são coletadas apenas para as primeiras cinquenta transmissões em cada execução.

view tarefa execução história

Para view a história da execução de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

1. Clique em uma tarefa na página de detalhes da execuçãoJob . A página de detalhes da execução da tarefa é exibida.

2. Selecione a tarefa execução no menu suspenso execução história.

view tarefa execution história for a For each tarefa

O acesso ao histórico de execução de uma tarefa For each é o mesmo que o de uma tarefa padrão Databricks Jobs. O senhor pode clicar no nó da tarefa For each na página de detalhes da execuçãoJob ou na célula correspondente na matriz view. Entretanto, diferentemente de uma tarefa padrão, os detalhes da execução de uma tarefa For each são apresentados como uma tabela das iterações da tarefa aninhada.

Para view somente iterações com falha, clique em Only failed iterations (Somente iterações com falha).

Para view o resultado de uma iteração, clique nos valores de tempo inicial ou tempo final da iteração.

visualizar a execução recente do trabalho em todos os trabalhos

O senhor pode view uma lista de execuções em andamento e concluídas recentemente para todos os trabalhos em um workspace ao qual tenha acesso, inclusive execuções iniciadas por ferramentas externas de orquestração, como Apache Airflow ou Azure Data Factory. Para view a lista de execução de trabalhos recentes:

1. Clique em fluxo de trabalho na barra lateral.

2. Clique em Job execução tab para exibir o gráfico de contagem de execuções concluídas e a lista de execuções Job.

Contagem de execução finalizada gráfica

O gráfico de contagem de execuções concluídas exibe o número de execuções de trabalhos concluídas nas últimas 48 horas. Em default, o gráfico exibe a execução do trabalho com falha, ignorada e bem-sucedida. O senhor também pode filtrar o gráfico para mostrar status de execução específicos ou restringir o gráfico a um intervalo de tempo específico. O site Job execução tab também inclui uma tabela de execução de trabalhos dos últimos 67 dias. Em default, a tabela inclui detalhes sobre a execução de trabalhos com falha, ignorados e bem-sucedidos.

Observação

O gráfico Finished execution count só é exibido quando o senhor clica em Owned by me.

O senhor pode filtrar a contagem de execuções concluídas por status de execução:

• Para atualizar o gráfico para mostrar o trabalho atualmente em execução ou aguardando execução, clique em Execução ativa.

• Para atualizar o gráfico de modo a mostrar apenas a execução concluída, incluindo execuções com falha, bem-sucedidas e ignoradas, clique em Execução concluída.

• Para atualizar o gráfico e mostrar apenas as execuções concluídas com êxito nas últimas 48 horas, clique em Successful execution (Execução bem-sucedida).

• Para atualizar o gráfico para mostrar apenas a execução ignorada, clique em Execução ignorada. são ignoradas porque o senhor excedeu o número máximo de execuções concorrente em seu site workspace ou o Job excedeu o número máximo de execuções concorrente especificado pela configuração do Job.

• Para atualizar o gráfico para mostrar apenas a execução que foi concluída em um estado de erro, clique em Failed execution (Execução com falha).

Quando o senhor clica em qualquer um dos botões de filtro, a lista de execuções na tabela de execuções também é atualizada para mostrar apenas as execuções de trabalho que correspondem ao status selecionado.

Para limitar o intervalo de tempo exibido no gráfico de contagem de execuções concluídas, clique e arraste o cursor no gráfico para selecionar o intervalo de tempo. O gráfico e a tabela de execução são atualizados para exibir a execução apenas do intervalo de tempo selecionado.

A tabela Top 5 error types (5 principais tipos de erro) exibe uma lista dos tipos de erro mais frequentes do intervalo de tempo selecionado, permitindo que o senhor veja rapidamente as causas mais comuns de problemas de trabalho em seu site workspace.

Job lista de execução

O site Job execução tab também inclui uma tabela de execução de trabalhos dos últimos 60 dias. Em default, a tabela inclui detalhes sobre a execução de trabalhos com falha, ignorados e bem-sucedidos.

O senhor pode filtrar a lista de execução mostrada na lista com base no seguinte:

• Job: Selecione até 3 trabalhos e veja apenas a execução desses trabalhos.

• execução como: Selecione até 3 identidades de execução como e veja apenas as execuções que foram executadas como esses usuários.

• Janela de tempo: Selecione a data e hora de início e término para restringir a execução do trabalho que ocorreu nesse intervalo.

• status da execução: Filtrar para ver apenas as execuções ativas (em execução no momento), concluídas (execução concluída, incluindo execuções bem-sucedidas e malsucedidas), bem-sucedidas, malsucedidas e ignoradas.

• Código de erro: Filtre a lista com base no código de erro para ver todos os trabalhos que falharam com o mesmo código de erro.

Em default, a lista de execução na tabela de execução exibe o seguinte:

• A hora de começar para a execução.

• O nome do trabalho associado à execução.

• O nome de usuário com o qual o trabalho é executado.

• Se a execução foi acionada por um Job programar ou uma solicitação API, ou se foi iniciada manualmente.

• O tempo decorrido para um trabalho em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder o tempo de conclusão esperado configurado.

• O status da execução: Enfileirada, Pendente, Em execução, Ignorada, Bem-sucedida, Falha, Tempo limite, Cancelamento ou Cancelada.

• Qualquer código de erro com o qual a execução foi encerrada.

• Quaisquer parâmetros para a execução.

• Para interromper um trabalho em execução, clique no botão stop. Para acessar as ações do Job, clique em (por exemplo, para interromper uma execução ativa ou excluir uma execução concluída).

Para alterar as colunas exibidas na lista de execução, clique em e selecione ou desmarque as colunas.

Para view detalhes da execução do trabalho, clique no link na coluna de tempo inicial da execução. Para acessar view os detalhes do trabalho, clique no nome do trabalho na coluna Job coluna.

Visualizar e executar um Job criado com um Databricks ativo Bundle

O senhor pode usar a UI Databricks Jobs para view e executar o Job implantado por um Bundle ativoDatabricks . Em default, esses trabalhos são somente leitura na UI de trabalhos. Para editar um trabalho implantado por um pacote, altere o arquivo de configuração do pacote e reimplante o trabalho. A aplicação de alterações apenas na configuração do pacote garante que os arquivos de origem do pacote sempre capturem a configuração atual do trabalho.

No entanto, se precisar fazer alterações imediatas em um Job, o senhor pode desconectar o Job da configuração do pacote para permitir a edição das configurações do Job na interface do usuário. Para desconectar o trabalho, clique em Disconnect from source (Desconectar da fonte). Na caixa de diálogo Desconectar da fonte, clique em Desconectar para confirmar.

As alterações que o senhor fizer no Job na interface do usuário não serão aplicadas à configuração do pacote. Para aplicar as alterações feitas na interface do usuário ao pacote, você deve atualizar manualmente a configuração do pacote. Para reconectar o trabalho à configuração do pacote, reimplante o trabalho usando o pacote.

Exportar resultados da execução do trabalho

O senhor pode exportar os resultados da execução do Notebook e da execução do Job logs para todos os tipos de Job.

Exportar resultados da execução do Notebook

O senhor pode manter a execução do trabalho exportando seus resultados. Para a execução do Notebook Job, o senhor pode exportar um Notebook renderizado que pode ser importado posteriormente para o seu Databricks workspace.

Para exportar os resultados da execução do Notebook para um trabalho com uma única tarefa:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna execução da tabela Execução concluída (últimos 60 dias).

2. Clique em Exportar para HTML.

Para exportar os resultados da execução do Notebook para um trabalho com várias tarefas:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna execução da tabela Execução concluída (últimos 60 dias).

2. Clique na tarefa Notebook para exportar.

3. Clique em Exportar para HTML.

Export Job execução logs

O senhor também pode exportar o site logs para a execução do seu trabalho. O senhor pode configurar seu trabalho para entregar automaticamente logs para DBFS ao configurar o trabalho compute (consulte a referência de configuração de computação) ou por meio do Job API. Veja o objeto new_cluster.cluster_log_conf no corpo da solicitação passado para a operação Create a new Job (POST /jobs/create) em Jobs API.