monitoramento e observabilidade para Databricks Jobs

Este artigo descreve o recurso disponível na interface do usuário Databricks para view o trabalho ao qual o senhor tem acesso, view o histórico de execução de um trabalho e view os detalhes da execução do trabalho. Para configurar as notificações para o Job, consulte Adicionar notificações em um Job.

Para saber como usar o Databricks CLI a view Job e executar o Job, execute o CLI comando databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Para saber mais sobre como usar a API de Jobs, consulte a API de Jobs.

Se o senhor tiver acesso ao esquema system.lakeflow, também poderá view e consultar os registros de execução e tarefa do trabalho em todo o seu account. Consulte a referência da tabela do sistema Jobs.

ver Trabalho

Para view a lista de trabalhos aos quais o senhor tem acesso, clique em fluxo de trabalho na barra lateral. O site Jobs tab na UI do fluxo de trabalho lista informações sobre todos os trabalhos disponíveis, como o criador do trabalho, o acionador do trabalho, se houver, e o resultado da última execução.

Para alterar as colunas exibidas na lista de trabalhos, clique em e selecione ou desmarque as colunas.

O senhor pode filtrar o Job na lista Jobs:

• Usando palavras-chave. Se o senhor tiver ativado o recurso de aumento do limite de trabalhos para este workspace, a pesquisa por palavras-chave será suportada somente para os campos nome, ID do trabalho e trabalho tag.

• Selecionando apenas o trabalho que o senhor possui.

• Selecionando todos os trabalhos que o senhor tem permissão para acessar.

• Usando tags. Para pesquisar um tag criado apenas com um key, digite o key na caixa de pesquisa. Para pesquisar um tag criado com um key e um valor, o senhor pode pesquisar pelo key, pelo valor ou pelo key e pelo valor. Por exemplo, para um tag com o key department e o valor finance, o senhor pode pesquisar department ou finance para encontrar um trabalho correspondente. Para pesquisar pelo endereço key e pelo valor, digite key e o valor separados por dois pontos; por exemplo, department:finance.

O senhor também pode clicar em qualquer cabeçalho de coluna para classificar a lista de trabalhos (descendente ou ascendente) por essa coluna. Quando o recurso de aumento do limite de trabalho está ativado, o senhor pode classificar apenas por Name, Job ID ou Created by. A classificação default é feita por Name em ordem crescente.

Clique em para acessar as ações do trabalho, por exemplo, excluir o trabalho.

ver execução para um trabalho

O senhor pode view uma lista de execuções em andamento e concluídas recentemente para todos os trabalhos aos quais tem acesso, inclusive execuções iniciadas por ferramentas de orquestração externas, como Apache Airflow ou Azure Data Factory. Para view a lista de execução de trabalhos recentes:

1. Clique em fluxo de trabalho na barra lateral.

2. Na coluna Name (Nome ), clique em um nome de trabalho. A execução tab é exibida com matriz e visualização de lista de execuções ativas e concluídas.

A matriz view mostra um histórico de execução do trabalho, incluindo cada tarefa do trabalho.

A linha de duração total da execução da matriz exibe a duração total da execução e o estado da execução. Para view detalhes da execução, incluindo a hora de início, a duração e o status, passe o mouse sobre a barra na linha de duração total da execução.

Cada célula na linha de tarefas representa uma tarefa e o status correspondente da tarefa. Para acessar view os detalhes de cada tarefa, inclusive o horário de início, duração, cluster e status, passe o mouse sobre a célula dessa tarefa.

As barras de execução do trabalho e de execução da tarefa são codificadas por cores para indicar o status da execução. A execução bem-sucedida é verde, a execução malsucedida é vermelha e a execução ignorada é rosa. A altura das barras individuais de execução do trabalho e de execução da tarefa indica visualmente a duração da execução.

Se o senhor tiver configurado um tempo de conclusão esperado, a matriz view exibirá um aviso quando a duração de uma execução exceder o tempo configurado.

Em default, a lista de execução view é exibida:

• A hora de começar para a execução.

• O identificador de execução.

• Se a execução foi acionada por um Job programar ou uma solicitação API, ou se foi iniciada manualmente.

• O tempo decorrido para um trabalho em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder o tempo de conclusão esperado configurado.

• Links para o site Spark logs.

• O status da execução, Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling ou Waiting for Retry.

• Clique em para acessar ações específicas de contexto para a execução, por exemplo, interromper uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na lista de execução view, clique em e selecione ou desmarque as colunas.

Para acessar view os detalhes de uma execução de trabalho, clique no link da execução na coluna começar time na lista de execuções view. Para acessar view detalhes da execução bem-sucedida mais recente desse trabalho, clique em Go to the latest successful execution.

Databricks mantém um histórico da execução de seu trabalho por até 60 dias. Se o senhor precisar preservar a execução do trabalho, o site Databricks recomenda exportar os resultados antes que eles expirem. Para obter mais informações, consulte Exportar resultados da execução do trabalho.

Ver detalhes da execução do trabalho

A página de detalhes da execução do trabalho contém a saída do trabalho e links para logs, incluindo informações sobre o sucesso ou a falha de cada tarefa na execução do trabalho. O senhor pode acessar os detalhes da execução do trabalho no site tab para o trabalho. Para view detalhes da execução do trabalho a partir da execução tab, clique no link da execução na coluna começar time na lista de execuções view. Para retornar à execução tab do Job, clique no valor Job ID.

Se o trabalho contiver várias tarefas, clique em uma tarefa para acessar view detalhes da execução da tarefa, inclusive:

• o cluster que executa a tarefa

  • O site Spark UI para a tarefa

  • logs para a tarefa

  • métricas para a tarefa

Clique no valor Job ID para retornar à execução tab do Job.

Como o site Databricks determina o status de execução do trabalho?

Databricks determina se a execução de um trabalho foi bem-sucedida com base no resultado da tarefa de folha do trabalho. Uma tarefa folha é uma tarefa que não tem dependências downstream. A execução de um trabalho pode ter um dos três resultados:

• Foi bem-sucedido: Todas as tarefas foram bem-sucedidas.

• Foi bem-sucedido com falhas: Algumas tarefas falharam, mas todas as tarefas de folhas foram bem-sucedidas.

• Failed (Falha): Uma ou mais tarefas de folha falharam.

view métricas para transmissão tarefa

Prévia

A observabilidade da transmissão para Databricks Jobs está em Public Preview.

Ao acessar view os detalhes da execução do trabalho, o senhor pode obter dados sobre cargas de trabalho de transmissão com métricas de observabilidade de transmissão na UI do trabalho. Essas métricas incluem segundos de backlog, bytes de backlog, registros de backlog e arquivos de backlog para fontes suportadas por Spark transmissão estruturada, incluindo Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub e tabelas Delta. métricas são exibidas como gráficos no painel direito quando o senhor acessa view os detalhes de execução de uma tarefa. As métricas mostradas em cada gráfico são valores máximos agregados por minuto e podem incluir até as 48 horas anteriores.

Cada fonte de transmissão suporta apenas métricas específicas. As métricas não suportadas por uma fonte de transmissão não estão disponíveis para view na UI. A tabela a seguir mostra as métricas disponíveis para as fontes de transmissão suportadas:

Origem	bytes da lista de pendências	registros de pendências	segundos de atraso	arquivos de lista de pendências
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Auto Loader	✓			✓
Google Pub/Sub	✓	✓

O senhor também pode especificar limites para cada transmissão métrica e configurar notificações se uma transmissão exceder um limite durante a execução de uma tarefa. Consulte Configurar notificações para trabalhos lentos.

Para view transmissão métricas para a execução de uma tarefa que transmite dados de uma das fontes de transmissão estruturadas suportadas:

1. Na página de detalhes da execuçãoJob , clique na tarefa para a qual o senhor deseja view métricas.

2. Clique em métricas tab no painel de execução de tarefas.

3. Para abrir o gráfico de uma métrica, clique em ao lado do nome da métrica.

4. Para view as métricas de uma transmissão específica, insira o ID da transmissão na caixa de texto Filter by transmission (Filtrar por transmissão ). O senhor pode encontrar o ID da transmissão na saída da execução do trabalho.

5. Para alterar o período de tempo para as métricas gráficas, use o menu suspenso de tempo.

6. Para percorrer a transmissão, se a execução contiver mais de dez transmissões, clique em Next ou Previous.

limitações de observabilidade da transmissão

• As métricas são atualizadas a cada minuto, a menos que uma execução tenha mais de quatro transmissões. Se uma execução tiver mais de quatro transmissões, as métricas serão atualizadas a cada cinco minutos.

• As métricas são coletadas apenas para as primeiras cinquenta transmissões em cada execução.

view tarefa execução história

Para view a história da execução de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

1. Clique em uma tarefa na página de detalhes da execuçãoJob . A página de detalhes da execução da tarefa é exibida.

2. Selecione a tarefa execução no menu suspenso execução história.

view tarefa execution história for a For each tarefa

O acesso ao histórico de execução de uma tarefa For each é o mesmo que o de uma tarefa padrão Databricks Jobs. O senhor pode clicar no nó da tarefa For each na página de detalhes da execuçãoJob ou na célula correspondente na matriz view. Entretanto, diferentemente de uma tarefa padrão, os detalhes da execução de uma tarefa For each são apresentados como uma tabela das iterações da tarefa aninhada.

Para view somente iterações com falha, clique em Only failed iterations (Somente iterações com falha).

Para view o resultado de uma iteração, clique nos valores de tempo inicial ou tempo final da iteração.

view recent Job execução

O senhor pode view uma lista de execuções em andamento e concluídas recentemente para todos os trabalhos em um workspace ao qual tenha acesso, inclusive execuções iniciadas por ferramentas externas de orquestração, como Apache Airflow ou Azure Data Factory. Para view a lista de execução de trabalhos recentes:

1. Clique em fluxo de trabalho na barra lateral.

2. Clique em Job execução tab para exibir a lista Job execução.

O gráfico de contagem de execuções concluídas exibe o número de execuções de trabalhos concluídas nas últimas 48 horas. Em default, o gráfico exibe a execução do trabalho com falha, ignorada e bem-sucedida. O senhor também pode filtrar o gráfico para mostrar status de execução específicos ou restringir o gráfico a um intervalo de tempo específico. O site Job execução tab também inclui uma tabela de execução de trabalhos dos últimos 67 dias. Em default, a tabela inclui detalhes sobre a execução de trabalhos com falha, ignorados e bem-sucedidos.

Observação

O gráfico Finished execution count só é exibido quando o senhor clica em Owned by me.

O senhor pode filtrar a contagem de execuções concluídas por status de execução:

• Para atualizar o gráfico para mostrar o trabalho atualmente em execução ou aguardando execução, clique em Execução ativa.

• Para atualizar o gráfico de modo a mostrar apenas a execução concluída, incluindo execuções com falha, bem-sucedidas e ignoradas, clique em Execução concluída.

• Para atualizar o gráfico e mostrar apenas as execuções concluídas com êxito nas últimas 48 horas, clique em Successful execution (Execução bem-sucedida).

• Para atualizar o gráfico para mostrar apenas a execução ignorada, clique em Execução ignorada. são ignoradas porque o senhor excedeu o número máximo de execuções concorrente em seu site workspace ou o Job excedeu o número máximo de execuções concorrente especificado pela configuração do Job.

• Para atualizar o gráfico para mostrar apenas a execução que foi concluída em um estado de erro, clique em Failed execution (Execução com falha).

Quando o senhor clica em qualquer um dos botões de filtro, a lista de execuções na tabela de execuções também é atualizada para mostrar apenas as execuções de trabalho que correspondem ao status selecionado.

Para limitar o intervalo de tempo exibido no gráfico de contagem de execuções concluídas, clique e arraste o cursor no gráfico para selecionar o intervalo de tempo. O gráfico e a tabela de execução são atualizados para exibir a execução apenas do intervalo de tempo selecionado.

Em default, a lista de execuções na tabela de execuções é exibida:

• A hora de começar para a execução.

• O nome do trabalho associado à execução.

• O nome de usuário com o qual o trabalho é executado.

• Se a execução foi acionada por um Job programar ou uma solicitação API, ou se foi iniciada manualmente.

• O tempo decorrido para um trabalho em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder o tempo de conclusão esperado configurado.

• O status da execução, Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling ou Waiting for Retry.

• Quaisquer parâmetros para a execução.

• Clique em para acessar ações específicas de contexto para a execução, por exemplo, interromper uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na lista de execução, clique em e selecione ou desmarque as colunas.

A tabela Top 5 error types (5 principais tipos de erro) exibe uma lista dos tipos de erro mais frequentes do intervalo de tempo selecionado, permitindo que o senhor veja rapidamente as causas mais comuns de problemas de trabalho em seu site workspace.

Para view detalhes da execução do trabalho, clique no link na coluna de tempo inicial da execução. Para acessar view os detalhes do trabalho, clique no nome do trabalho na coluna Job coluna.

Visualizar e executar um Job criado com um Databricks ativo Bundle

O senhor pode usar a UI Databricks Jobs para view e executar o Job implantado por um Bundle ativoDatabricks . Em default, esses trabalhos são somente leitura na UI de trabalhos. Para editar um trabalho implantado por um pacote, altere o arquivo de configuração do pacote e reimplante o trabalho. A aplicação de alterações apenas na configuração do pacote garante que os arquivos de origem do pacote sempre capturem a configuração atual do trabalho.

No entanto, se precisar fazer alterações imediatas em um Job, o senhor pode desconectar o Job da configuração do pacote para permitir a edição das configurações do Job na interface do usuário. Para desconectar o trabalho, clique em Disconnect from source (Desconectar da fonte). Na caixa de diálogo Desconectar da fonte, clique em Desconectar para confirmar.

As alterações que o senhor fizer no Job na interface do usuário não serão aplicadas à configuração do pacote. Para aplicar as alterações feitas na interface do usuário ao pacote, você deve atualizar manualmente a configuração do pacote. Para reconectar o trabalho à configuração do pacote, reimplante o trabalho usando o pacote.

Exportar resultados da execução do trabalho

O senhor pode exportar os resultados da execução do Notebook e da execução do Job logs para todos os tipos de Job.

Exportar resultados da execução do Notebook

O senhor pode manter a execução do trabalho exportando seus resultados. Para a execução do Notebook Job, o senhor pode exportar um Notebook renderizado que pode ser importado posteriormente para o seu Databricks workspace.

Para exportar os resultados da execução do Notebook para um trabalho com uma única tarefa:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna execução da tabela Execução concluída (últimos 60 dias).

2. Clique em Exportar para HTML.

Para exportar os resultados da execução do Notebook para um trabalho com várias tarefas:

1. Na página de detalhes do trabalho, clique no link Exibir detalhes da execução na coluna execução da tabela Execução concluída (últimos 60 dias).

2. Clique na tarefa Notebook para exportar.

3. Clique em Exportar para HTML.

Export Job execução logs

O senhor também pode exportar o site logs para a execução do seu trabalho. O senhor pode configurar seu trabalho para entregar automaticamente logs para DBFS por meio do site Job API. Veja o objeto new_cluster.cluster_log_conf no corpo da solicitação passado para a operação Create a new Job (POST /jobs/create) em Jobs API.