Configurar e editar os Jobs do Databricks

Este artigo se concentra nas instruções para criar, configurar e editar o trabalho usando o fluxo de trabalho workspace UI. O Databricks tem outros pontos de entrada e ferramentas para configuração, incluindo os seguintes:

Para saber mais sobre como usar o Databricks CLI para criar e executar um trabalho, consulte O que é o Databricks CLI?
Para saber mais sobre como usar a API de jobs para criar e executar jobs, consulte Trabalhos na referência da API REST.
Para saber como executar e agendar jobs diretamente em um notebook Databricks, consulte Criar e gerenciar jobs de notebook agendados.

Dica

Para view um trabalho como YAML, clique no menu kebab à esquerda de executar agora o trabalho e, em seguida, clique em Mudar para a versão do código (YAML).

Criar um novo trabalho

Esta seção descreve a configuração mínima necessária para criar um novo Job para programar uma tarefa de Notebook com a UI do workspace.

Os trabalhos contêm uma ou mais tarefas. O senhor cria um novo trabalho configurando a primeira tarefa para esse trabalho.

Observação

Cada tipo de tarefa tem opções de configuração dinâmica na interface do usuário workspace. Consulte Configurar e editar Databricks tarefa.

Clique em fluxo de trabalho na barra lateral e clique em .
Digite um nome de tarefa.
Selecione um Notebook para o campo Path (Caminho ).
Selecione uma opção de computação. Databricks recomenda sempre usar o Job compute ao configurar a tarefa.
Clique em Criar tarefa.

Um novo trabalho aparece na lista workspace Job com o nome default New Job <date> <time>.

Selecione um trabalho para editar na seção workspace

Para editar um trabalho existente com a interface do usuário workspace, faça o seguinte:

Clique em fluxo de trabalho na barra lateral.
Na coluna Nome, clique no nome do cargo.

Use a Job UI para fazer o seguinte:

Editar configurações de trabalho
Renomear, clonar ou excluir um Job
Adicionar uma nova tarefa a um trabalho existente
Editar configurações de tarefa

Observação

O senhor também pode view as definições de JSON para uso com REST API get, create e Reset endpoint.

Editar configurações do trabalho

O painel lateral contém os detalhes do siteJob . O senhor pode alterar o acionador do trabalho, a configuração do compute, as notificações, o número máximo de execuções concorrente, configurar o limite de duração e adicionar ou alterar o tags. O senhor também pode editar as permissões do trabalho se o controle de acesso ao trabalho estiver ativado.

Adicionar parâmetros para todas as tarefas de trabalho

Os parâmetros configurados no nível do Job são passados para a tarefa do Job que aceita parâmetros key-value, incluindo arquivos Python wheel configurados para aceitar argumentos de palavras-chave. Consulte Parameterize Job.

Adicionar tags a um trabalho

Para adicionar atributos de rótulo ou key-value ao seu trabalho, o senhor pode adicionar tags ao editar o trabalho. O senhor pode usar tags para filtrar o trabalho na lista Jobs. Por exemplo, o senhor pode usar department tag para filtrar todos os trabalhos que pertencem a um departamento específico.

Observação

Como o Job tags não foi projetado para armazenar informações confidenciais, como informações de identificação pessoal ou senhas, o Databricks recomenda o uso do tags somente para valores não confidenciais.

As tags também se propagam para o Job clusters criado quando um Job é executado, permitindo que o senhor use o tags com o seu monitoramentocluster existente.

Clique em + tag no painel lateral de detalhes doJob para adicionar ou editar o tags. O senhor pode adicionar o tag como um rótulo ou par key-value. Para adicionar um rótulo, digite o rótulo no campo de chave e deixe o campo Value vazio.

Renomear, clonar ou excluir um Job

Para renomear um trabalho, vá até a interface do usuário do trabalho e clique no nome do trabalho.

O senhor pode criar rapidamente um novo Job clonando um Job existente. A clonagem de um trabalho cria uma cópia idêntica do trabalho, exceto pelo ID do trabalho. Para clonar um Job, faça o seguinte:

Acesse a Job UI para o trabalho.
Clique em ao lado do botão executar agora.
Selecione Clone Job no menu suspenso.
Digite um nome para o Job clonado.
Clique em Clonar.

Excluir um job

Para excluir um trabalho, vá para a página do trabalho, clique em ao lado do nome do trabalho e selecione Delete Job (Excluir trabalho ) no menu suspenso.

Use Git com Job

Se o seu trabalho contiver alguma tarefa que suporte o uso de um provedor Git remoto, a interface do usuário do trabalho conterá um campo Git e a opção de adicionar ou editar as configurações de Git.

O senhor pode configurar os seguintes tipos de tarefa para usar um repositório Git remoto:

Notebooks
Scripts Python
Arquivos SQL
dbt

Todas as tarefas em um trabalho devem fazer referência ao mesmo commit no repositório remoto. O senhor deve especificar apenas um dos seguintes itens para um trabalho que usa um repositório remoto:

branch: O nome do branch, por exemplo, main.
tag: O nome da tag, por exemplo, release-1.0.0.
commit: O hash de um commit específico, por exemplo, e0056d01.

Quando a execução de um trabalho começa, o site Databricks obtém um Snapshot commit do repositório remoto para garantir que todo o trabalho seja executado com a mesma versão do código.

Quando o senhor view o histórico de execução de uma tarefa que executa código armazenado em um repositório Git remoto, o painel de detalhes da execução da tarefa inclui detalhes Git, inclusive o SHA commit associado à execução. Veja a história da tarefa execução.

Observação

A tarefa configurada para usar um repositório Git remoto não pode gravar em arquivos workspace. Essas tarefas devem gravar dados temporários no armazenamento efêmero anexado ao nó do driver do site compute configurado para executar a tarefa e dados persistentes em um volume ou tabela.

Databricks recomenda fazer referência aos caminhos workspace nas pastas Git apenas para iteração e testes rápidos durante o desenvolvimento. À medida que o senhor transfere o Job para a fase de preparação e produção, o site Databricks recomenda configurá-lo para fazer referência a um repositório Git remoto. Para saber mais sobre como usar um repositório Git remoto com um trabalho Databricks, consulte a seção a seguir.

Configurar um provedor Git

A Job UI tem uma caixa de diálogo para configurar um repositório Git remoto. Essa caixa de diálogo pode ser acessada no painel de detalhes doJob sob o título Git ou em qualquer tarefa configurada para usar um provedorGit .

As opções exibidas para acessar a caixa de diálogo variam de acordo com o tipo de tarefa e se uma referência git já foi configurada ou não para o trabalho. Os botões para abrir a caixa de diálogo incluem Adicionar configurações do Git, Editar ou Adicionar uma referência do git.

Na caixa de diálogo Git informações (apenas o rótulo Git se o acesso for feito pelo painel de detalhesJob ), insira os seguintes detalhes:

O URL do repositório Git.
Selecione seu provedorGit na lista dropdown.
No campo de referênciaGit , digite o identificador de uma ramificação, tag, ou commit que corresponda à versão do código-fonte que o senhor deseja executar.
Selecione o ramo, tag, ou commit no site dropdown.

Observação

A caixa de diálogo pode solicitar o seguinte: Git credenciais para este account estão faltando. Adicione as credenciais. O senhor deve configurar um repositório Git remoto antes de usá-lo como referência. Consulte Configurar pastas Git do Databricks (Repos).

Configurar o limite de duração da execução do trabalho ou o backlog de transmissão métricas

Prévia

A observabilidade da transmissão para Databricks Jobs está em Public Preview.

O senhor pode configurar limites opcionais para a duração da execução do trabalho ou para as métricas do backlog de transmissão. Para configurar o limite de duração ou de transmissão métricas, clique em duração e limite de transmissão backlog no painel de detalhes do siteJob .

Para configurar o limite de duração do trabalho, incluindo os tempos de conclusão esperado e máximo para o trabalho, selecione duração da execução no menu suspenso de métricas. Digite uma duração no campo Warning (Aviso) para configurar o tempo de conclusão esperado do trabalho. Se o trabalho exceder esse limite, um evento será acionado. O senhor pode usar esse evento para notificar quando um trabalho estiver sendo executado lentamente. Consulte Configurar notificações para trabalhos lentos. Para configurar um tempo máximo de conclusão para um trabalho, digite a duração máxima no campo Timeout (Tempo limite ). Se o trabalho não for concluído nesse período, o site Databricks definirá seu status como "Timed Out".

Para configurar um limite para um backlog de transmissão de métricas, selecione as métricas no menu suspenso de métricas e insira um valor para o limite. Para saber mais sobre as métricas específicas suportadas por uma fonte de transmissão, consulte view métricas for transmission tarefa.

Se um evento for acionado porque um limite foi excedido, o senhor poderá usar o evento para enviar uma notificação. Consulte Configurar notificações para trabalhos lentos.

Opcionalmente, o senhor pode especificar a duração limite da tarefa. Consulte Configurar limite para tarefa execução duração ou transmissão backlog métricas.