Parametrizar o trabalho

Este artigo fornece uma visão geral do uso de parâmetros com Job e tarefa.

Os conceitos fundamentais para entender os parâmetros do Job são os seguintes:

• Job parâmetro: Um par key-valor definido no nível do trabalho e enviado para a tarefa. Consulte Configurar parâmetros do trabalho.

• parâmetro da tarefa: Um par key-value ou JSON array definido no nível da tarefa. Consulte Configurar parâmetros da tarefa.

• Referências de valores dinâmicos: Uma sintaxe para referências Condições de trabalho, metadados e parâmetros. Consulte O que é uma referência de valor dinâmico?.

• valores da tarefa: Uma sintaxe para capturar e referenciar valores gerados durante a execução da tarefa. Consulte Usar valores de tarefa para passar informações entre tarefas.

O que você pode fazer com os parâmetros?

Adicionar parâmetros ao Job e à tarefa para casos de uso avançado, incluindo o seguinte:

• Adicionar lógica extensível ao código ativo.

• Condicionalizar a execução.

• Referenciar parâmetros comuns em várias tarefas.

• Usar as informações geradas em uma tarefa em outra tarefa.

• Metadados de referência e informações de estado na execução do trabalho.

Qual é a diferença entre os parâmetros Job e tarefa?

Job Os parâmetros são par key-value definidos no nível do trabalho. O senhor pode substituir as configurações do default para os parâmetros do Job quando executar agora com parâmetros diferentes ou acionar a execução de um Job usando o REST API. Job são transferidos para a tarefa que usa os parâmetros key-value. Outras tarefas podem fazer referência a parâmetros do Job usando referências de valores dinâmicos.

Os parâmetros da tarefa são par key-value of JSON arrays defined at the tarefa level. Cada tipo de tarefa passa os valores de tarefa para o código ativo configurado de forma diferente. Por exemplo, a tarefa do Notebook usa o submódulo dbutils.widgets, enquanto os scripts do Python passam valores como argumentos para o script, como se ele estivesse sendo chamado na linha de comando. A tarefa downstream pode fazer referência aos parâmetros da tarefa upstream usando referências de valores dinâmicos.

Observação

Algumas tarefas não têm um campo Parameters (Parâmetros ) dedicado, mas permitem referências a valores de tarefas ou referências de valores dinâmicos em outros campos. Consulte Exemplos de comando parametrizado em dbt e Adicionar lógica de ramificação a um trabalho com a tarefa If/else.

Criar fluxo de trabalho usando valores dinâmicos

Os parâmetros da tarefa definidos com valores estáticos só podem ser substituídos pela atualização da definição da tarefa. Definir um valor estático para um parâmetro de trabalho é apenas configurar um valor default, que o senhor pode substituir quando executar agora com parâmetros diferentes ou acionar a execução de um trabalho usando o REST API.

Use referências de valores dinâmicos ao definir parâmetros de tarefa para implementar padrões como os seguintes:

• Use um parâmetro de trabalho como output_table para uma tarefa e input_table para outra.

• Capture a saída de uma consulta do Notebook como uma lista e faça um loop sobre ela em uma tarefa For each.

• Criação de lógica de bifurcação com base no número de registros processados usando uma tarefa de condição If/else.

• Consulte os parâmetros de outras tarefas.

Consulte O que é uma referência de valor dinâmico?.