Adicionar tarefa ao trabalho em Databricks ativo Bundles
Este artigo fornece exemplos de vários tipos de tarefas que o senhor pode adicionar ao Databricks Job em Databricks ativo Bundles. Consulte O que são pacotes ativos da Databricks?
A maioria dos tipos de tarefa de trabalho tem parâmetros específicos de tarefa entre suas configurações suportadas, mas o senhor também pode definir parâmetros de trabalho que são passados para a tarefa. As referências de valores dinâmicos são suportadas para os parâmetros do trabalho, o que permite passar valores específicos para a execução do trabalho entre as tarefas. Veja o contexto do Pass sobre a execução do Job na tarefa do Job.
Observação
O senhor pode substituir as configurações da Job tarefa. Consulte Substituir as configurações de Job tarefa em Databricks ativo Bundles.
Dica
Para gerar rapidamente a configuração de recurso para um site existente Job usando o comando Databricks CLIo senhor pode usar o comando bundle generate job
. Ver comando de pacote.
Tarefa Notebook
Você usa esta tarefa para executar um Notebook.
O exemplo a seguir adiciona uma tarefa Notebook a um Job e define um parâmetro Job chamado my_job_run_id
. O caminho para o Notebook a ser implantado é relativo ao arquivo de configuração no qual essa tarefa é declarada. A tarefa recebe o Notebook de seu local implantado no Databricks workspace. (As elipses indicam conteúdo omitido, para fins de concisão).
# ...
resources:
jobs:
my-notebook-job:
name: my-notebook-job
# ...
tasks:
- task_key: my-notebook-task
notebook_task:
notebook_path: ./my-notebook.ipynb
parameters:
- name: my_job_run_id
default: "{{job.run_id}}"
# ...
# ...
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > notebook_task
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também "Notebook" nas opções de tipo de tarefa e Passar parâmetros para uma tarefa de trabalho Databricks .
Tarefa de script Python
Você usa esta tarefa para executar um arquivo Python.
O exemplo a seguir adiciona um script Python tarefa a um Job. O caminho para o arquivo Python a ser implantado é relativo ao arquivo de configuração no qual essa tarefa é declarada. A tarefa obtém o arquivo Python de seu local implantado no site Databricks workspace. (As elipses indicam conteúdo omitido, para fins de concisão).
# ...
resources:
jobs:
my-python-script-job:
name: my-python-script-job
# ...
tasks:
- task_key: my-python-script-task
spark_python_task:
python_file: ./my-script.py
# ...
# ...
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > spark_python_task
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também "Python script" nas opções de tipo de tarefa e Passar parâmetros para uma tarefa Databricks Job.
Tarefa Python wheel
O senhor usa essa tarefa para executar um arquivo Python wheel.
O exemplo a seguir adiciona uma tarefa Python wheel a um Job. O caminho para o arquivo Python wheel a ser implantado é relativo ao arquivo de configuração no qual essa tarefa é declarada. Consulte Databricks ativo Bundles biblioteca dependencies. (As elipses indicam conteúdo omitido, para fins de concisão).
# ...
resources:
jobs:
my-python-wheel-job:
name: my-python-wheel-job
# ...
tasks:
- task_key: my-python-wheel-task
python_wheel_task:
entry_point: run
package_name: my_package
libraries:
- whl: ./my_package/dist/my_package-*.whl
# ...
# ...
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > python_wheel_task
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também Develop a Python wheel file using Databricks ativo Bundles e "Python wheel" in tarefa type options e Pass parameters to a Databricks Job tarefa.
Tarefa JAR
O senhor usa essa tarefa para executar a JAR. O senhor pode fazer referência a uma biblioteca local JAR ou a uma biblioteca em workspace, a um volume Unity Catalog ou a um local de armazenamento externo cloud. Consulte Databricks ativo Bundles biblioteca dependencies.
O exemplo a seguir adiciona uma tarefa JAR a um Job. O caminho para o JAR é para o local do volume especificado. (As reticências indicam conteúdo omitido, por questões de brevidade.)
# ...
resources:
jobs:
my-jar-job:
name: my-jar-job
# ...
tasks:
- task_key: my-jar-task
spark_jar_task:
main_class_name: org.example.com.Main
libraries:
- jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar
# ...
# ...
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > spark_jar_task
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também "JAR" nas opções de tipo de tarefa e Passar parâmetros para uma tarefa de trabalho Databricks .
Tarefa do arquivo SQL
O senhor usa essa tarefa para executar um arquivo SQL localizado em um workspace ou em um repositório Git remoto.
O exemplo a seguir adiciona uma tarefa de arquivo SQL a um site Job. Essa tarefa de arquivo SQL usa o endereço SQL warehouse especificado para executar o arquivo SQL especificado. (As elipses indicam conteúdo omitido, para fins de concisão).
# ...
resources:
jobs:
my-sql-file-job:
name: my-sql-file-job
# ...
tasks:
- task_key: my-sql-file-task
sql_task:
file:
path: /Users/someone@example.com/hello-world.sql
source: WORKSPACE
warehouse_id: 1a111111a1111aa1
# ...
# ...
Para obter o ID do SQL warehouse, abra a página de configurações do SQL warehousee copie o ID encontrado entre parênteses após o nome do depósito no campo Name (Nome ) na Visão Geral do tab.
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > sql_task > file
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também "SQL: Arquivo" em Opções de tipo de tarefa.
Tarefa do pipeline Delta Live Tables
Você usa esta tarefa para executar um pipeline Delta Live Tables. Consulte O que são Delta Live Tables?.
O exemplo a seguir adiciona uma tarefa de pipeline Delta Live Tables a um Job. Esta tarefa de pipeline do Delta Live Tables executa o pipeline especificado. (As reticências indicam conteúdo omitido, por questões de brevidade.)
# ...
resources:
jobs:
my-pipeline-job:
name: my-pipeline-job
# ...
tasks:
- task_key: my-pipeline-task
pipeline_task:
pipeline_id: 11111111-1111-1111-1111-111111111111
# ...
# ...
O senhor pode obter o ID de um pipeline abrindo o pipeline no workspace e copiando o valor do ID dopipeline no pipeline details tab da página de configurações do pipeline.
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > pipeline_task
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também "Delta Live Tables pipeline" nas opções do tipo tarefa.
tarefa dbt
O senhor usa essa tarefa para executar um ou mais comandos dbt. Consulte Conectar-se ao dbt Cloud.
O exemplo a seguir adiciona uma tarefa dbt a um trabalho. Esta dbt tarefa usa o SQL warehouse especificado para executar o dbt comando especificado.
# ...
resources:
jobs:
my-dbt-job:
name: my-dbt-job
# ...
tasks:
- task_key: my-dbt-task
dbt_task:
commands:
- "dbt deps"
- "dbt seed"
- "dbt run"
project_directory: /Users/someone@example.com/Testing
warehouse_id: 1a111111a1111aa1
libraries:
- pypi:
package: "dbt-databricks>=1.0.0,<2.0.0"
# ...
# ...
Para obter o ID do SQL warehouse, abra a página de configurações do SQL warehousee copie o ID encontrado entre parênteses após o nome do depósito no campo Name (Nome ) na Visão Geral do tab.
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > dbt_task
no payload da solicitação de criação de operações de trabalho, conforme definido em POST /api/2.1/Job/create na referência REST API , expresso no formato YAML. Consulte também "dbt" em Opções de tipo de tarefa.
Databricks O ativo Bundles também inclui um padrão de projeto dbt-sql
que define um trabalho com uma tarefa dbt, bem como perfis dbt para o trabalho dbt implantado. Para obter informações sobre Databricks ativo Bundles padrão, consulte Use a default bundle padrão.
Execução Job task
O senhor usa essa tarefa para executar outra Job.
O exemplo a seguir contém uma tarefa de execução Job no segundo Job que executa o primeiro Job.
# ...
resources:
jobs:
my-first-job:
name: my-first-job
tasks:
- task_key: my-first-job-task
new_cluster:
spark_version: "13.3.x-scala2.12"
node_type_id: "i3.xlarge"
num_workers: 2
notebook_task:
notebook_path: ./src/test.py
my_second_job:
name: my-second-job
tasks:
- task_key: my-second-job-task
run_job_task:
job_id: ${resources.jobs.my-first-job.id}
# ...
Este exemplo usa uma substituição para recuperar o ID do trabalho a ser executado. Para obter o ID de um trabalho na interface do usuário, abra o trabalho em workspace e copie o ID do valor Job ID em Job details tab da página de configurações do trabalho.
Para obter mapeamentos adicionais que o senhor pode definir para essa tarefa, consulte tasks > run_job_task
no payload da solicitação create Job operações, conforme definido em POST /api/2.1/Job/create na referência da API REST, expresso no formato YAML.