Folha de dicas do programador Job de produção

Este artigo tem como objetivo fornecer orientação clara e opinativa para programar Job de produção. O uso das melhores práticas pode ajudar a reduzir custos, melhorar o desempenho e aumentar a segurança.

Melhor prática	Impacto	Documentos
Use clusters Job para fluxo de trabalho automatizado	Custo: os clusters de empregos são cobrados a taxas mais baixas do que os clusters interativos.	Criar um cluster Para todos os fins e Job clusters .
Reinicie clusters longos em execução	Segurança: reinicie os clusters para aproveitar os patches e as correções de bugs no Databricks Runtime.	Reinicie um clusters para atualizá-lo com as imagens mais recentes
Usar entidade de serviço em vez de account de usuário para executar Jobde produção	Segurança: se Job pertencer a usuários individuais, quando esses usuários deixarem a organização, esses Job poderão parar de ser executados.	Gerenciar entidades de serviço
Usar o Databricks Jobs para orquestração sempre que possível	Custo: não há necessidade de usar ferramentas externas para orquestrar se você estiver orquestrando apenas cargas de trabalho em Databricks.	programar e orquestrar o fluxo de trabalho
Use a versão LTS mais recente do Databricks Runtime	Desempenho e custo: o Databricks está sempre melhorando o Databricks Runtime em termos de usabilidade, desempenho e segurança.	Computação Os Databricks suportam ciclos de vida
Não armazene dados de produção na DBFS root	Segurança: Quando os dados são armazenados na DBFS root, todos os usuários podem acessá-los.	O que é DBFS? Recomendações para trabalhar com DBFS root