Defina e use a variável de ambiente com init script

init script tem acesso a todas as variáveis de ambiente presentes em um clusters. O Databricks define muitas variáveis default que podem ser úteis na lógica init script .

variáveis de ambiente definidas na configuração do Spark estão disponíveis para init script. Veja variável de ambiente.

Quais variáveis de ambiente são expostas ao init script por padrão?

clusters-scoped e global init script suportam a seguinte variável de ambiente:

• DB_CLUSTER_ID: o ID do cluster no qual o script está sendo executado. Consulte a API de clusters.

• DB_CONTAINER_IP: o endereço IP privado do contêiner no qual o Spark é executado. O init script é executado dentro desse contêiner. Consulte a API de clusters.

• DB_IS_DRIVER: se o script está sendo executado em um nó de driver.

• DB_DRIVER_IP: o endereço IP do nó do driver.

• DB_INSTANCE_TYPE: o tipo de instância da VM do host.

• DB_CLUSTER_NAME: o nome dos clusters nos quais o script está sendo executado.

• DB_IS_JOB_CLUSTER: se os clusters foram criados para executar um Job. Consulte Criar um Job.

Por exemplo, se você deseja executar parte de um script apenas em um nó de driver, pode escrever um script como:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Use segredos no init script

Você pode usar qualquer nome de variável válido ao fazer referência a um segredo. O acesso aos segredos referenciados na variável de ambiente é determinado pelas permissões do utilizador que configurou os clusters. Os segredos armazenados na variável de ambiente são acessíveis por todos os usuários dos clusters, mas são redigidos da exibição de texto simples.

Consulte Fazer referência a um segredo em uma variável de ambiente.