Automatize a configuração Unity Catalog usando o Terraform

Você pode automatizar a configuração Unity Catalog usando o provedor Databricks Terraform. Este artigo fornece links para o guia de implantação Unity Catalog do provedor Terraform e documentação de referência de recursos, juntamente com requisitos (“Antes de começar”) e dicas de validação e implantação.

Antes de começar

Para automatizar a configuração do Unity Catalog usando o Terraform, você deve ter o seguinte:

• Sua account do Databricks deve estar no plano Premium.

• Nas clouds do Google, você deve ter a capacidade de criar buckets do GCS e atribuir permissões aos buckets do GCS criados.

• O senhor deve ter pelo menos um Databricks workspace que deseja usar com Unity Catalog. Consulte Criar um workspace usando o console account .

Para usar o provedor Databricks Terraform para configurar um metastore para Unity Catalog, armazenamento para o metastore, qualquer armazenamento externo e todas as suas credenciais de acesso relacionadas, você deve ter o seguinte:

• Uma do clouds account Google.

• Um projeto clouds do Google na account.

• Utilize o fornecedor Databricks Terraform 1.8.0 ou superior. Sempre use a versão mais recente do provedor.

• Uma no Databricks on Google Cloud account projeto.

• Um Google account e um Google serviço account com as permissões necessárias.

• Em sua máquina de desenvolvimento local, você deve ter:

  • A CLI do Terraform. Consulte Download do Terraform no site do Terraform.

  • O SDK do Google clouds , conectado por meio do comando gcloud auth application-default login –project=<project-id> , em que <project-id> é o ID do projeto de destino do Google clouds . Para obter mais detalhes, consulte Instalando o SDK do Google clouds e Autorize a CLI gcloud no site do Google clouds .

Para usar o provedor Databricks Terraform para configurar todos os outros componentes de infraestrutura do Unity Catalog, você deve ter o seguinte:

• Um Databricks workspace.

• Um Databricks pessoal access token, para permitir que o Terraform chame o Databricks APIs dentro do seu Databricks workspace. Consulte também Monitorar e gerenciar pessoal access tokens.

• Em sua máquina de desenvolvimento local, você deve ter:

  • A CLI do Terraform. Consulte Download do Terraform no site do Terraform.

  • Um dos seguintes:

    • CLI do Databricks versão 0.205 ou acima, configurada com seu access tokenpessoal do Databricks executando databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Consulte Instalar ou atualizar a CLI do Databricks e a autenticação access token pessoal do Databricks.

    • Os dois Databricks variáveis de ambiente a seguir:

      • DATABRICKS_HOST, definido como o valor da URL da instância do workspace do Databricks, por exemplo https://1234567890123456.7.gcp.databricks.com

      • DATABRICKS_TOKEN, definido como o valor de seu Databricks pessoal access token. Consulte também Monitorar e gerenciar pessoal access tokens.

      Para definir essas variáveis de ambiente, consulte a documentação do sistema operacional.

      Observação

      Como prática recomendada de segurança, ao se autenticar com ferramentas, sistemas, scripts e aplicativos automatizados, o site Databricks recomenda que o senhor use o access tokens pessoal pertencente à entidade de serviço em vez do workspace de usuários. Para criar o site tokens para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

Guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos

Para saber como implantar todos os pré-requisitos e habilitar Unity Catalog para um workspace, consulte recurso de pré-requisito implantado e habilitação Unity Catalog na documentação do provedor Databricks Terraform.

Se você já possui alguns componentes de infraestrutura do Unity Catalog, poderá usar o Terraform para implantar componentes adicionais de infraestrutura do Unity Catalog conforme necessário. Consulte cada seção do guia referenciado no parágrafo anterior e a seçãoUnity Catalog da documentação do provedor Databricks Terraform.

Validar, planejar, aprimorar ou destruir os recursos

• Para validar a sintaxe das configurações do Terraform sem aprimorá-las, execute o comando terraform validate .

• Para mostrar as ações que o Terraform tomaria para implantar as configurações, execute o comando terraform plan . Este comando na verdade não implantou as configurações.

• Para aprimorar as configurações, execute o comando terraform deploy .

• Para excluir os recursos implantados, execute o comando terraform destroy .