Configurar e usar a autenticação de ID clouds do Google para automação do Databricks

Siga os passos deste artigo para autenticar do clouds serviço de do Google account para automatizar sua account e do Databricks.workspace

de clouds serviço de do Google account é um tipo especial de do Google,clouds account normalmente usada por um aplicativo, e não por uma pessoa. Uma account de serviço é identificada pelo seu endereço email , que é exclusivo da account. Consulte Visão geral das contas de serviço.

Observação

A conta de serviço do Google Clouds é diferente da Databricks entidade de serviço. A escolha entre usar um serviço do Google Clouds account ou uma entidade de serviço da Databricks pode depender das preferências ou políticas de segurança da sua organização. Para saber como usar a entidade de serviço da Databricks para autenticação da Databricks em vez da conta de serviço do Google Clouds, consulte gerenciar entidade de serviço.

O Databricks fornece duas abordagens para autenticar de clouds serviço de account do Google com o Databricks:

Este artigo demonstra como configurar e usar a autenticação de ID clouds do Google da seguinte maneira:

  • Crie uma de clouds serviço do account Google.

  • Atribua sua de clouds serviço do Google account à sua do Databricks account e a um workspace do Databricks nessa account.

  • Instale a clouds interface de linha de comando do Google (CLI clouds do Google ) e autorize a CLI do Google clouds a usar seu login para representar a do clouds serviço de do account Google.

  • Instale a CLI do Databricks em sua máquina de desenvolvimento local e, em seguida, configure a CLI do Databricks para autenticação de ID clouds do Google.

  • comando de execução com a CLI do Databricks para automatizar sua account e workspace do Databricks usando a autenticação de ID clouds do Google, ou ambos.

Requisitos

o passo 1: Crie uma conta de serviço clouds do Google

Nesta etapa, você cria uma de clouds serviço do Google account para seu projeto de destino do Google no clouds console do Google.

  1. Faça login no console clouds do Google.

  2. Se você tiver acesso a vários projetos, mude para o projeto de destino. Para fazer isso, na barra de navegação superior, ao lado do logotipo clouds do Google, clique no seletor de projetos. Em seguida, selecione o nome do projeto na lista.

  3. Em Buscar (/) por recurso, docs, produto, e mais, procure e selecione accountde serviço.

  4. Clique em + Criar accountde serviço.

  5. Na seção Detalhes account de serviço , em Nome account serviço, insira um nome exclusivo para a account de serviço que seja fácil de lembrar.

  6. Anote o endereçoemail abaixo da caixa ID account de serviço , pois você precisará dele nas etapas 2, 3, 4, 5 e 7. Será algo parecido com o seguinte:

    <your-service-account-name>@<your-project-name>.iam.gserviceaccount.com
    
  7. Opcionalmente, em Service account description, insira uma descrição significativa sobre a conta de serviço.

  8. Clique em Criar e continuar.

  9. Clique em Concluído.

o passo 2: Atribua sua conta de serviço clouds do Google à sua conta do Databricks

Nesta etapa, você concede à sua de clouds serviço do Google account acesso à sua do account Databricks. Se você não quiser conceder à sua account de serviço acesso à sua account do Databricks, vá para a etapa 3.

  1. Em seu workspace do Databricks, clique em seu nome de usuário na barra superior e clique em gerenciar account.

    Como alternativa, acesse diretamente o console da sua account do Databricks, em https://accounts.gcp.databricks.com.

  2. Faça login em sua account do Databricks, se solicitado.

  3. Na barra lateral, clique em Gerenciamento de usuários.

  4. Clique na Usuários tab.

    Observação

    Embora esta tab seja o rótulo Users, esta tab também funciona com account de serviço. O Databricks trata account de serviço como usuários na sua account do Databricks.

  5. Clique em Adicionar usuário.

  6. Em Email, insira o endereço de email que você copiou do passo 1 para sua account de serviço.

  7. Para Nome e Sobrenome, insira algum texto significativo para ajudá-lo a pesquisar a account de serviço posteriormente. For example, for First name you could enter the Service account name from Step 1. Para Sobrenome, você pode inserir do clouds serviço do Google account.

  8. Clique em Adicionar usuário. O Databricks adiciona a account de serviço como usuário à sua account do Databricks.

  9. Atribua quaisquer permissões em nível de accountque você deseja que o usuário tenha:

    1. Na Usuários tab, clique no nome do usuário. Se o nome de usuário não estiver visível, use Filtrar usuários para encontrá-lo.

    2. Na Funções tab, alterne para ativar ou desativar cada função de destino que você deseja que esse usuário tenha. Consulte Atribuir funções de administrador de conta a um usuário.

o passo 3: Atribua sua conta de serviço clouds do Google ao seu espaço de trabalho do Databricks

Nesta etapa, você concede à sua de clouds serviço do Google account acesso ao seu do workspace Databricks.

Se o seu workspace estiver habilitado para federação de identidades:

  1. No seu workspace do Databricks, clique no seu nome de usuário na barra superior e clique em Configurações de administrador.

  2. Clique em Usuários.

    Observação

    Embora esta tab seja o rótulo Users, esta tab também funciona com account de serviço. Databricks treats service accounts as users in your Databricks workspace.

  3. Clique em Adicionar usuário.

  4. Selecione o usuário no passo 2 e clique em Adicionar. A account de serviço é adicionada como um usuário no seu workspace do Databricks.

  5. Atribua quaisquer permissões no nível workspaceque você deseja que o usuário tenha:

    1. Na Usuários tab, clique no nome do usuário.

    2. Na Direitos tab, marque ou desmarque para conceder ou revogar cada status de destino ou direito que você deseja que esse usuário tenha. For more information, see:

Vá para o passo 4.

Se o seu workspace não estiver habilitado para federação de identidades:

  1. No seu workspace do Databricks, clique no seu nome de usuário na barra superior e clique em Configurações de administrador.

  2. Clique em Usuários.

    Observação

    Embora esta tab seja o rótulo Users, esta tab também funciona com account de serviço. Databricks treats service accounts as users in your Databricks workspace.

  3. Clique em Adicionar novo.

  4. Para Novo e-mail de usuário, insira o endereço de e-mail que você copiou do passo 1 para sua account de serviço.

  5. Clique em Adicionar. A account de serviço é adicionada como um usuário no seu workspace do Databricks.

  6. Atribua quaisquer permissões no nível workspaceque você deseja que o usuário tenha:

    1. Na Usuários tab, clique no nome do usuário.

    2. Na Direitos tab, marque ou desmarque para conceder ou revogar cada status de destino ou direito que você deseja que esse usuário tenha. For more information, see:

o passo 4: Instale a CLI do Google clouds em sua máquina de desenvolvimento local

Instale a CLI do Google clouds seguindo as instruções em Instalar a CLI gcloud.

o passo 5: Representar a conta de serviço clouds do Google

Nesta etapa, você usa seu login do Google clouds para automatizar o Databricks por meio de sua de clouds serviço do account Google, usando uma técnica chamada personificação. Para obter mais informações, consulte Representação de conta de serviço.

Para personificar a account de serviço, você deve conceder ao usuário do Google clouds permissões para personificar account de serviço. Em seguida, você inicia a representação por meio da CLI do Google clouds .

  1. Dê ao seu usuário do Google clouds permissões para se passar por account de serviço: no console do Google clouds no qual você fez login a partir do passo 1, em Pesquisar (/) por recurso, docs, produto, e mais, pesquise e selecione IAM.

  2. Na Permissões tab, na view principais tab, clique em Conceder acesso.

  3. For New Principals, enter and select your Google Cloud username. (Não insira o clouds accountnome da sua de serviço do Google aqui.)

  4. Clique em Selecionar uma função e insira e selecione Service Account Token Creator.

  5. Clique em Adicionar outra função.

  6. Clique em Selecionar uma função e insira e selecione Service Account User.

  7. Clique em account tokens Criador de serviço.

  8. Clique em Salvar.

  9. Inicie a representação: use a CLI do Google clouds para executar o comando a seguir, substituindo <your-service-account-name>@<your-project-name>.iam.gserviceaccount.com pelo endereçoemail que você copiou da etapa 1 para sua account de serviço.

    gcloud auth login --impersonate-service-account=<your-service-account-name>@<your-project-name>.iam.gserviceaccount.com
    
  10. No seu navegador da web, faça login com sua de clouds usuário do Google account seguindo as instruções de login na tela.

o passo 6: Instale a CLI do Databricks em sua máquina de desenvolvimento local

Nesta etapa, você instala a CLI do Databricks para poder usá-la para executar comandos que automatizam sua account e workspace do Databricks.

Dica

Você também pode usar o provedor Databricks Terraform ou o SDK do Databricks para Go junto com a autenticação de ID clouds do Google para automatizar sua account e workspace do Databricks executando o código HCL ou Go. See the Databricks SDK for Go and Google Cloud ID authentication.

  1. Se ainda não estiver instalado, instale a CLI do Databricks da seguinte maneira:

    Use o Homebrew para instalar a CLI do Databricks executando os dois comandos a seguir:

    brew tap databricks/tap
    brew install databricks
    

    Você pode usar winget, Chocolatey ou Windows Subsystem for Linux (WSL) para instalar a CLI do Databricks. Se você não puder usar winget, Chocolatey ou WSL, ignore este procedimento e use o prompt de comando ou o PowerShell para instalar a CLI do Databricks a partir da origem .

    Observação

    Instalar a CLI do Databricks com Chocolatey é experimental.

    Para usar winget para instalar a CLI do Databricks, execute os dois comandos a seguir e reinicie o prompt de comando:

    winget search databricks
    winget install Databricks.DatabricksCLI
    

    Para usar o Chocolatey para instalar a CLI do Databricks, execute o seguinte comando:

    choco install databricks-cli
    

    Para usar WSL para instalar a CLI do Databricks:

    1. Instale curl e zip por meio do WSL. Para mais informações, consulte a documentação do seu sistema operacional.

    2. Use WSL para instalar a CLI do Databricks executando o seguinte comando:

      curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
      
  2. Confirme se a CLI do Databricks está instalada executando o comando a seguir, que exibe a versão atual da CLI do Databricks instalada. Esta versão deve ser 0.205.0 ou acima:

    databricks -v
    

    Observação

    Se você executar databricks mas obtiver um erro como command not found: databricks, ou se executar databricks -v e um número de versão 0,18 ou abaixo estiver listado, isso significa que sua máquina não consegue encontrar a versão correta do executável da CLI do Databricks. Para corrigir isso, consulte Verifique a instalação da CLI.

o passo 7: Configurar a CLI do Databricks para autenticação de ID clouds do Google

Nesta etapa, você configura a CLI do Databricks para usar a clouds autenticação de ID do Google para Databricks usando o clouds accountnome da sua de serviço de do Google. Para fazer isso, você cria um arquivo com um nome de arquivo default e em um local default que a CLI do Databricks espera encontrar as configurações de autenticação necessárias.

  1. Com seu editor de texto favorito, crie um arquivo local chamado .databrickscfg no diretório inicial do usuário, caso ele ainda não exista. Para Linux e macOS, o diretório inicial do usuário é ~. Para Windows, o diretório inicial do usuário é %USERPROFILE%.

  2. Insira o seguinte conteúdo no arquivo .databrickscfg . Neste conteúdo, substitua os seguintes valores:

    • Substitua <account-console-url> pela URL do console da suaaccount do Databricks, como https://accounts.gcp.databricks.com.

    • Substitua <account-id> pelo ID da sua account do Databricks. Consulte Localize o ID da sua conta.

    • Substitua <google-cloud-service-account-email-address> pelo endereçoemail que você copiou da etapa 1 da sua account de serviço.

    • Substitua <workspace-url> pelo URL da instância do seu espaço de trabalho, por exemplo https://1234567890123456.7.gcp.databricks.com.

    • Você pode substituir os nomes de perfil de configuração sugeridos GCP_ID_ACCOUNT e GCP_ID_WORKSPACE por nomes de perfil de configuração diferentes, se desejar. Esses nomes específicos não são obrigatórios.

    Se não quiser executar operações no nível account , você poderá omitir a seção [GCP_ID_ACCOUNT] no conteúdo a seguir.

    [GCP_ID_ACCOUNT]
    host                   = <account-console-url>
    account_id             = <account-id>
    google_service_account = <google-cloud-service-account-email-address>
    
    [GCP_ID_WORKSPACE]
    host                   = <workspace-url>
    google_service_account = <google-cloud-service-account-email-address>
    

o passo 8: execução de um comando em nível de conta com a CLI do Databricks

Nesta etapa, você usa a CLI do Databricks e a autenticação do Google clouds ID para executar um comando que automatiza a account do Databricks que foi configurada na etapa 7. This step assumes that your Google Cloud user account is currently impersonating the service account as described previously in Step 5.

Se você não deseja executar o comando account-level, vá para a etapa 9.

Com o terminal ou prompt de comando ainda aberto a partir da etapa 6, execute o seguinte comando para listar todos os usuários disponíveis em sua account do Databricks. Se você renomeou GCP_ID_ACCOUNT na etapa 7, certifique-se de substituí-lo aqui.

databricks account users list -p GCP_ID_ACCOUNT

o passo 9: execução de um comando em nível de espaço de trabalho com a CLI do Databricks

In this step, you use the Databricks CLI and Google Cloud credentials authentication to run a command that automates the Databricks account that was configured in Step 7. Esta etapa pressupõe que sua de clouds usuário account do Google está atualmente representando a de serviço account conforme descrito anteriormente na etapa 5.

Com o terminal ou prompt de comando ainda aberto a partir da etapa 6, execute o seguinte comando para listar todos os usuários disponíveis em seu espaço de trabalho do Databricks. Se você renomeou GCP_ID_WORKSPACE na etapa 7, certifique-se de substituí-lo aqui.

databricks users list -p GCP_ID_WORKSPACE

o passo 10: Limpar

Este passo é opcional. Se você não quiser mais continuar usando a de clouds serviço do Google account que criou para estes artigos, esta etapa descreve como excluir a de serviço account do seu projeto do Google e da sua e do Databricks.account workspace

Exclua a conta de serviço do seu projeto do Google

  1. No console do Google clouds em que você fez login a partir do passo 1, em Pesquisar (/) por recurso, docs, produto e mais, pesquise e selecione accountde serviço.

  2. Na linha do nome da sua accountde serviço, clique nas reticências. Se o nome da sua accountde serviço não estiver visível, use Insira o nome ou valor da propriedade para encontrá-lo.

  3. Clique em Excluir.

  4. Na caixa de diálogo de confirmação, clique em Excluir.

Exclua a conta de serviço da sua conta do Databricks

  1. Na sua account do Databricks, na barra lateral, clique em Gerenciamento de usuários.

  2. Clique na Usuários tab.

  3. Clique no nome da account de serviço que você adicionou na etapa 2. Se o nome da accountde serviço não estiver visível, use Filtrar usuários para localizá-lo.

  4. Clique no botão de reticências e, em seguida, clique em Excluir usuário.

  5. Clique em Confirmar exclusão.

Exclua a conta de serviço do seu workspace do Databricks

  1. No seu workspace do Databricks, clique no seu nome de usuário na barra superior e clique em Configurações de administrador.

  2. Clique na Usuário tab.

  3. Clique no nome da account de serviço que você adicionou na etapa 3. Se o nome da accountde serviço não estiver visível, use Filtrar usuários para localizá-lo.

  4. Clique em Remover usuário.

  5. Na caixa de diálogo de confirmação, clique em Excluir.