Criar uma credencial de armazenamento para se conectar ao Google Cloud Storage

Este artigo descreve como criar uma credencial de armazenamento no Unity Catalog para se conectar ao Google Cloud Storage.

Para gerenciar o acesso ao armazenamento em nuvem subjacente que contém tabelas e volumes, o Unity Catalog usa os seguintes tipos de objetos:

As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que oferece acesso ao armazenamento em nuvem.
Locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento em nuvem.

Para obter mais informações, consulte Conectar-se ao armazenamento de objetos em nuvens usando o Unity Catalog.

O Unity Catalog oferece suporte a duas opções de armazenamento em nuvem para Databricks on Google Cloud: Os buckets do Google Cloud Storage (GCS) e os buckets do Cloudflare R2. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing em que o senhor deseja evitar taxas de saída de dados. O GCS é adequado para a maioria dos outros casos de uso. Este artigo se concentra na criação de credenciais de armazenamento para o GCS. Para o Cloudflare R2, consulte Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Para criar uma credencial de armazenamento para acesso a um bucket GCS, o senhor concede ao Unity Catalog a capacidade de ler e gravar no bucket atribuindo a função IAM nesse bucket a um serviço do Google Clouds gerado pela Databricks account.

Requisitos

Em Databricks:

Databricks workspace ativado para o Unity Catalog.
CREATE STORAGE CREDENTIAL no metastore do Unity Catalog anexado ao site workspace. account Os administradores e os administradores de metastore têm esse privilégio em default.

Em seu Google Clouds account:

Um bucket GCS na mesma região que o espaço de trabalho do qual o senhor deseja acessar os dados.
Permissão para modificar a política de acesso para esse bucket.

Gere uma conta de serviço de clouds do Google usando o Catalog Explorer

log in para o Databricks habilitado para o Unity Catalog workspace como um usuário que tem o privilégio CREATE STORAGE CREDENTIAL no metastore.

As funções de administrador do metastore e administrador do account incluem esse privilégio.
Na barra lateral, clique em Catálogo.
Na parte inferior da tela, clique em Credenciais de armazenamento.
Clique no botão +Add e selecione Add a storage credential (Adicionar uma credencial de armazenamento ) no menu.

Essa opção não aparecerá se o senhor não tiver o privilégio CREATE STORAGE CREDENTIAL.
Na caixa de diálogo Criar uma nova credencial de armazenamento, escolha um Tipo de credencial do Google Cloud Storage.
Digite um nome de credencial de armazenamento e um comentário opcional.
(Opcional) Se desejar que os usuários tenham acesso somente leitura aos locais externos que usam essa credencial de armazenamento, selecione Somente leitura. Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.
Clique em Salvar.

Databricks cria a credencial de armazenamento e gera uma de clouds serviço do account Google.
Na caixa de diálogo Credencial de armazenamento criada , anote o ID account de serviço, que está na forma de um endereço de email , e clique em Concluído.

Configurar permissões para a conta de serviço

Vá para o console do Google Clouds e abra o bucket do GCS que deseja acessar a partir do seu Databricks workspace.

O bucket deve estar na mesma região que o seu Databricks workspace.
Na Permissão tab, clique em + Conceder acesso e atribua à de serviço account as seguintes funções:
- Leitor de bucket de armazenamento legado
- Administrador de objetos de armazenamento
Use o endereço da de serviço account email como identificador principal.

Agora você pode criar um local externo que faça referência a essa credencial de armazenamento.

Próximos passos

Você pode view, atualizar, excluir e conceder permissão a outros usuários para usar credenciais de armazenamento. Consulte gerenciamento de credenciais de armazenamento.

O senhor pode definir locais externos usando credenciais de armazenamento. Consulte Criar um local externo para conectar o armazenamento em nuvem ao Databricks.