gerenciar o acesso ao armazenamento cloud usando Unity Catalog

Este artigo apresenta uma visão geral de como usar o site Unity Catalog para gerenciar o acesso ao armazenamento cloud a partir do site Databricks. Ele apresenta os conceitos de local externo, credencial de armazenamento e armazenamento gerencial.

Locais externos e credenciais de armazenamento

Todos os dados regidos por Unity Catalog devem estar em cloud armazenamento em seu provedor cloud account. Unity Catalog rege o acesso ao armazenamento cloud usando um objeto seguro chamado de local externo, que define um caminho para um local de armazenamento cloud e as credenciais necessárias para acessar esse local. Essas credenciais são, por sua vez, definidas em um objeto seguro do Unity Catalog chamado credencial de armazenamento. Ao conceder e revogar o acesso a locais externos seguros em Unity Catalog, o senhor controla o acesso aos dados no local de armazenamento cloud. Ao conceder e revogar o acesso a credenciais de armazenamento seguras no Unity Catalog, o senhor controla a capacidade de criar objetos de localização externa.

Aqui estão mais detalhes sobre esses dois objetos protegíveis:

  • Uma credencial de armazenamento representa um mecanismo de autenticação e autorização para acessar dados armazenados em seu cloud tenant, usando um serviço account para buckets GCS ou tokens R2 API para buckets R2 da Cloudflare. Os privilégios concedidos no Unity Catalog controlam quais usuários e grupos podem usar a credencial para definir locais externos. A permissão para criar e usar credenciais de armazenamento só deve ser concedida aos usuários que precisam criar objetos de localização externos. Consulte Criar uma credencial de armazenamento para se conectar ao Google Cloud Storage e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

  • Um local externo combina um caminho de armazenamento cloud com uma credencial de armazenamento que autoriza o acesso ao caminho de armazenamento cloud. Os privilégios concedidos em Unity Catalog controlam quais usuários e grupos podem acessar o caminho de armazenamento cloud definido pelo local externo. A permissão para criar e usar locais externos só deve ser concedida a usuários que precisem criar tabelas externas, volumes externos ou gerenciar locais de armazenamento. Consulte Criar um local externo para conectar o armazenamento cloud a Databricks.

Os locais externos são usados em Unity Catalog tanto para dados externos ativos, como tabelas externas e volumes externos, quanto para dados gerenciais ativos, como tabelas gerenciais e volumes gerenciais. Para obter mais informações sobre a diferença entre dados externos e gerenciar dados ativos em Unity Catalog, consulte O que são tabelas e visualizações? e What are Unity Catalog volumes (O que são volumes do Unity Catalog?).

Para saber mais sobre as práticas recomendadas de uso de locais externos, consulte gerenciar locais externos, tabelas externas e volumes externos.

Usando locais externos ao criar tabelas e volumes externos

Tabelas externas e volumes externos registrados em Unity Catalog são essencialmente ponteiros para dados no armazenamento cloud que o senhor gerencia fora de Databricks. Ao criar uma tabela externa ou um volume externo no site Unity Catalog, o senhor deve fazer referência a um caminho de armazenamento cloud que esteja incluído em um objeto de local externo ao qual o senhor tenha recebido privilégios adequados. Para obter mais informações sobre a diferença entre dados externos e gerenciar dados ativos em Unity Catalog, consulte O que são tabelas e visualizações? e What are Unity Catalog volumes (O que são volumes do Unity Catalog?). Para obter privilégios, consulte Conceder permissões em um local externo.

Uso de locais externos quando o senhor cria armazenamento gerenciado

gerenciar tabelas e gerenciar volumes são totalmente gerenciados pelo site Unity Catalog. Eles são armazenados pelo site default em um local de armazenamento gerenciar, que pode ser definido no nível do metastore, do catálogo ou do esquema. Ao atribuir um local de armazenamento gerenciar a um metastore, catálogo ou esquema, o senhor deve fazer referência a um objeto de local externo e deve ter os privilégios adequados para usá-lo. Consulte Especificar um local de armazenamento gerenciar em Unity Catalog e Unity Catalog práticas recomendadas.

fluxo de trabalho para gerenciar o acesso ao armazenamento cloud em Unity Catalog

Para gerenciar o acesso ao armazenamento cloud usando Unity Catalog, o senhor deve fazer o seguinte:

  1. Crie um objeto de credencial de armazenamento que encapsule um serviço account que dê acesso ao caminho de armazenamento cloud.

  2. Crie um objeto de localização externa que faça referência ao caminho de armazenamento e ao objeto de credencial de armazenamento.

  3. Faça referência a um caminho incluído no local externo quando o senhor criar tabelas externas, volumes externos ou locais de armazenamento gerenciados pelo default. Esse pode ser o caminho exato definido no local externo ou em um subcaminho.