gerenciar Unity Catalog metastores

Este artigo mostra como atualizar, excluir e gerenciar o comportamento dos Unity Catalog metastores em seu Databricks account.

Para saber mais sobre os metastores do Unity Catalog e como criá-los, consulte Criar um metastore do Unity Catalog.

Permitir que um metastore seja atribuído automaticamente a um novo espaço de trabalho

Para atribuir um metastore Unity Catalog existente automaticamente a um novo espaço de trabalho na região desse metastore, um administrador do account pode ativar a atribuição automática do workspace para o metastore. Se essa configuração não for selecionada, o administrador que criar um workspace na mesma região que o metastore deverá habilitar manualmente o workspace para Unity Catalog e selecionar o metastore em um menu suspenso.

Antes de um administrador do account ativar essa opção, ele deve entender os seguintes impactos no novo espaço de trabalho:

• Será criado um catálogoworkspace e todos os usuários do workspace terão os privilégios necessários para criar objetos nele. Consulte Ativação automática do Unity Catalog.

• os administradores do workspace terão as permissões necessárias para criar objetos protegíveis no nível do metastore, como catálogos e locais externos. Veja os privilégios de administrador do espaço de trabalho quando o espaço de trabalho é ativado automaticamente para Unity Catalog .

• Se o armazenamento em nível de metastore já estiver ativado para o metastore, o site workspace poderá usar esse armazenamento. Consulte Especificar um local de armazenamento gerenciar em Unity Catalog.

• Se um administrador de metastore for definido para o metastore, ele poderá gerenciar o acesso a todos os objetos seguros em todos os espaços de trabalho anexados ao metastore. Consulte administradores do Metastore.

• A configuração Delta Sharing (ativada ou desativada) do metastore será aplicada a todos os espaços de trabalho anexados ao metastore. Consulte Configurar Delta Sharing para seu account (para provedores).

Para ativar a atribuição automática:

1. Como administrador do account, acesse o console Databricks account .

2. Clique em Catalog.

3. Selecione sua metastore.

4. Em Configuração tab, em atribuição de espaço de trabalho, selecione Atribuir automaticamente um novo espaço de trabalho em <region> a este metastore.

5. Na caixa de diálogo de confirmação, clique em Ativar atribuição automática.

Adicionar armazenamento gerenciar a um metastore existente

O armazenamento gerenciado no nível do metastore é opcional e não está incluído nos metastores criados automaticamente. Talvez o senhor queira adicionar armazenamento em nível de metastore ao seu metastore se preferir um modelo de isolamento de dados que armazene dados centralmente para vários espaços de trabalho. O senhor precisa de armazenamento em nível de metastore se for um Databricks parceiro que usa locais de preparação pessoais.

Consulte também Especificar um local de armazenamento gerenciar em Unity Catalog.

Requisitos

• O senhor deve ter pelo menos um workspace anexado ao metastore Unity Catalog.

• São necessárias permissões do Databricks:

  • Para criar um local externo, você deve ser administrador ou usuário da metastore com os privilégios CREATE EXTERNAL LOCATION e CREATE STORAGE CREDENTIAL.

  • Para adicionar o local de armazenamento à definição do metastore, o senhor deve ser um administrador do account.

• GCP Permissões necessárias: a capacidade de criar GCS buckets e conta de serviço.

o passo 1: Criar o local de armazenamento

Siga as instruções no passo 1 (opcional): Crie o bucket GCS para criar um bucket GCS dedicado em uma nuvem do Google account na mesma região do seu metastore.

o passo 2: Criar um local externo em Unity Catalog

Neste passo, o senhor cria um local externo em Unity Catalog que faz referência ao caminho do bucket GCS que acabou de criar.

1. Crie uma credencial de armazenamento.

   Como parte da criação da credencial de armazenamento, um serviço de nuvem do Google account é criado para o senhor, e o senhor concede a esse serviço account acesso ao bucket GCS que criou no passo 1: Criar o local de armazenamento.

   Siga as instruções em Criar uma credencial de armazenamento para se conectar ao Google Cloud Storage.

2. Crie um local externo que faça referência à credencial de armazenamento criada no passo anterior e ao bucket GCS criado no passo 1: Crie o local de armazenamento.

   Siga as instruções em Criar um local externo para conectar o armazenamento em nuvem à Databricks

3. Conceda a si mesmo o privilégio CREATE MANAGED STORAGE no local externo.

   1. Clique no nome do local externo para abrir o painel de detalhes.

   2. Em Permissions (Permissões ) tab, clique em Grant (Conceder).

   3. Na caixa de diálogo Concessão em <external location>, selecione você mesmo no campo Diretores e selecione CREATE MANAGED STORAGE.

   4. Clique em Conceder.

o passo 3: Adicionar o local de armazenamento ao metastore

Depois de criar um local externo que represente o bucket de armazenamento do metastore, você pode adicioná-lo ao metastore.

1. Como administrador da conta, faça login no console da conta.

2. Clique em Catalog.

3. Clique no nome da metastore.

4. Confirme se você é o administrador do Metastore.

   Se não estiver, clique em Editar e designe-se como administrador da metastore. Você pode cancelar a atribuição ao concluir esse procedimento.

5. Em Configuration tab, ao lado de GCS bucket path, clique em Set.

6. Na caixa de diálogo Set metastore root (Definir raiz do metastore ), digite o caminho do bucket do GCS que o senhor usou para criar o local externo e clique em Update (Atualizar).

   Você não pode modificar esse caminho depois de defini-lo, mas pode removê-lo e adicionar um novo caminho, se necessário.

Remova o armazenamento em nível de metástore

Se o senhor tiver armazenamento no nível do metastore para gerenciar tabelas e volumes (também conhecido como raiz de armazenamento do metastore), mas quiser impor o isolamento do armazenamento de dados no nível do catálogo ou do esquema, poderá remover a opção de armazenamento no nível do metastore para o metastore. Quando você faz isso, acontece o seguinte:

• Os catálogos existentes que não têm raiz de armazenamento especificada recebem o local de armazenamento em nuvem da raiz de armazenamento do metastore como local de armazenamento gerenciar em nível de catálogo. Em outras palavras, a raiz de armazenamento do metastore é “empurrada para baixo” para esses catálogos. O acesso aos dados nesses catálogos continua funcionando sem interrupção.

• Dependendo de como o metastore foi criado, pode não haver um local externo seguro definido no Unity Catalog para a raiz de armazenamento do metastore. Nesse caso, um novo local externo e a credencial de armazenamento associada são criados para ele. O novo local externo é denominado prior_metastore_root_location por default.

• Sempre que um usuário cria um catálogo, ele deve fornecer um local de armazenamento dedicado que é registrado no Unity Catalog como um local externo.

Observação

Se o senhor usa o site Delta Sharing para compartilhar o Notebook e usou a raiz do metastore como armazenamento compartilhado do Notebook, deverá fazer o seguinte antes de remover a raiz do metastore:

1. Remova o Notebook do compartilhamento.

2. Adicione novamente o Notebook usando um local de armazenamento dedicado.

Consulte Adicionar arquivos do Notebook a um compartilhamento.

Para remover a raiz de armazenamento do metastore:

1. Como administrador da conta, faça login no console da conta.

2. Clique em Catalog.

3. Clique no nome da metastore.

4. Na página de configuração tab, em GCS bucket path, clique no botão Remove (Remover ).

5. Na caixa de diálogo de confirmação, clique em Remover.

Adicionar um administrador da metastore

Os administradores da Metastore são opcionais, mas há situações em que você pode querer um para sua metastore. Consulte Atribuir um administrador de metastore.

Excluir uma metastore

Se o senhor estiver fechando seu Databricks account ou tiver outro motivo para excluir o acesso aos dados gerenciados pelo seu Unity Catalog metastore, poderá excluir o metastore.

Aviso

Todos os objetos gerenciados pelo metastore ficarão inacessíveis usando o espaço de trabalho Databricks. Essa ação não pode ser desfeita.

Os dados e metadados da tabela gerenciar serão excluídos automaticamente após 30 dias. Os dados da tabela externa em seu armazenamento cloud não são afetados pela exclusão do metastore.

Para excluir uma metastore:

1. Como administrador do metastore, acesse log in no consoleaccount .

2. Clique em Catalog.

3. Clique no nome da metastore.

4. No site Configuration tab, clique no menu de três botões no canto superior direito e selecione Delete (Excluir).

5. Na caixa de diálogo de confirmação, insira o nome da metastore e clique em Excluir.