gerencia provedores Delta Sharing (para destinatários de dados)

Este artigo descreve como usar o Unity Catalog para obter informações sobre provedores de dados que estão compartilhando dados com você usando o Delta Share. Ele também descreve o que é um objeto de provedor e quando você pode precisar criar um objeto de provedor em seu metastore Unity Catalog , uma tarefa que a maioria dos destinatários nunca precisa fazer.

Importante

Os destinatários dos dados devem ter acesso a um workspace do Databricks habilitado para o Unity Catalog usar a funcionalidade descrita nestes artigos. Este artigo não se aplica a destinatários que não possuem workspace habilitado para Unity Catalog.

Os destinatários precisam criar objetos de provedor?

No Delta compartilhamento no Databricks, o termo “provedor” pode significar tanto a organização que compartilha dados com você quanto um objeto protegível no metastore do Catálogo Unity Catalog de um destinatário que representa essa organização. A existência desse objeto protegível no metastore do Unity Catalog de um destinatário permite que os destinatários gerenciem o acesso de sua equipe ao uso compartilhado de dados do Unity Catalog.

Como destinatário com acesso a um metastore Unity Catalog , normalmente você não precisa criar objetos de provedor. Isso ocorre porque os dados devem ser compartilhados com você usando o compartilhamento de Databricks para Databricks e os objetos de provedor são criados automaticamente no metastore do Unity Catalog .

Observação

Se você é o raro destinatário no Unity Catalog que está recebendo dados de um provedor que não é compartilhamento de um Unity Catalogdo Databricks habilitado para workspace, convém criar objetos de provedor no Unity Catalog para poder gerenciar esse uso compartilhado de dados Unity Catalog. Se você estiver nessa categoria, você pode usar o POST /api/2.1/unity-catalog/providers Chamada de API REST ou CLI do Databricks para criar o objeto do provedor Unity Catalog . Você deve ser um administrador do metastore ou um usuário com privilégio CREATE_PROVIDER para o metastore.

Antes de começar

Para gerenciar provedores em seu site Databricks workspace:

Seu site workspace deve estar habilitado para Unity Catalog.
Para view um provedor, o senhor deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o privilégio USE PROVIDER.
Para criar um provedor, o senhor deve ser um administrador de metastore ou um administrador de metastore deve conceder-lhe o privilégio CREATE PROVIDER.
Para atualizar um provedor, o senhor deve ser o proprietário do objeto do provedor e ter o privilégio CREATE PROVIDER. Para obter detalhes, consulte Atualizar um provedor (renomear, alterar proprietário, comentar).

Por esse motivo, se o seu workspace foi criado sem um administrador de metastore, um administrador do Databricks account deverá conceder a um usuário ou grupo a função de administrador de metastore antes que o senhor possa trabalhar com objetos de provedor no Databricks. Consulte Ativação automática do Unity Catalog e (Opcional) Atribuir a função de administrador do metastore.

Exibir provedores

Para view uma lista de provedores de dados disponíveis, você pode usar o Catalog Explorer, a CLI Unity Catalog ou o comando SQL SHOW PROVIDERS em um Notebook do Databricks ou no editor query Databricks SQL .

Permissões necessárias: você deve ser um administrador do metastore ou ter o privilégio USE PROVIDER para view todos os provedores no metastore. Outros usuários têm acesso apenas aos provedores de sua propriedade.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, view todos os provedores disponíveis.

execução do seguinte comando em um Notebook ou no editor query Databricks SQL . Opcionalmente, substitua <pattern> por um predicado `LIKE`.

SHOW PROVIDERS [LIKE <pattern>];

execute o seguinte comando usando o Databricks CLI.

databricks providers list

Ver detalhes do provedor

Para view detalhes sobre um provedor, você pode usar o Catalog Explorer, a CLI Unity Catalog ou o comando SQL DESCRIBE PROVIDER em um Notebook do Databricks ou no editor query Databricks SQL .

Permissões necessárias: administrador do metastore, usuário com privilégio USE PROVIDER ou proprietário do objeto provedor.

Os detalhes incluem:

Compartilhamentos compartilhados pelo provedor (consulte Exibir compartilhamentos que um provedor compartilhou com você).
O criador do provedor, carimbo de data/hora de criação, comentários e tipo de autenticação (TOKEN ou DATABRICKS). TOKEN representa provedores que compartilharam dados com você usando o protocolo de compartilhamento aberto Delta Sharing. DATABRICKS representa provedores que compartilharam dados com você usando o protocolo de compartilhamento Databricks-to-Databricks.
Se o provedor usar o compartilhamento Databricks-para-Databricks: a cloud, a região e a ID do metastore do metastore do Unity Catalog do provedor.
Se o provedor usar compartilhamento aberto: o endpoint do perfil do destinatário, que é onde o servidor de compartilhamento Delta Sharing está hospedado.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.

execução do seguinte comando em um Notebook ou no editor query Databricks SQL .

DESC PROVIDER <provider-name>;

execute o seguinte comando usando o Databricks CLI.

databricks providers get <provider-name>

Veja os compartilhamentos que um provedor compartilhou com você

Para view os compartilhamentos que um provedor compartilhou com você, você pode usar o Catalog Explorer, a CLI Unity Catalog ou o comando SQL SHOW SHARES IN PROVIDER em um Notebook do Databricks ou no editor query Databricks SQL .

Permissões necessárias: administrador do metastore, usuário com privilégio USE PROVIDER ou proprietário do objeto provedor.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.

execução do seguinte comando em um Notebook ou no editor query Databricks SQL . Opcionalmente, substitua <pattern> por um predicado `LIKE`.

SHOW SHARES IN PROVIDER [LIKE <pattern>];

execute o seguinte comando usando o Databricks CLI.

 databricks providers list-shares <provider-name>

Atualizar um provedor (renomear, alterar proprietário, comentar)

Você pode usar o Catalog Explorer, a CLI Unity Catalog ou o comando ALTER PROVIDER SQL em um Notebook do Databricks ou o editor query Databricks SQL para modificar o objeto do provedor em seu metastore Unity Catalog :

Renomeie o provedor para modificar a maneira como os usuários veem o objeto do provedor em suas interfaces Databricks.
Altere o proprietário do objeto provedor.
Adicione ou modifique comentários.

Permissões necessárias: O senhor deve ser o proprietário do objeto do provedor para atualizar o proprietário. O senhor deve ser administrador do metastore (ou usuário com o privilégio CREATE_PROVIDER) e proprietário do provedor para atualizar o nome do provedor. O senhor deve ser o proprietário para atualizar o comentário. O proprietário inicial é o administrador do metastore.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.
Na página de detalhes, atualize o proprietário, o comentário ou o nome do provedor.

Para renomear um provedor, clique no menu kebab e selecione Rename (Renomear).

execução do seguinte comando em um Notebook ou no editor query Databricks SQL .

ALTER PROVIDER <provider-name> RENAME TO <new-provider-name>
OWNER TO <new-owner>
COMMENT "<comment>";

execute o seguinte comando usando o Databricks CLI. Substitua <provider-name> pelo nome do provedor atual e <new-provider-name> pelo novo nome.

databricks providers update <provider-name> /
--new-name <new-provider-name> /
--comment "<new comment>" /
--owner <new-owner-name>

Excluir um provedor

Para excluir um provedor, você pode usar o Catalog Explorer, a CLI Unity Catalog ou o comando SQL DROP PROVIDER em um Notebook do Databricks ou no editor query Databricks SQL . Você deve ser o proprietário do objeto provedor para excluir o provedor.

Quando você exclui um provedor, você e os usuários em sua organização (o destinatário) não podem mais acessar os dados compartilhados pelo provedor.

Permissões necessárias: Proprietário do objeto do provedor.

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone de engrenagem e selecione Delta Sharing.

Como alternativa, na página de acesso rápido, clique no botão Delta Sharing >.
No Shared with me tab, localize e selecione o provedor.
Clique no menu kebab e selecione Delete (Excluir).
Na caixa de diálogo de confirmação, clique em Excluir.

execução do seguinte comando em um Notebook ou no editor query Databricks SQL .

DROP PROVIDER [IF EXISTS] <provider-name>;

execute o seguinte comando usando o Databricks CLI.

databricks providers delete <provider-name>

Se as operações forem bem-sucedidas, nenhum resultado será retornado.