Atribuir compute recurso a um grupo

Prévia

Esse recurso está em Prévia Pública.

Este artigo explica como criar um recurso compute atribuído a um grupo usando o modo de acesso Dedicado.

O modo de acesso de grupo dedicado permite que os usuários obtenham a eficiência operacional de um clustering de modo de acesso padrão, além de oferecer suporte seguro a linguagens e cargas de trabalho que não são compatíveis com o modo de acesso padrão, como Databricks Runtime para ML, Spark biblioteca do machine learning (MLlib), RDD APIs e R.

Ao habilitar o Public Preview de clustering de grupo dedicado, seu workspace também terá acesso à nova UI simplificada do compute. Essa nova UI atualiza os nomes dos modos de acesso e simplifica as configurações do site compute. Veja Use o formulário simples para gerenciar compute.

Requisitos

Para usar o modo de acesso de grupo dedicado:

  • Um administrador do workspace deve habilitar a computação: Pré-visualização de clustering de grupo dedicado usando a UI de Pré-visualizações. Veja gerenciar Databricks Previews.

  • O site workspace deve estar habilitado para Unity Catalog.

  • O senhor deve usar o site Databricks Runtime 15.4 ou o acima.

  • O grupo atribuído deve ter permissões CAN MANAGE em uma pasta workspace, onde poderá manter o Notebook, os experimentos ML e outros artefatos workspace usados pelo agrupamento do grupo.

O que é o modo de acesso dedicado?

O modo de acesso dedicado é a versão mais recente do modo de acesso de usuário único. Com acesso dedicado, um recurso compute pode ser atribuído a um único usuário ou grupo, permitindo que apenas o(s) usuário(s) atribuído(s) tenha(m) acesso para usar o recurso compute.

Quando um usuário está conectado a um recurso compute dedicado a um grupo (um clustering de grupo), as permissões do usuário são automaticamente reduzidas para as permissões do grupo, permitindo que o usuário compartilhe com segurança o recurso com os outros membros do grupo.

Criar um recurso de computação dedicado a um grupo

  1. Em seu site Databricks workspace, vá para compute e clique em Create compute.

  2. Expanda a seção Avançado.

  3. Em Access mode (Modo de acesso), clique em Manual e selecione Dedicated (anteriormente: Single-user) no menu dropdown.

  4. No campo Usuário ou grupo único, selecione o grupo que deseja atribuir a esse recurso.

  5. Defina as outras configurações desejadas de compute e clique em Create.

Práticas recomendadas para gerenciar o clustering de grupos

Como as permissões de usuário têm escopo reduzido para o grupo ao usar o agrupamento de grupos, o site Databricks recomenda a criação de uma pasta /Workspace/Groups/<groupName> para cada grupo que o senhor planeja usar com um agrupamento de grupos. Em seguida, atribua as permissões CAN MANAGE na pasta ao grupo. Isso permite que os grupos evitem erros de permissão. Todo o Notebook do grupo e o workspace ativo devem ser gerenciados na pasta do grupo.

O senhor também deve modificar as seguintes cargas de trabalho para execução em clustering de grupo:

  • MLflow: Certifique-se de que o senhor execute o Notebook a partir da pasta do grupo ou execute mlflow.set_tracking_uri("/Workspace/Groups/<groupName>").

  • AutoML: Defina o parâmetro opcional experiment_dir como “/Workspace/Groups/<groupName>” para sua AutoML execução.

  • dbutils.notebook.run: Certifique-se de que o grupo tenha permissão READ no Notebook que está sendo executado.

Exemplo de permissões de grupo

Quando o senhor cria um objeto de dados usando o agrupamento de grupos, o grupo é atribuído como proprietário do objeto.

Por exemplo, se o senhor tiver um Notebook anexado a um grupo de clustering e executar o seguinte comando:

use catalog main;
create schema group_cluster_group_schema;

Em seguida, execute essa consulta para verificar o proprietário do esquema:

describe schema group_cluster_group_schema;
Exemplo de descrição do esquema de grupo

Atividade de computação dedicada do grupo de auditoria

Há duas key identidades envolvidas quando um grupo de clustering executa uma carga de trabalho:

  1. O usuário que está executando a carga de trabalho no agrupamento de grupos

  2. O grupo cujas permissões são usadas para realizar as ações reais da carga de trabalho

A tabela do sistema de log de auditoria registra essas identidades de acordo com os seguintes parâmetros:

  • identity_metadata.run_by: O usuário autenticador que executa a ação

  • identity_metadata.run_as: o grupo de autorização cujas permissões são usadas para a ação.

O exemplo de consulta a seguir extrai os metadados de identidade de uma ação realizada com o agrupamento de grupos:

select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;

Consulte a referência da tabela do sistema audit log para obter mais exemplos de consultas. Consulte a referência da tabela do sistema Audit log .

Limitações

O modo de acesso a grupos dedicados Public Preview tem as seguintes limitações conhecidas:

  • As tabelas do sistema de linhagem não registram as identidades identity_metadata.run_as (o grupo de autorização) ou identity_metadata.run_by (o usuário de autenticação) para cargas de trabalho em execução em um cluster de grupo.

  • A auditoria logs entregue ao armazenamento do cliente não registra as identidades identity_metadata.run_as (o grupo de autorização) ou identity_metadata.run_by (o usuário de autenticação) para cargas de trabalho em execução em um cluster de grupo. O senhor deve usar a tabela system.access.audit para view os metadados de identidade.

  • Quando anexado a um agrupamento de grupos, o Catalog Explorer não filtra por ativo somente acessível ao grupo.

  • Os gerentes de grupo que não são membros do grupo não podem criar, editar ou excluir clustering de grupo. Somente os administradores do workspace e os membros do grupo podem fazer isso.

  • Se um grupo for renomeado, o senhor deverá atualizar manualmente todas as políticas do site compute que fazem referência ao nome do grupo.

  • O agrupamento de grupos não é compatível com o espaço de trabalho com ACLs desativadas (isWorkspaceAclsEnabled == false) devido à falta inerente de segurança e de controles de acesso a dados quando as ACLs do site workspace estão desativadas.

  • O comando %run atualmente usa as permissões do usuário em vez das permissões do grupo quando executado em um agrupamento de grupos. Alternativas como dbutils.notebook.run() usam corretamente as permissões do grupo.