gerenciar vs. volumes externos
Este artigo discute as diferenças entre gerenciar volumes e volumes externos e os motivos pelos quais o senhor pode optar por usar volumes externos. Databricks recomenda gerenciar volumes como a solução mais simples para armazenar e gerenciar o acesso a dados não tabulares.
Para obter mais orientações sobre como usar Unity Catalog para configurar o acesso ao armazenamento de objetos cloud, consulte Conectar-se ao armazenamento de objetos cloud usando Unity Catalog.
Diferenças de comportamento entre volumes gerenciais e externos
Gerenciar e volumes externos proporcionam experiências quase idênticas ao usar as ferramentas Databricks, UIs e APIs. Veja a seguir as diferenças entre esses tipos de volume.
gerenciar volumes proporciona uma experiência de armazenamento totalmente gerenciada. Isso significa o seguinte:
Todas as interações com arquivos em volumes gerenciados devem passar por Unity Catalog.
A nomeação do diretório e a disposição dos dados são gerenciadas por Unity Catalog. Os nomes dos diretórios incluem hashes para evitar conflitos na conta subjacente de armazenamento de objetos cloud.
Quando o senhor elimina um volume gerenciado, o site Databricks exclui os dados subjacentes em 30 dias.
Os volumes externos trazem governança de dados para o armazenamento de objetos cloud. Isso significa o seguinte:
O senhor pode usar cloud URIs em Databricks ou sistemas externos para interagir com arquivos em volumes externos.
Todos os diretórios criados em um volume externo ou upload de arquivos são relativos ao
LOCATION
especificado na criação.Ao soltar um volume externo, o volume é removido do Unity Catalog, mas os dados subjacentes permanecem inalterados no local externo.
Por que usar volumes externos?
Os volumes externos permitem que você adicione a governança de dados Unity Catalog aos diretórios de armazenamento de objetos cloud existentes. Alguns casos de uso para volumes externos incluem o seguinte:
Adição de governança a arquivos de dados sem migração.
Arquivos de controle produzidos por outros sistemas que devem ser ingeridos ou acessados pela Databricks.
Dados de controle produzidos pelo Databricks que devem ser acessados diretamente do armazenamento de objetos do cloud por outros sistemas.
A Databricks recomenda o uso de volumes externos para armazenar arquivos de dados não tabulares que são lidos ou gravados por sistemas externos, além da Databricks. Unity Catalog não controla as leituras e gravações realizadas diretamente no armazenamento de objetos cloud a partir de sistemas externos, portanto, o senhor deve configurar políticas e credenciais adicionais em seu cloud account para garantir que as políticas de governança de dados sejam respeitadas fora do Databricks.