Trabalhar com arquivos no Databricks
Databricks fornece múltiplas russas e APIs para interagir com arquivos nos seguintes locais:
Unity Catalog volumes
workspace arquivos
cloud armazenamento de objetos
Montagens de DBFS e DBFS root
Armazenamento efêmero anexado ao nó do driver do cluster
Este artigo fornece exemplos de interação com arquivos nesses locais para as seguintes ferramentas:
Apache Spark
Spark SQL e Databricks SQL
Utilidades do sistema de arquivos Databricks (
dbutils.fs
ou%fs
)CLI do Databricks
API REST Databricks
Comando do shell Bash (
%sh
)NotebookA biblioteca com escopo de -instalações usando
%pip
Pandas
Utilitários de processamento e gerenciamento de arquivos OSS Python
Importante
As operações de arquivo que exigem acesso FUSE aos dados não podem acessar diretamente o armazenamento de objetos clouds usando URIs. A Databricks recomenda a utilização de volumes Unity Catalog para configurar o acesso a estes locais para o FUSE.
Scala não suporta volumes FUSE for Unity Catalog ou arquivos de workspace em compute configurada com modo de acesso de usuário único ou clusters sem Unity Catalog. Scala suporta volumes FUSE for Unity Catalog e arquivos workspace em compute configurada com Unity Catalog e modo de acesso compartilhado.
Preciso fornecer um esquema de URI para acessar os dados?
Os caminhos de acesso a dados em Databricks seguem um dos seguintes padrões:
Os caminhos no estilo URI incluem um esquema de URI. Para soluções de acesso a dados nativas do Databricks, os esquemas URI são opcionais para a maioria dos casos de utilização. Ao acessar dados diretamente no armazenamento de objetos clouds , você deve fornecer o esquema de URI correto para o tipo de armazenamento.
Os caminhos no estilo POSIX fornecem acesso a dados relativos à raiz do driver (
/
). Os caminhos no estilo POSIX nunca requerem um esquema. Você pode usar volumes do Unity Catalog ou montagens DBFS para fornecer acesso no estilo POSIX aos dados no armazenamento de objetos clouds . Muitas estruturas de ML e outros módulos OSS Python exigem FUSE e só podem usar caminhos no estilo POSIX.
Trabalhar com arquivos em volumes do Unity Catalog
A Databricks recomenda a utilização de volumes do Unity Catalog para configurar o acesso a ficheiros de dados não tabulares armazenados no armazenamento de objetos clouds . Consulte Criar e trabalhar com volumes.
Ferramenta |
Exemplo |
---|---|
Apache Spark |
|
Spark SQL e Databricks SQL |
|
Sistema de arquivos databricks russos |
|
CLI do Databricks |
|
API REST Databricks |
|
Comando shell bash |
|
Instalações de biblioteca |
|
Pandas |
|
OSS Python |
|
Observação
O esquema dbfs:/
é necessário ao trabalhar com a CLI do Databricks.
Limitações de volumes
Os volumes têm as seguintes limitações:
Não há suporte para gravações com anexação direta ou não sequenciais (aleatórias), como a gravação de arquivos Zip e Excel. Para cargas de trabalho de apêndice direto ou de gravação aleatória, execute primeiro as operações em um disco local e, em seguida, copie os resultados para os volumes do Unity Catalog. Por exemplo:
# python import xlsxwriter from shutil import copyfile workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx') worksheet = workbook.add_worksheet() worksheet.write(0, 0, "Key") worksheet.write(0, 1, "Value") workbook.close() copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')
Não há suporte para arquivos esparsos. Para copiar arquivos esparsos, use
cp --sparse=never
:$ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file error writing '/dbfs/sparse.file': Operation not supported $ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
Trabalhar com arquivos do espaço de trabalho
Arquivos do Databricksworkspace são o conjunto de arquivos em um workspace que não são do Notebook. O senhor pode usar os arquivos workspace para armazenar e acessar dados e outros arquivos salvos no Notebook e em outros workspace ativos. Como os arquivos workspace têm restrições de tamanho, a Databricks recomenda armazenar apenas arquivos de dados pequenos aqui, principalmente para desenvolvimento e teste.
Ferramenta |
Exemplo |
---|---|
Apache Spark |
|
Spark SQL e Databricks SQL |
|
Sistema de arquivos databricks russos |
|
CLI do Databricks |
|
API REST Databricks |
|
Comando shell bash |
|
Instalações de biblioteca |
|
Pandas |
|
OSS Python |
|
Observação
O esquema file:/
é necessário ao trabalhar com Databricks russas, Apache Spark ou SQL.
Limitações dos arquivos do espaço de trabalho
workspace têm as seguintes limitações:
workspace o tamanho do arquivo é limitado a 500 MB. As operações que tentarem fazer download ou criar arquivos maiores que esse limite falharão.
Se o seu fluxo de trabalho usar código-fonte localizado em um repositório Git remoto, não será possível gravar no diretório atual ou usar um caminho relativo. Gravar dados em outras opções de local.
Você não pode usar o comando
git
ao salvar em arquivos workspace . A criação de diretórios.git
não é permitida em arquivos workspace .Há um suporte limitado para operações de arquivo workspace do serverless compute.
executor não pode gravar em arquivos workspace .
não há suporte para links simbólicos.
workspace os arquivos não podem ser acessados a partir de funções definidas pelo usuário (UDFs) em clusters com modo de acesso compartilhado.
Para onde vão os arquivos excluídos do workspace?
Excluir um arquivo de workspace o envia para a lixeira. Você pode recuperar ou excluir permanentemente arquivos da lixeira usando a IU.
Consulte Excluir um objeto.
Trabalhe com arquivos no armazenamento de objetos clouds
A Databricks recomenda o uso de volumes do Unity Catalog para configurar o acesso seguro a arquivos no armazenamento de objetos clouds . Se você optar por acessar diretamente os dados no armazenamento de objetos clouds usando URIs, deverá configurar permissões. Consulte gerenciamento de locais externos, tabelas externas e volumes externos.
Os exemplos a seguir usam URIs para acessar dados no armazenamento de objetos clouds :
Ferramenta |
Exemplo |
---|---|
Apache Spark |
|
Spark SQL e Databricks SQL |
|
Sistema de arquivos databricks russos |
|
CLI do Databricks |
Não suportado |
API REST Databricks |
Não suportado |
Comando shell bash |
Não suportado |
Instalações de biblioteca |
|
Pandas |
Não suportado |
OSS Python |
Não suportado |
Observação
cloud O armazenamento de objetos não é compatível com a passagem de credenciais.
Trabalhe com arquivos em montagens DBFS e DBFS root
As montagens DBFS não podem ser protegidas usando o Unity Catalog e não são mais recomendadas pelo Databricks. Os dados armazenados na DBFS root podem ser acessados por todos os usuários no workspace. A Databricks não recomenda armazenar qualquer código ou dados confidenciais ou de produção na DBFS root. Consulte O que é o sistema de arquivos Databricks (DBFS)?.
Ferramenta |
Exemplo |
---|---|
Apache Spark |
|
Spark SQL e Databricks SQL |
|
Sistema de arquivos databricks russos |
|
CLI do Databricks |
|
API REST Databricks |
|
Comando shell bash |
|
Instalações de biblioteca |
|
Pandas |
|
OSS Python |
|
Observação
O esquema dbfs:/
é necessário ao trabalhar com a CLI do Databricks.
Trabalhar com arquivos em armazenamento temporário anexado ao nó do driver
O armazenamento térmico anexado ao nó do driver é um armazenamento em bloco com acesso de caminho nativo baseado em POSIX. Todos os dados armazenados nesse local desaparecem quando um cluster é encerrado ou reiniciado.
Ferramenta |
Exemplo |
---|---|
Apache Spark |
Não suportado |
Spark SQL e Databricks SQL |
Não suportado |
Sistema de arquivos databricks russos |
|
CLI do Databricks |
Não suportado |
API REST Databricks |
Não suportado |
Comando shell bash |
|
Instalações de biblioteca |
Não suportado |
Pandas |
|
OSS Python |
|
Observação
O esquema file:/
é necessário ao trabalhar com Databricks russas.
Mova dados do armazenamento efêmero para volumes
O senhor pode querer acessar downloads de dados ou salvos em armazenamento efêmero usando o Apache Spark. Como o armazenamento efêmero é anexado ao driver e o Spark é um mecanismo de processamento distribuído, nem todas as operações podem acessar diretamente os dados aqui. Se o senhor precisar mover dados do sistema de arquivos do driver para volumes do Unity Catalog, poderá copiar arquivos usando o magic comando ou os utilitários do Databricks, como nos exemplos a seguir:
dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")
%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>
%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>