Conecte-se à Amazon S3

Este artigo explica como conectar à AWS S3 no Databricks.

Acesse buckets do S3 com URIs e chaves da AWS

Você pode definir propriedades do Spark para configurar chaves AWS para acessar o S3.

Databricks recomenda o uso do Secret Scope para armazenar todas as credenciais. O senhor pode conceder a usuários, entidades de serviço e grupos em seu workspace acesso para ler o Secret Scope. Isso protege o AWS key e permite que os usuários acessem o S3. Para criar um escopo secreto, consulte Gerenciar escopo secreto.

As credenciais podem ter o escopo de um cluster ou de um Notebook. Use o controle de acesso ao cluster e o controle de acesso Notebook juntos para proteger o acesso ao S3. Consulte Permissões de computação e Colaborar usando o Databricks Notebook.

Para definir Spark as propriedades do, use o seguinte trecho em uma cluster Spark configuração do para definir a AWS chave armazenada no Secret Scope como variável de ambiente:

AWS_SECRET_ACCESS_KEY={{secrets/scope/aws_secret_access_key}}
AWS_ACCESS_KEY_ID={{secrets/scope/aws_access_key_id}}

Em seguida, você pode ler do S3 usando os seguintes comandos:

aws_bucket_name = "my-s3-bucket"

df = spark.read.load(f"s3a://{aws_bucket_name}/flowers/delta/")
display(df)
dbutils.fs.ls(f"s3a://{aws_bucket_name}/")

Acesse o S3 com opções de código aberto do Hadoop

O Databricks Runtime suporta a configuração do sistema de arquivos S3A usando opções de código aberto do Hadoop. Você pode configurar propriedades globais e propriedades por bucket.

Configuração global 

# Global S3 configuration
spark.hadoop.fs.s3a.aws.credentials.provider <aws-credentials-provider-class>
spark.hadoop.fs.s3a.endpoint <aws-endpoint>
spark.hadoop.fs.s3a.server-side-encryption-algorithm SSE-KMS

Configuração por bucket

Configure as propriedades por bucket com a sintaxe spark.hadoop.fs.s3a.bucket.<bucket-name>.<configuration-key>. Isso permite configurar buckets com diversas credenciais, endpoints e assim por diante.

Por exemplo, além das configurações globais do S3, você pode configurar cada bucket individualmente usando as seguintes chaves:

# Set up authentication and endpoint for a specific bucket
spark.hadoop.fs.s3a.bucket.<bucket-name>.aws.credentials.provider <aws-credentials-provider-class>
spark.hadoop.fs.s3a.bucket.<bucket-name>.endpoint <aws-endpoint>

# Configure a different KMS encryption key for a specific bucket
spark.hadoop.fs.s3a.bucket.<bucket-name>.server-side-encryption.key <aws-kms-encryption-key>

Padrões obsoletos no armazenamento e no acesso a dados do Databricks

Os padrões de armazenamento obsoletos são os seguintes:

Importante

  • O sistema de arquivos S3A permite o armazenamento em cache por padrão e libera recursos em 'FileSystem.close () '. Para evitar que outros encadeamentos usem incorretamente uma referência ao sistema de arquivos em cache, não use explicitamente o 'FileSystem.close ().

  • O sistema de arquivos S3A não remove marcadores de diretório quando fecha um fluxo de saída. Aplicativos herdados baseados em versões do Hadoop que não incluem HADOOP-13230 podem interpretá-los erroneamente como diretórios vazios, mesmo se contiverem arquivos.