Remoção dinâmica de arquivos
A poda dinâmica de arquivos pode melhorar significativamente o desempenho de muitas consultas em tabelas do Delta Lake. A poda dinâmica de arquivos é acionada para consultas que contêm instruções de filtro ou cláusulas WHERE
. O senhor deve usar o site compute habilitado para o Photon para usar a poda dinâmica de arquivos nas declarações MERGE
, UPDATE
e DELETE
. Apenas SELECT
declarações aproveitam a poda dinâmica de arquivos quando o Photon não é usado.
A poda dinâmica de arquivos é especialmente eficiente para tabelas não particionadas ou para junções em colunas não particionadas. O impacto no desempenho da poda dinâmica de arquivos geralmente está correlacionado com o clustering de dados, portanto, considere o uso do Z-ordering para maximizar o benefício.
Para casos de uso e segundo plano para remoção dinâmica de arquivos, consulte query SQL mais rápida no Delta Lake com remoção dinâmica de arquivos.
Configuração
A remoção dinâmica de arquivos é controlada pelas seguintes opções de configuração do Apache Spark:
spark.databricks.optimizer.dynamicFilePruning
default étrue
): o sinalizador principal que direciona o otimizador para empurrar para baixo os filtros. Quando definido comofalse
, a remoção de arquivo dinâmico não terá efeito.spark.databricks.optimizer.deltaTableSizeThreshold
default é10,000,000,000 bytes (10 GB)
): representa o tamanho mínimo (em bytes) da tabela Delta no lado da sondagem da join necessária para acionar a remoção de arquivo dinâmico. Se o lado da sonda não for muito grande, provavelmente não vale a pena empurrar os filtros para baixo e podemos simplesmente escanear toda a tabela. Você pode encontrar o tamanho de uma tabela Delta executando o comandoDESCRIBE DETAIL table_name
e, em seguida, observando a colunasizeInBytes
.spark.databricks.optimizer.deltaTableFilesThreshold
default é10
): representa o número de arquivos da tabela Delta no lado da investigação da join necessários para acionar a remoção dinâmica de arquivos. Quando a tabela lateral da análise contém menos arquivos que o valor limite, a remoção dinâmica de arquivos não é acionada. Se uma tabela tiver apenas alguns arquivos, provavelmente não valerá a pena ativar a remoção dinâmica de arquivos. Você pode encontrar o tamanho de uma tabela Delta executando o comandoDESCRIBE DETAIL table_name
e observando a colunanumFiles
.