Referência de propriedades da tabela Delta

O Delta Lake reserva as propriedades da tabela Delta começando com delta.. Essas propriedades podem ter significados específicos e afetar os comportamentos quando essas propriedades são definidas.

Observação

Todas as operações que definem ou atualizam as propriedades da tabela entram em conflito com outras operações de gravação concorrente, causando falhas. A Databricks recomenda que o senhor modifique uma propriedade de tabela somente quando não houver operações de gravação concorrente na tabela.

Como as propriedades da tabela e as propriedades SparkSession interagem?

As propriedades da tabela Delta são definidas por tabela. Se uma propriedade for definida em uma tabela, essa é a configuração seguida por default.

Algumas propriedades da tabela têm configurações SparkSession associadas que sempre têm precedência sobre as propriedades da tabela. Alguns exemplos incluem as configurações spark.databricks.delta.autoCompact.enabled e spark.databricks.delta.optimizeWrite.enabled , que ativam a compactação automática e as gravações otimizadas no nível SparkSession em vez do nível da tabela. Databricks recomenda o uso de configurações com escopo de tabela para a maioria das cargas de trabalho.

Para cada propriedade da tabela Delta, você pode definir um valor default para novas tabelas usando uma configuração SparkSession, substituindo o default integrado . Essa configuração afeta apenas as novas tabelas e não substitui nem substitui as propriedades definidas nas tabelas existentes. O prefixo utilizado na SparkSession é diferente das configurações utilizadas nas propriedades da tabela, conforme tabela a seguir:

Delta Lake conf	SparkSession conf
delta.<conf>	spark.databricks.delta.properties.defaults.<conf>

Por exemplo, para definir a propriedade delta.appendOnly = true para todas as novas tabelas Delta Lake criadas em uma sessão, defina o seguinte:

SET spark.databricks.delta.properties.defaults.appendOnly = true

Para modificar as propriedades de tabelas existentes, use SET TBLPROPERTIES.

Propriedades da tabela Delta

As propriedades disponíveis da tabela Delta incluem o seguinte: