Enriqueça as tabelas do Delta Lake com metadados personalizados

A Databricks recomenda sempre fornecer comentários para tabelas e colunas em tabelas. O senhor pode gerar esses comentários usando IA. Consulte Adicionar comentários gerados por IA a uma tabela.

O Unity Catalog também oferece a capacidade de marcar dados. Ver Aplicar etiquetas.

O senhor também pode registrar mensagens de confirmação individual para tabelas em um campo nos logs de transação do Delta Lake.

Definir metadados de confirmação definidos pelo usuário

É possível especificar strings definido pelo usuário como metadados no commit, usando a opção DataFrameWriter userMetadata ou a configuração SparkSession spark.databricks.delta.commitInfo.userMetadata. Se ambas tiverem sido especificadas, a opção terá preferência. Esses metadados definidos pelo usuário podem ser lidos nas DESCRIBE HISTORY operações. Consulte a história da tabela Work with Delta Lake.

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")