Delta Lake テーブルをカスタムメタデータでエンリッチする

Databricks では、テーブルとテーブル内の列に常にコメントを付けることをお勧めします。 これらのコメントは AI を使用して生成できます。 「AI によって生成されたコメントをテーブルに追加する」を参照してください。

Unity Catalog は、データにタグを付ける機能も提供します。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。

Delta Lake トランザクション ログのフィールド内のテーブルへの個々のコミットのメッセージをログに記録することもできます。

ユーザー定義のコミットメタデータの設定

DataFrameWriter オプションuserMetadataまたは SparkSession 構成spark.databricks.delta.commitInfo.userMetadataを使用して、ユーザー定義の文字列をコミットのメタデータとして指定できます。 両方が指定されている場合は、オプションが優先されます。 このユーザー定義のメタデータは、 DESCRIBE HISTORY 操作で読み取り可能です。 「 Delta Lake テーブル履歴の操作 」を参照してください。

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople
df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")
df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")