Delta Lake テーブルをカスタムメタデータでエンリッチする

Databricks では、テーブルとテーブル内の列に常にコメントを付けることをお勧めします。 これらのコメントは AI を使用して生成できます。 「AI によって生成されたコメントをテーブルに追加する」を参照してください。

Unity Catalog は、データにタグを付ける機能も提供します。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。

Delta Lake トランザクション ログのフィールド内のテーブルへの個々のコミットのメッセージをログに記録することもできます。

ユーザー定義のコミットメタデータの設定

DataFrameWriter オプションuserMetadataまたは SparkSession 構成spark.databricks.delta.commitInfo.userMetadataを使用して、ユーザー定義の文字列をコミットのメタデータとして指定できます。 両方が指定されている場合は、オプションが優先されます。 このユーザー定義のメタデータは、 DESCRIBE HISTORY 操作で読み取り可能です。 「 Delta Lake テーブル履歴の操作 」を参照してください。

SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")