Delta Lake テーブルをカスタム メタデータで強化する

Databricks では、テーブルおよびテーブル内の列に常にコメントを提供することをお勧めします。 これらのコメントは AI を使用して生成できます。 AI が生成したコメントをテーブルに追加する を参照してください。

Unity Catalogは、データにタグを付ける機能も提供されます。 「タグを適用する」を参照してください。

Delta Lake トランザクション ログのフィールド内のテーブルへの個々のコミットのメッセージをログに記録することもできます。

ユーザー定義のコミットメタデータの設定

DataFrameWriter オプションuserMetadataまたは SparkSession 構成spark.databricks.delta.commitInfo.userMetadataを使用して、ユーザー定義の文字列をコミットのメタデータとして指定できます。 両方が指定されている場合は、オプションが優先されます。 このユーザー定義のメタデータは、 DESCRIBE HISTORY 操作で読み取り可能です。 「 Delta Lake テーブル履歴の操作 」を参照してください。

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")