ワークスペースの特徴量テーブルを Unity Catalogにアップグレードする

このページでは、既存のワークスペースの特徴量テーブルを Unity Catalog にアップグレードする方法について説明します。

まず、基になるワークスペースの Delta テーブルをアップグレードする必要があります。 「テーブルとビューを Unity Catalog にアップグレードする」の手順に従います。

基になるテーブルとデータが Unity Catalog で使用可能になったら、次のコードに示すように、 upgrade_workspace_table を使用してワークスペースの特徴量テーブル メタデータを Unity Catalog にアップグレードします。 Databricks では、使用している Databricks Runtime のバージョンに関係なく、この操作に常に最新バージョンの databricks-feature-engineering を使用することをお勧めします。

%pip install databricks-feature-engineering --upgrade

dbutils.library.restartPython()

from databricks.feature_engineering import UpgradeClient
upgrade_client = UpgradeClient()
upgrade_client.upgrade_workspace_table(
  source_workspace_table='recommender_system.customer_features',
  target_uc_table='ml.recommender_system.customer_features'
)

次のメタデータが Unity Catalog にアップグレードされます。

  • 主キー

  • 時系列列

  • 表と列のコメント (説明)

  • テーブルタグと列タグ

  • ノートブックとジョブのリネージ

ターゲット表にソース表と異なる既存の表または列のコメントがある場合、アップグレード方法ではコメントのアップグレードがスキップされ、警告がログに記録されます。 バージョン 0.1.2 を使用している場合 databricks-feature-engineering以下では、エラーがスローされ、アップグレードは実行されません。他のすべてのメタデータでは、ターゲット表とソース表の不一致によってエラーが発生し、アップグレードが妨げられます。 エラーをバイパスし、ターゲットの Unity Catalog テーブルの既存のメタデータを上書きするには、 overwrite = True を API に渡します。

upgrade_client.upgrade_workspace_table(
  source_workspace_table='recommender_system.customer_features',
  target_uc_table='ml.recommender_system.customer_features',
  overwrite=True
)

注：

  • この API を呼び出す前に、まず基になるワークスペースの Delta テーブルを Unity Catalog にアップグレードする必要があります。

  • タグと時系列列のアップグレードは、Databricks Runtime 13.2 ML以下ではサポートされていません。

  • アップグレードされた特徴量テーブルをプロデューサーとコンシューマーに通知して、Unity Catalog で新しいテーブル名の使用を開始することを忘れないでください。 Unity Catalog のターゲット テーブルが、ソース テーブルを複製した CREATE TABLE AS SELECT または同様の方法を使用してアップグレードされた場合、ソース テーブルへの更新はターゲット テーブルで自動的に同期されません。