Unity Catalogとは

この記事では、Databricks 上のデータと AI 資産の統合ガバナンスソリューションである Unity Catalog を紹介します。

注

Unity Catalog はオープンソース実装としても利用できます。発表ブログと公開Unity Catalog GitHub リポジトリをご覧ください。

Unity Catalog の概要

Unity Catalogでは、複数のDatabricksワークスペースに対して、一元化されたアクセス制御、監査、系列、およびデータ検出機能を利用できます。

Unity Catalogの主な機能は次のとおりです。

一度定義すれば、どこでも安全: Unity Catalog は、すべてのワークスペースに適用されるデータアクセスポリシーを 1 か所で管理できます。
標準準拠のセキュリティモデル: Unity Catalogのセキュリティモデルは標準の ANSI SQLに基づいており、管理者はカタログ、スキーマ (データベースとも呼ばれます)、テーブル、ビューのレベルで、使い慣れた構文を使用して既存のデータレイクに権限を付与できます。
組み込みの監査とリネージ: Unity Catalog は、データへのアクセスを記録するユーザーレベルの監査ログを自動的にキャプチャします。 Unity Catalogは、すべての言語でデータアセットがどのように作成および使用されるかを追跡するリネージデータもキャプチャします。
データディスカバリー: Unity Catalogではデータアセットにタグを付けて文書化でき、またデータ利用者がデータを見つけるのに役立つ検索インターフェースを利用できます。
システムテーブル (パブリックプレビュー): Unity Catalogを使用すると、監査ログ、課金対象の使用状況、系列など、アカウントの運用データに簡単にアクセスしてアクセスできます。

Unity Catalogオブジェクトモデル

Unity Catalog では、すべてのメタデータがメタストアに登録されます。任意の Unity Catalog メタストア内のデータベースオブジェクトの階層は 3 つのレベルに分かれており、テーブル、ビュー、ボリューム、モデル、関数を参照するときに 3 レベルの名前空間 ( catalog.schema.table-etc ) として表されます。

メタストア

メタストアは、Unity Catalog 内のメタデータの最上位コンテナーです。データとAIアセットに関するメタデータと、それらへのアクセスを管理する権限を登録します。ワークスペースで Unity Catalog を使用するには、Unity Catalog メタストアがアタッチされている必要があります。

ワークスペースがあるリージョンごとに 1 つのメタストアが必要です。ワークスペースはどのようにしてメタストアにアタッチされますか? 「組織の Unity Catalog を設定する方法」を参照してください。

メタストア内のオブジェクト階層

Unity Catalogメタストアでは、3 レベルのデータベースオブジェクト階層は、スキーマを含むカタログで構成され、スキーマにはテーブルやモデルなどのデータとAIオブジェクトが含まれます。

レベル1:

カタログ は、データ資産を整理するために使用され、通常はデータ分離スキームの最上位レベルとして使用されます。カタログは多くの場合、組織単位またはソフトウェア開発ライフサイクルの範囲を反映します。「Databricks のカタログとは何ですか?」を参照してください。
ストレージ資格情報や外部ロケーションなどのデータ保護不可能なオブジェクトは、 Unity Catalogでデータガバナンスモデルを管理するために使用されます。これらもメタストアの直下にあります。これらについては、「その他のセキュリティ保護可能なオブジェクト」で詳しく説明します。

レベル2:

スキーマ(データベースとも呼ばれます) には、テーブル、ビュー、ボリューム、AI モデル、および関数が含まれます。スキーマは、データと AI アセットをカタログよりも細かい論理カテゴリに整理します。通常、スキーマは単一のユースケース、プロジェクト、またはチームサンドボックスを表します。「Databricks のスキーマとは何ですか?」を参照してください。

レベル3:

ボリュームは、クラウドオブジェクトストレージ内の非構造化、非表形式データの論理ボリュームです。ボリュームは、Unity Catalog がストレージ内のデータのライフサイクルとレイアウト全体を管理する「管理対象」 、または Unity Catalog が Databricks 内からのデータへのアクセスを管理するが、他のクライアントからのクラウドストレージ内のデータへのアクセスは管理しない「外部」のいずれかになります。「Unity Catalog ボリュームとは何ですか?」および「マネージドテーブルとボリュームと外部テーブルおよびボリュームの違い」を参照してください。
テーブルは 、行と列で整理されたデータのコレクションです。テーブルは、Unity Catalog がテーブルのライフサイクル全体を管理するように管理することも、Unity Catalog が Databricks 内からデータへのアクセスを管理するが、他のクライアントからクラウドストレージ内のデータへのアクセスを管理することはない外部の Unity Catalog を使用して管理することもできます。「テーブルとビューとは」を参照してください。管理テーブルと外部テーブルおよびボリュームの比較。
ビュー は、1 つ以上のテーブルに対する保存されたクエリです。「ビューとは」を参照してください。
関数は、スカラー値または行のセットを返す保存されたロジックの単位です。 Unity Catalogのユーザー定義関数 (UDF)を参照してください。
モデルは 、MLflow にパッケージ化され、Unity Catalog に関数として登録される AI モデルです。「Unity Catalog でのモデルのライフサイクルの管理」を参照してください。

Unity Catalog でのデータベースオブジェクトの操作

Unity Catalogでのデータベースオブジェクトの操作はHive metastoreに登録されているデータベースオブジェクトの操作と非常に似ていますが、 Hive metastoreではオブジェクト名前空間にカタログが含まれていないという点が異なります。使い慣れた ANSI 構文を使用して、データベースオブジェクトの作成、データベースオブジェクトの管理、権限の管理、Unity Catalog でのデータの操作を行うことができます。「カタログエクスプローラ」(Catalog Explorer) UI を使用して、データベースオブジェクトの作成、データベースオブジェクトの管理、およびデータベースオブジェクトに対するパーミッションの管理を行うこともできます。

詳細については、 Databricksのデータベースオブジェクト」およびUnity Catalogと従来のHive metastoreの操作」を参照してください。

その他のセキュリティ保護可能なオブジェクト

スキーマに含まれるデータベースオブジェクトと AI アセットに加えて、Unity Catalog は次のセキュリティ保護可能なオブジェクトを使用してデータへのアクセスも管理します。

ストレージ資格情報は、クラウドストレージへのアクセスを提供する長期的なクラウド資格情報をカプセル化します。 Google Cloud Storage に接続するためのストレージ認証情報を作成するをご覧ください。
ストレージ資格情報とクラウドストレージパスへの参照を含む外部ロケーション。外部ロケーションを使用して、外部テーブルを作成したり、マネージドテーブルとボリュームの管理 ストレージロケーション を割り当てたりできます。「クラウドストレージを Databricksに接続するための外部ロケーションを作成する」、「管理ストレージを使用したデータの分離」、および「Unity Catalogでの管理ストレージの場所の指定」を参照してください。
Connections は、レイクハウスフェデレーションを使用してMySQLなどのデータベースシステム内の外部データベースへの読み取り専用アクセスを許可する資格情報を表します。レイクハウスフェデレーションとUnity Catalog 、レイクハウスフェデレーションとは何ですか？。

Shares は、データプロバイダーが 1 人以上の受信者と共有するデータと AI アセットの読み取り専用コレクションを表す Delta Sharing オブジェクトです。
受信者: データプロバイダーから共有を受け取るエンティティを表す Delta Sharing オブジェクトです。
プロバイダーは、受信者とデータを共有するエンティティを表す Delta Sharing オブジェクトです。

Delta Sharingセキュリティ保護可能なオブジェクトの詳細については、 Delta Sharingは何ですか?」を参照してください。

Unity Catalog 内のデータベースオブジェクトやその他のセキュリティ保護可能なオブジェクトへのアクセスの許可と取り消し

セキュリティ保護可能なオブジェクトへのアクセスは、メタストア自体を含め、階層内の任意のレベルで許可および取り消すことができます。オブジェクトにアクセスすると、アクセスが取り消されない限り、そのオブジェクトのすべての子に同じアクセス権が暗黙的に付与されます。

一般的な ANSI SQL コマンドを使用して、Unity Catalog 内のオブジェクトへのアクセスを許可および取り消すことができます。例えば：

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

カタログエクスプローラー、 Databricks CLI 、 REST APIsを使用してオブジェクトのアクセス許可を管理することもできます。

Unity Catalog で権限を管理する方法については、「Unity Catalog で権限を管理する」を参照してください。

Unity Catalog のデータベースオブジェクトへのデフォルトアクセス

Unity Catalog は最小権限の原則に基づいて動作し、ユーザーは必要なタスクを実行するために必要な最小限のアクセス権を持ちます。ワークスペースが作成されると、管理者以外のユーザーは自動的に作成されたワークスペースカタログにのみアクセスできるようになります。これにより、このカタログは、ユーザーがUnity Catalogでデータベースオブジェクトを作成してアクセスするプロセスを試すのに便利な場所になります。ワークスペースカタログの権限を参照してください。

管理者の役割

ワークスペース管理者とアカウント管理者には、デフォルトで追加の権限が与えられます。 メタストア管理者はオプションのロールであり、メタストアレベルでテーブルとボリュームのストレージを管理する場合に必須であり、リージョン内の複数のワークスペースにわたってデータを集中的に管理する場合に便利です。詳細については、 Unity Catalogの管理者権限」および「 (オプション) メタストア管理者ロールの割り当て」を参照してください。

管理対象のテーブルと外部のテーブルとボリューム

テーブルとボリュームは、管理または外部にすることができます。

Databricks では、Unity Catalog のガバナンス機能とパフォーマンスの最適化を最大限に活用するために、マネージドテーブルとボリュームを推奨しています。

「マネージドテーブルの操作」、「外部テーブルの操作」、および「マネージドボリュームと外部ボリューム」を参照してください。

マネージドストレージを使用したデータの分離

組織によっては、特定の種類のデータをクラウドテナント内の特定のアカウントまたはバケット内に保存することが必要になる場合があります。

Unity Catalog を使用すると、このような要件を満たすために、メタストア、カタログ、またはスキーマレベルでストレージの場所を構成することができます。システムは、スキーマからカタログ、メタストアまでのストレージの場所の階層を評価します。

たとえば、組織に、人事リソースに関連する本番運用データをバケット gs://mycompany-hr-prod に格納することを要求する企業コンプライアンスポリシーがあるとします。 Unity Catalog では、カタログレベルで場所を設定し、たとえばhr_prodという名前のカタログを作成し、それに場所 gs://mycompany-hr-prod/unity-catalog を割り当てることで、この要件を実現できます。つまり、 hr_prod カタログで作成されたマネージドテーブルまたはマネージドボリュームは (たとえば、 CREATE TABLE hr_prod.default.table …を使用して)、データを gs://mycompany-hr-prod/unity-catalog に格納します。必要に応じて、スキーマレベルの場所を指定して、 hr_prod catalog 内のデータをより詳細なレベルで整理できます。

一部のカタログでストレージの分離が必要ない場合は、必要に応じてメタストアレベルでストレージの場所を設定できます。この場所は、ストレージが割り当てられていないカタログとスキーマ内の管理対象テーブルとボリュームのデフォルトの場所として機能します。ただし、通常、Databricks では、カタログごとに個別の管理対象ストレージの場所を割り当てることをお勧めします。

詳細については、「Unity Catalogで管理されたストレージの場所を指定する」および「ストレージ内でデータが物理的に分離されている」を参照してください。

ワークスペースとカタログのバインディング

デフォルトでは、カタログ所有者 (およびアカウントに定義されている場合はメタストア管理者) は、同じ Unity Catalog メタストアに接続された複数のワークスペースのユーザーがカタログにアクセスできるようにすることができます。ただし、ワークスペースを使用してユーザーのデータアクセスを分離する場合は、アカウント内の特定のワークスペースへのカタログアクセスを制限して、特定の種類のデータがそれらのワークスペースでのみ処理されるようにする必要があります。たとえば、本番運用と開発のワークスペースを別々にしたり、個人データを処理するための別のワークスペースが必要になる場合があります。これは、ワークスペースカタログバインディングと呼ばれます。「特定のワークスペースへのカタログアクセスを制限する」を参照してください。

注

データの分離を強化するために、クラウドストレージへのアクセスを特定のワークスペースにバインドすることもできます。「(オプション) 特定のワークスペースにストレージ資格情報を割り当てる」および「(オプション) 特定のワークスペースに外部ロケーションを割り当てる」を参照してください。

データ・アクセスの監査

Unity Catalog は、メタストアに対して実行されたアクションの監査ログをキャプチャし、管理者が特定のデータセットにアクセスしたユーザーとそのユーザーが実行したアクションに関する詳細な情報にアクセスできるようにします。

Unity Catalogによって管理されるシステムテーブルを使用して、アカウントの監査ログにアクセスできます。

Unity Catalogイベントの監査」、 Unity Catalogイベント」、および「システムテーブルを使用した使用状況の監視」を参照してください。

トラッキングデータ

Unity Catalog使用すると、 DatabricksクラスターまたはSQLウェアハウスで実行される任意の言語のクエリ全体でランタイムデータリネージをキャプチャできます。リネージは列レベルまでキャプチャされ、クエリに関連するノートブック、ジョブ、ダッシュボードが含まれます。詳細については、 Unity Catalogを使用したデータリネージのキャプチャと表示」を参照してください。

レイクハウスフェデレーションと Unity Catalog

レイクハウスフェデレーションは、Databricksのクエリーフェデレーションプラットフォームです。 クエリーフェデレーション という用語は、すべてのユーザーを統一されたシステムに移行しなくても、ユーザーとシステムが複数のサイロ化された Data に対してクエリーを実行できるようにする機能のコレクションを表します。

Databricks は、 Unity Catalog を使用してクエリーフェデレーションを管理します。 Unity Catalog を使用して、一般的な外部データベースシステムへの読み取り専用接続を構成し、外部データベースをミラーリングする フォーリンカタログ を作成します。 Unity Catalog のデータガバナンスとデータリネージツールを使用すると、Databricks ワークスペース内のユーザーが作成したすべてのフェデレーションクエリーのデータアクセスが管理および監査されます。

レイクハウスフェデレーションとは何ですか？を参照してください。。

自分の組織のUnity Catalogを設定するにはどうすればよいですか？

Unity Catalog を使用するには、Databricks ワークスペースが Unity Catalog に対して有効になっている必要があります (つまり、ワークスペースが Unity Catalog メタストアにアタッチされていることを意味します)。

ワークスペースはどのようにしてメタストアにアタッチされますか? アカウントとワークスペースによって異なります。

通常、リージョンに Databricks ワークスペースを初めて作成すると、メタストアが自動的に作成され、ワークスペースにアタッチされます。
一部の古いアカウントでは、アカウント管理者がメタストアを作成し、そのリージョンのワークスペースをメタストアに割り当てる必要があります。手順については、「 Unity Catalog メタストアを作成する」を参照してください。
アカウントに既にリージョンにメタストアが割り当てられている場合、アカウント管理者は、そのリージョン内のすべての新しいワークスペースにメタストアを自動的にアタッチするかどうかを決定できます。「メタストアを新しいワークスペースに自動的に割り当てるようにする」を参照してください。

ワークスペースが自動的に Unity Catalog 有効になっているかどうかにかかわらず、 Unity Catalogの使用を開始するには、次のステップも必要です。

カタログとスキーマを作成して、テーブルやボリュームなどのデータベースオブジェクトを含めます。
管理対象のストレージの場所を作成して、これらのカタログとスキーマに管理対象のテーブルとボリュームを格納します。
カタログ、スキーマ、およびデータベース・オブジェクトへのアクセス権をユーザーに付与します。

Unity Catalogで自動的に有効になるワークスペース。これは、すべてのワークスペースユーザーに広範な権限が付与されるワークスペースカタログです。このカタログは、Unity Catalog を試すための便利な出発点です。

詳細なセットアップ手順については、「Unity Catalog のセットアップと管理」を参照してください。

既存のワークスペースを Unity Catalog に移行する

最近Unity Catalog用に有効にした古いワークスペースがある場合は、従来のHive metastoreによって管理されているデータがある可能性があります。そのデータはに登録されているデータと一緒に操作できますが、従来のUnity Catalog Hive metastoreHive metastoreUnity Catalogは非推奨になっており、Unity Catalog の優れたガバナンス機能とパフォーマンスを活用するには、できるだけ早くのデータをに移行する必要があります。

移行には、次のものが含まれます。

ワークスペースのローカルグループをアカウントレベルのグループに変換します。 Unity Catalog は、アカウントレベルで ID 管理を集中化します。
Hive metastoreで管理されているテーブルとビューをUnity Catalogに移行します。
クエリとジョブを更新して、古いテーブルではなく新しいUnity Catalog Hive metastoreテーブルを参照するようにします。

移行の管理に役立つのは、次の点です。

移行するテーブルの数が少ない場合は、Databricks が提供する UI ウィザードと SQL コマンドを使用できます。「Hive テーブルとビューを Unity Catalog にアップグレードする」を参照してください。
同じワークスペースでHive metastoreのテーブルをUnity Catalogのデータベースオブジェクトと一緒に使用する方法については、 Unity Catalogと従来のHive metastoreの操作」を参照してください。

Unity Catalogの要件と制限

Unity Catalog 、以下で説明する特定の種類のコンピュートおよびファイル形式が必要です。また、以下に、すべての Databricks Runtime バージョンの Unity Catalog で完全にサポートされていない Databricks 機能もいくつか示します。

リージョンのサポート

すべてのリージョンで Unity Catalog がサポートされています。詳細については、「Databricks のクラウドとリージョン」を参照してください。

コンピュートの要件

Unity Catalogは、Databricks Runtime 11.3 LTS以上を実行するクラスターでサポートされます。Unity Catalogは、すべてのSQLウェアハウスコンピュートバージョンでデフォルトでサポートされています。

以前のバージョンのDatabricks Runtimeで実行されているクラスターでは、Unity Catalog GAの一部の機能がサポートされない場合があります。

Unity Catalog のデータにアクセスするには、クラスターを正しい アクセスモードで構成する必要があります。 Unity Catalog はデフォルトによって保護されています。クラスターが共有またはシングルユーザーアクセスモードで構成されていない場合、クラスターは Unity Catalog のデータにアクセスできません。「アクセスモード」を参照してください。

Databricks Runtime の各バージョンでの Unity Catalog 機能の変更の詳細については、リリースノートを参照してください。

Unity Catalog の制限事項は、アクセスモードと Databricks Runtime のバージョンによって異なります。「Unity Catalog のコンピュートアクセスモードの制限事項」を参照してください。

ファイル形式のサポート

Unity Catalogでは、次のテーブル形式がサポートされています。

マネージドテーブル: deltaテーブル形式を使用する必要があります。
外部テーブル: delta、CSV、 JSON、avro、parquet、ORC、またはtextを使用できます。

制限

Unity Catalog には以下の制限があります。これらの一部は、古いDatabricks Runtimeバージョンおよびコンピュートアクセスモードに固有のものです。

構造化ストリーミングワークロードには、Databricks Runtime とアクセスモードに応じて追加の制限があります。 Unity Catalogのコンピュートアクセスモードの制限を参照してください。

Databricks は、このリストを定期的に縮小する新しい機能をリリースします。

Unity Catalogに登録されたモデルには追加の制限があります。「制限事項」を参照してください。

リソースクォータ

Unity Catalog は、セキュリティ保護可能なすべてのオブジェクトにリソースクォータを適用します。これらのクォータは、「リソース制限」に記載されています。これらのリソース制限を超えることが予想される場合は、Databricks アカウントチームにお問い合わせください。

クォータの使用状況は、 Unity Catalog リソースクォータ APIsを使用して監視できます。「Unity Catalog のリソースクォータの使用状況を監視する」を参照してください。