Unity Catalog メタストアを管理する

この記事では、Databricks アカウントで Unity Catalog メタストアの動作を更新、削除、管理する方法について説明します。

Unity Catalog メタストアとその作成方法については、「 Unity Catalog メタストアを作成する」を参照してください。

メタストアを新しいワークスペースに自動的に割り当てるようにする

既存の Unity Catalog メタストアをそのメタストアのリージョン内の新しいワークスペースに自動的に割り当てるには、アカウント管理者がメタストアのワークスペースの自動割り当てを有効にできます。この設定が選択されていない場合、メタストアと同じリージョンにワークスペースを作成する管理者は、Unity Catalog のワークスペースを手動で有効にし、ドロップダウンからメタストアを選択する必要があります。

アカウント管理者は、このオプションを有効にする前に、新しいワークスペースに対する次の影響を理解しておく必要があります。

ワークスペースカタログが作成され、すべてのワークスペースユーザーには、そのカタログにオブジェクトを作成するために必要な権限が付与されます。「Unity Catalog の自動有効化」を参照してください。
ワークスペース管理者には、カタログや外部ロケーションなどのメタストアレベルのセキュリティ保護可能なオブジェクトを作成するために必要なアクセス許可があります。ワークスペースの管理者権限については、ワークスペースの Unity Catalog が自動的に有効になっている場合を参照してください。
メタストアレベルのストレージがメタストアで既に有効になっている場合、ワークスペースはそのストレージを使用できます。「Unity Catalog で管理されたストレージの場所を指定する」を参照してください。
メタストアにメタストア管理者が定義されている場合は、メタストアに接続されているすべてのワークスペース内のすべてのセキュリティ保護可能なオブジェクトへのアクセスを管理できます。「メタストア管理者」を参照してください。
メタストアの Delta Sharing 設定 (有効または無効) は、メタストアに接続されているすべてのワークスペースに適用されます。「アカウントのDelta Sharingを設定する (プロバイダー向け)」を参照してください。

自動割り当てを有効にするには:

アカウント管理者として、Databricks アカウントコンソールに移動します。
[カタログ]をクリックします。
メタストアを選択します。
[構成] タブの [ワークスペースの割り当て] で、[<region>の新しいワークスペースをこのメタストアに自動的に割り当てる] を選択します。
確認ダイアログで、[ 自動割り当てを有効にする] をクリックします。

マネージドストレージを既存のメタストアに追加する

メタストアレベルの管理ストレージはオプションであり、自動的に作成されたメタストアには含まれません。複数のワークスペースのデータを一元的に格納するデータ分離モデルを好む場合は、メタストアレベルのストレージをメタストアに追加できます。 Delta Sharing を使用してノートブックを共有する場合、または個人のステージング場所を使用する Databricks パートナーである場合は、メタストアレベルのストレージが必要です。

「Unity Catalog で管理されたストレージの場所を指定する」も参照してください。

要件

Unity Catalog メタストアには、少なくとも 1 つのワークスペースがアタッチされている必要があります。
Databricks のアクセス許可が必要です。
- 外部ロケーションを作成するには、メタストア管理者であるか、 CREATE EXTERNAL LOCATION 権限と CREATE STORAGE CREDENTIAL 権限を持つユーザーである必要があります。
- ストレージの場所をメタストア定義に追加するには、アカウント管理者である必要があります。
必要な GCP 権限: GCS バケットとサービスアカウントを作成する権限。

ステップ 1: 保存場所を作成する

ステップ 1(省略可): GCS バケットを作成するの手順に沿って、メタストアと同じリージョンの Google クラウドアカウントに専用の GCS バケットを作成します。

ステップ 2: Unity Catalog で外部ロケーションを作成する

このステップでは、作成したばかりのバケットパスを参照する外部ロケーションをUnity Catalog GCSに作成します。

ストレージ資格情報を作成します。

ストレージ認証情報の作成の一環として、Google クラウドサービスアカウントが作成され、GCS ステップ 1: ストレージの場所を作成するで作成したバケットへのアクセス権をそのサービスアカウントに付与します。

Google Cloud Storage に接続するためのストレージ認証情報を作成するの手順に沿って操作します。
前のステップで作成したストレージ認証情報と、「GCS ステップ 1: ストレージロケーションを作成する」で作成したバケットを参照する外部ロケーションを作成します。

「外部ロケーションを作成する」の手順に従って、クラウドストレージを Databricksに接続します
外部ロケーションに対する CREATE MANAGED STORAGE 権限を自分自身に付与します。
1. 外部ロケーション名をクリックして、詳細ペインを開きます。
2. [アクセス許可] タブで、[許可] をクリックします。
3. 「<external location>の付与」ダイアログで、「プリンシパル」フィールドで自分自身を選択し、「CREATE MANAGED STORAGE」を選択します。
4. [付与] をクリックします。

ステップ 3: メタストアに格納場所を追加する

メタストアストレージバケットを表す外部ロケーションを作成したら、それをメタストアに追加できます。

アカウント管理者として、アカウントコンソールにログインします。
[カタログ]をクリックします。
メタストア名をクリックします。
自分がメタストア管理者であることを確認します。

そうでない場合は、[ 編集 ] をクリックし、自分自身をメタストア管理者として割り当てます。この手順が完了したら、自分自身の割り当てを解除できます。
[Configuration] タブで、[GCS bucket path] の横にある [Set] をクリックします。
[ メタストアルートの設定 ] ダイアログで、外部ロケーションの作成に使用した GCS バケットパスを入力し、[ 更新] をクリックします。

このパスは、一度設定すると変更できません。

メタストア管理者を追加する

メタストア管理者はオプションですが、メタストアに 1 つ必要になる場合があります。「メタストア管理者を割り当てる」を参照してください。

メタストアを削除する

Databricks アカウントを閉鎖する場合、または Unity Catalog メタストアによって管理されているデータへのアクセスを削除する別の理由がある場合は、メタストアを削除できます。

警告

メタストアによって管理されているすべてのオブジェクトは、Databricks ワークスペースを使用してアクセスできなくなります。この操作は元に戻せません。

マネージドテーブルのデータとメタデータは、30日後に自動的に削除されます。クラウドストレージ内の外部テーブルデータは、メタストアの削除の影響を受けません。

メタストアを削除するには:

メタストア管理者として、アカウントコンソールにログインします。
[カタログ]をクリックします。
メタストア名をクリックします。
[構成] タブで、右上にある 3 つのボタンメニューをクリックし、[削除] を選択します。
確認ダイアログで、メタストアの名前を入力し、[ 削除] をクリックします。