クラウドストレージをDatabricksに接続するための外部ロケーションを作成する

この記事では、クラウドストレージを Databricks に接続するためにUnity Catalogで外部ロケーションを構成する方法について説明します。

外部ロケーション Unity Catalog ストレージの資格情報をクラウドオブジェクトストレージコンテナーに関連付けます。外部ロケーションは、カタログおよびスキーマの管理対象ストレージ・ロケーションの定義、外部テーブル・外部ボリュームのロケーションの定義に使用されます。

Google Cloud Storage (GCS) または Cloudflare R2 バケット内のストレージを参照する外部ロケーションを作成できます。

外部ロケーションは、カタログエクスプローラー、Databricks CLI、ノートブックの SQL コマンド、または Databricks SQL クエリーを使用して作成できます。

注：

ボリュームを定義すると、ボリュームパスの下のデータへのクラウド URI アクセスは、ボリュームの権限によって管理されます。

始める前に

前提条件:

Databricks で外部ロケーションオブジェクトを作成する前に、外部ロケーションとして使用する Google Cloud Storage (GCS) または Cloudflare R2 バケットを作成する必要があります。

クラウドストレージの場所のパスへのアクセスを許可する、Databricksで定義されたストレージ資格情報が必要です。「Google Cloud Storage に接続するためのストレージ認証情報を作成する」および「Cloudflare R2 に接続するためのストレージ認証情報を作成する」を参照してください。

権限の要件:

メタストアと外部ロケーションで参照されるストレージ認証情報の両方に対するCREATE EXTERNAL LOCATION権限が必要です。メタストア管理者は、デフォルトでメタストアにCREATE EXTERNAL LOCATIONを持ちます。

カタログエクスプローラを使用して外部ロケーションを手動で作成する

カタログエクスプローラーを使用して、外部ロケーションを手動で作成できます。

アクセス許可と前提条件: 「開始する前に」を参照してください。

外部ロケーションを作成するには:

SQLを使用した外部ロケーションの作成

SQL を使用して外部ロケーションを作成するには、ノートブックまたは SQL クエリエディターで次のコマンドを実行します。プレースホルダー値を置き換えます。

アクセス許可と前提条件: 「開始する前に」を参照してください。

<location-name>: 外部ロケーションの名前。 location_name にハイフン(-)などの特殊文字が含まれている場合は、バッククォート( ` ` )で囲む必要があります。「名前」を参照してください。

<bucket-path>: この外部ロケーションがアクセスを許可するクラウドテナント内のパス。たとえば、 gs://mybucket や r2://mybucket@my-account-id.r2.cloudflarestorage.comなどです。
<storage-credential-name>: バケットからの読み取りとバケットへの書き込みを承認するストレージ認証情報の名前。ストレージ資格証明名にハイフン(-)などの特殊文字が含まれている場合は、バッククォート( ` ` )で囲む必要があります。

CREATE EXTERNAL LOCATION [IF NOT EXISTS] `<location-name>`
URL '<bucket-path>'
WITH ([STORAGE] CREDENTIAL `<storage-credential-name>`)
[COMMENT '<comment-string>'];

アカウント内の特定のワークスペースへの外部ロケーションアクセスを制限する場合 (ワークスペースバインディングまたは外部ロケーション分離とも呼ばれます)、「 (オプション) 特定のワークスペースに外部ロケーションを割り当てる」を参照してください。

(オプション) 特定のワークスペースに外部ロケーションを割り当てる

プレビュー

この機能はパブリックプレビュー版です。

デフォルトにより、外部ロケーションはメタストア内のすべてのワークスペースからアクセス可能になります。つまり、ユーザーにその外部ロケーションに対する権限 ( READ FILESなど) が付与されている場合、そのユーザーはメタストアに接続されている任意のワークスペースからその権限を行使できます。ワークスペースを使用してユーザーデータアクセスを分離する場合は、特定のワークスペースからのみ外部ロケーションへのアクセスを許可する必要があります。この機能は、ワークスペースバインディングまたは外部ロケーション分離と呼ばれます。

外部場所を特定のワークスペースにバインドする一般的な使用例は次のとおりです。

本番運用データを含む外部ロケーションに対するCREATE EXTERNAL TABLE権限を持つデータエンジニアが、本番運用ワークスペース内のそのロケーションにのみ外部テーブルを作成できるようにします。
機密データを含む外部ロケーションに対するREAD FILES権限を持つデータエンジニアが、特定のワークスペースのみを使用してそのデータにアクセスできるようにします。

ワークスペースによる他の種類のデータアクセスを制限する方法の詳細については、「特定のワークスペースへのカタログアクセスを制限する」を参照してください。

重要

ワークスペースバインディングは、外部ロケーションに対する権限が行使される時点で参照されます。たとえば、ユーザーがmyWorkspaceワークスペースからステートメントCREATE TABLE myCat.mySch.myTable LOCATION 'gs://mybucket/<path>'を発行して外部テーブルを作成した場合、通常のユーザー権限チェックに加えて、次のワークスペースバインディングチェックが実行されます。

'gs://mybucket/<path>'をカバーする外部ロケーションはmyWorkspaceにバインドされていますか?
カタログmyCatは、アクセス・レベル Read & WriteのmyWorkspaceにバインドされていますか?

その後、外部場所がmyWorkspaceからバインド解除されると、外部テーブルは引き続き機能します。

この機能を使用すると、中央のワークスペースからカタログを作成し、カタログバインディングを使用して他のワークスペースでそのカタログを使用できるようにすることもできます。その際、外部ロケーションを他のワークスペースで使用可能にする必要はありません。

外部場所を1つ以上のワークスペースにバインドする

外部ロケーションを特定のワークスペースに割り当てるには、カタログエクスプローラーまたはDatabricks CLIを使用できます。

必要な権限: メタストア管理者または外部ロケーションの所有者。

注：

メタストア管理者は、カタログエクスプローラーを使用してメタストア内のすべての外部ロケーションを表示できます。また、外部ロケーションの所有者は、外部ロケーションが現在のワークスペースに割り当てられているかどうかに関係なく、メタストア内で自分が所有するすべての外部ロケーションを表示できます。ワークスペースに割り当てられていない外部ロケーションはグレー表示されます。

メタストアにリンクされているワークスペースにログインします。
サイドバーで [ カタログ]をクリックします。
カタログパネルの上部にある歯車アイコンをクリックし、 [外部ロケーション]を選択します。

または、クイックアクセスページで[外部データ >]ボタンをクリックして[外部ロケーション]タブに移動します。
外部ロケーションを選択し、ワークスペースタブに移動します。
ワークスペースタブで、 [すべてのワークスペースにアクセス権がある]チェックボックスをオフにします。

外部ロケーションがすでに 1 つ以上のワークスペースにバインドされている場合、このチェックボックスはすでにオフになっています。
「ワークスペースへの割り当て」をクリックし、割り当てるワークスペースを入力または検索します。

アクセスを取り消すには、ワークスペースタブに移動し、ワークスペースを選択して、 「取り消し」をクリックします。すべてのワークスペースからのアクセスを許可するには、 「すべてのワークスペースにアクセス権を与える」チェックボックスをオンにします。

外部ロケーションをワークスペースに割り当てるには、2 つのDatabricks CLIコマンドグループと 2 つのステップが必要です。

次の例では、 <profile-name> Databricks 認証構成プロファイルの名前に置き換えます。個人アクセストークンを生成したワークスペースのワークスペースインスタンス名とワークスペース ID に加えて、個人アクセストークンの値も含める必要があります。 Databricks個人アクセストークン認証を参照してください。

external-locationsコマンドグループのupdateコマンドを使用して、外部ロケーションのisolation modeをISOLATEDに設定します。
```
databricks external-locations update <my-location> \
--isolation-mode ISOLATED \
--profile <profile-name>
```
デフォルトのisolation-modeは、メタストアにアタッチされているすべてのワークスペースに対してOPENです。
workspace-bindingsコマンドグループのupdate-bindingsコマンドを使用して、ワークスペースを外部ロケーションに割り当てます。
```
databricks workspace-bindings update-bindings external-location <my-location> \
--json '{
  "add": [{"workspace_id": <workspace-id>}...],
  "remove": [{"workspace_id": <workspace-id>}...]
}' --profile <profile-name>
```
ワークスペースバインディングを追加または削除するには、 "add"プロパティと"remove"プロパティを使用します。

注：

外部ロケーションでは読み取り専用バインディング ( BINDING_TYPE_READ_ONLY ) は使用できません。したがって、外部ロケーションバインディングにbinding_typeを設定する理由はありません。

外部ロケーションのすべてのワークスペース割り当てを一覧表示するには、 workspace-bindingsコマンドグループのget-bindingsコマンドを使用します。

databricks workspace-bindings get-bindings external-location <my-location> \
--profile <profile-name>

REST API リファレンスの「ワークスペースバインディング」も参照してください。

外部ロケーションをワークスペースからバインド解除する

Catalog Explorer または workspace-bindings CLIコマンドグループを使用して外部ロケーションへのワークスペースアクセスを取り消す手順については、「外部ロケーションを 1 つ以上のワークスペースにバインドする」を参照してください。

次のステップ

外部ロケーションを使用する権限を他のユーザーに付与します。「外部ロケーションの管理」を参照してください。
外部ロケーションを使用して、管理ストレージの場所を定義します。「 Unity Catalog で管理対象ストレージの場所を指定する」を参照してください。
外部ロケーションを使用して外部テーブルを定義します。「外部テーブルの操作」を参照してください。
外部ロケーションを使用して外部ボリュームを定義します。 Unity Catalogボリュームとは何ですか?」を参照してください。