外部テーブルの操作

外部テーブルは、クラウドテナント内のクラウドオブジェクトストレージのディレクトリにデータを保存します。外部表を定義するときに、保管場所を指定する必要があります。

Databricksでは、 Databricksでコンピュートを使用せずにデータに直接アクセスする必要がある場合にのみ、外部テーブルを使用することをお勧めします。ユーザーが外部システムからデータファイルにアクセスする場合、Unity Catalog 権限は適用されません。

注：

この記事では、Unity Catalog の外部テーブルに焦点を当てます。従来のHive metastore内の外部テーブルの動作は異なります。従来のHive metastore内のデータベースオブジェクトを参照してください。

Databricks は外部テーブルのメタデータのみを管理し、包含スキーマに関連付けられた管理ストレージの場所は使用しません。 Unity Catalog でのテーブル登録は、データファイルへのポインターにすぎません。外部テーブルを削除しても、データファイルは削除されません。

外部テーブルを作成するときは、既存のデータファイルのディレクトリをテーブルとして登録するか、新しいデータファイルを作成するためのパスを指定できます。

外部テーブルでは、次のファイル形式を使用できます。

外部テーブルの作成

外部テーブルを作成するには、SQL コマンドまたはデータフレーム書き込み操作を使用できます。

外部テーブルを作成するには、次の権限要件を満たす必要があります。

ノートブックまたはSQLクエリエディタで次のいずれかのコマンド例を使用して、外部テーブルを作成します。

次の例で、プレースホルダーの値を置き換えます。

CREATE TABLE <catalog>.<schema>.<table-name>
(
  <column-specification>
)
LOCATION 'gs://<bucket-path>/<table-directory>';

テーブル作成の詳細については、 CREATE TABLEを参照してください。

多くのユーザーは、クエリ結果または DataFrame 書き込み操作から外部テーブルを作成します。次の記事では、Databricks で外部テーブルを作成するために使用できる多くのパターンの一部を示します。

テーブルを削除するには、その所有者である必要があります。外部テーブルを削除するには、次の SQL コマンドを実行します。

DROP TABLE IF EXISTS catalog_name.schema_name.table_name;

Unity Catalog では、外部テーブルを削除しても、クラウドストレージ内の基になるデータは削除されません。テーブルに関連付けられているデータを削除する必要がある場合は、基になるデータファイルを直接削除する必要があります。

次のサンプルノートブックを使用して、カタログ、スキーマ、外部テーブルを作成し、それらに対する権限を管理できます。