Terraform を使用した Unity Catalog セットアップの自動化
Databricks TerraformUnity Catalog プロバイダー を使用して セットアップを自動化できます。この記事では、Terraformプロバイダー Unity Catalog デプロイメント・ガイドとリソース・リファレンス・ドキュメントへのリンク、要件(「開始する前に」)、検証とデプロイのヒントを提供します。
始める前に
Terraform を使用して Unity Catalog セットアップを自動化するには、次のものが必要です。
Databricks アカウントは Premium プランである必要があります。
Google クラウドでは、GCS バケットを作成し、作成した GCS バケットに権限を割り当てる機能が必要です。
Unity Catalog で使用する Databricks ワークスペースが少なくとも 1 つ必要です。 「アカウント コンソールを使用してワークスペースを作成する」を参照してください。
Databricks Terraform プロバイダーを使用して、 Unity Catalogのメタストア、メタストアのストレージ、外部ストレージ、およびそれらに関連するすべてのアクセス資格情報を構成するには、次のものが必要です。
Google クラウド アカウント。
アカウント内の Google クラウド プロジェクト。
Databricks Terraform プロバイダー 1.8.0 以降を使用します。 常に最新バージョンのプロバイダーを使用してください。
プロジェクト内の Databricks on Google Cloud アカウント 。
必要な 権限 を持つ Google アカウント と Google サービス アカウント 。
ローカル開発マシンには、次のものが必要です。
Terraform CLI。Terraform Webサイトの「Terraformのダウンロード」を参照してください。
gcloud auth application-default<project-id>
<project-id>
login –project= コマンドでログインした Google クラウド SDK( はターゲットの Google クラウド プロジェクトの ID)。詳細については、Google クラウド ウェブサイトの「Google クラウド SDK のインストール 」および「 gcloud CLI を承認する 」をご覧ください。
Databricks Terraform プロバイダーを使用して他のすべての Unity Catalog インフラストラクチャ コンポーネントを構成するには、次のものが必要です。
Databricksワークスペース。
DatabricksTerraformDatabricksAPIsがDatabricks ワークスペース内の を呼び出すことができるようにするための、 個人用アクセストークン 。「個人用アクセストークンの監視と取り消し」も参照してください。
ローカル開発マシンには、次のものが必要です。
Terraform CLI。Terraform Webサイトの「Terraformのダウンロード」を参照してください。
次のいずれか一つ。
Databricks CLI バージョン 0.205 以降 (
databricks configure --host <workspace-url> --profile <some-unique-profile-name>
を実行して Databricks 個人用アクセストークンで構成されている)。「 Databricks CLI のインストールまたは更新 」および 「Databricks 個人用アクセストークン認証」を参照してください。次の 2 つの Databricks 環境変数:
DATABRICKS_HOST
は、例えば、DatabricksワークスペースインスタンスURLの値に設定します。https://1234567890123456.7.gcp.databricks.com
DATABRICKS_TOKEN
で、 Databricks Personal アクセストークンの値に設定します。 「個人用アクセストークンの監視と取り消し」も参照してください。
これらの環境変数を設定するには、オペレーティングシステムのマニュアルを参照してください。
注
セキュリティのベスト プラクティスとして、自動化されたツール、システム、スクリプト、アプリを使用して認証する場合、 Databricksでは、ワークスペース ユーザーではなく、サービス プリンシパルに属する個人のアクセス トークンを使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、 「サービスプリンシパルのトークンの管理」を参照してください。
Terraformプロバイダ Unity Catalog デプロイメント・ガイドおよびリソース・リファレンス・ドキュメント
すべての前提条件をデプロイし、ワークスペースの Unity Catalog を有効にする方法については、Databricks Terraform プロバイダーのドキュメントの「 前提条件リソースのデプロイと Unity Catalog の有効化 」を参照してください。
Unity Catalogインフラストラクチャ・コンポーネントがすでにある場合は、Terraformを使用して、必要に応じて追加のUnity Catalog・インフラストラクチャ・コンポーネントをデプロイできます。前の段落で参照されているガイドの各セクションと、Databricks Terraform プロバイダー ドキュメントのUnity Catalogセクションを参照してください。