Terraform を使用した Unity Catalog セットアップの自動化

Databricks Terraform プロバイダーを使用して、Unity Catalog のセットアップを自動化できます。この記事では、Terraform プロバイダーの Unity Catalog デプロイ ガイドとリソース参照ドキュメントへのリンク、要件 ("開始する前に") と検証とデプロイのヒントを提供します。

始める前に

Terraform を使用して Unity Catalog のセットアップを自動化するには、次のものが必要です。

• Databricks アカウントは Premium プランである必要があります。

• Google クラウドでは、 GCS バケットを作成し、作成した GCS バケットに権限を割り当てることができる必要があります。

• Unity Catalog で使用する Databricks ワークスペースが少なくとも 1 つ必要です。 「アカウントコンソールを使用してワークスペースを作成する」を参照してください。

Databricks Terraform プロバイダーを使用して、Unity Catalog のメタストア、メタストアのストレージ、外部ストレージ、およびそれらに関連するすべてのアクセス資格情報を構成するには、次のものが必要です。

• A Google クラウド アカウント。

• アカウント内の Google クラウド プロジェクト。

• Databricks Terraform プロバイダー 1.8.0 以降を使用します。 常に最新バージョンのプロバイダーを使用してください。

• プロジェクト内の Databricks on Google Cloud アカウント 。

• 必要な 権限を持つ Google アカウント と Google サービス アカウント 。

• ローカル開発マシンには、次のものが必要です。

  • Terraform CLI。Terraform Webサイトの「Terraformのダウンロード」を参照してください。

  • Google クラウド プロジェクト (SDKは、gcloud auth application-デフォルト login –project=<project-id> コマンド(<project-id> は対象の Google クラウド プロジェクトの ID)を使用してログインします。詳細については、Google クラウド ウェブサイトの「Google クラウド SDKのインストール」と「gcloud CLIの承認」をご覧ください。

Databricks Terraform プロバイダーを使用して他のすべての Unity Catalog インフラストラクチャ コンポーネントを構成するには、次のものが必要です。

• Databricksワークスペース

• DatabricksTerraformDatabricksAPIsがDatabricks ワークスペース内の を呼び出すことができるようにするための、 個人用アクセストークン 。「個人用アクセストークンの監視と取り消し」も参照してください。

• ローカル開発マシンには、次のものが必要です。

  • Terraform CLI。Terraform Webサイトの「Terraformのダウンロード」を参照してください。

  • 次のいずれか一つ。

    • Databricks CLI バージョン 0.205 以降で、databricks configure --host <workspace-url> --profile <some-unique-profile-name> を実行して Databricks 個人用アクセストークン で構成されます。 Databricks CLIのインストールまたは更新および個人用アクセストークン認証Databricksを参照してください。

    • 次の 2 つの Databricks 環境変数です。

      • DATABRICKS_HOSTは、例えば、DatabricksワークスペースインスタンスURLの値に設定します。 https://1234567890123456.7.gcp.databricks.com

      • DATABRICKS_TOKENで、 Databricks Personal アクセストークンの値に設定します。 「個人用アクセストークンの監視と取り消し」も参照してください。

      これらの環境変数を設定するには、オペレーティングシステムのドキュメントを参照してください。

      注：

      セキュリティのベストプラクティスとして、自動化されたツール、システム、スクリプト、アプリで認証する場合、Databricks では、ワークスペースユーザーではなく 、サービスプリンシパル に属する個人用アクセストークンを使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンの管理」を参照してください。

Terraform プロバイダー Unity Catalog デプロイ ガイドとリソース リファレンス ドキュメント

すべての前提条件をデプロイし、ワークスペースの Unity Catalog を有効にする方法については、Databricks Terraform プロバイダーのドキュメントの「 前提条件リソースのデプロイと Unity Catalog の有効化 」を参照してください。

Unity Catalog インフラストラクチャ コンポーネントが既に配置されている場合は、Terraform を使用して、必要に応じて追加の Unity Catalog インフラストラクチャ コンポーネントをデプロイできます。 前の段落で参照したガイドの各セクションと、Unity Catalog DatabricksTerraformプロバイダーのドキュメントの セクションを参照してください 。

リソースを検証、計画、デプロイ、または破棄する

• Terraform構成をデプロイせずに構文を検証するには、 terraform validate コマンドを実行します。

• Terraform が構成をデプロイするために実行するアクションを表示するには、 terraform plan コマンドを実行します。 このコマンドは、実際には設定をデプロイしません。

• 設定をデプロイするには、 terraform deploy コマンドを実行します。

• デプロイされたリソースを削除するには、 terraform destroy コマンドを実行します。