Google クラウド認証情報の設定と使用

この記事の手順に従って、Google クラウドサービスアカウントを認証し、Databricks アカウントとワークスペースを自動化します。

Google クラウドサービスアカウントは、通常、個人ではなくアプリケーションで使用される特殊な種類の Google クラウドアカウントです。サービスアカウントは、アカウント固有のEメールアドレスで識別されます。「サービスアカウントの概要」を参照してください。

注：

Google クラウドサービスアカウントはDatabricksプリンシパルとは異なります。 Google クラウドサービスアカウントを使用するかDatabricksサービスプリンシパルを使用するかの選択は、組織のセキュリティ設定またはポリシーによって異なる場合があります。 Databricks認証に Google クラウドサービスアカウントの代わりにDatabricksサービスプリンシパルを使用する方法については、「サービスプリンシパルの管理」をご覧ください。

Databricks では、Databricks を使用して Google クラウドサービスアカウントを認証するための 2 つの方法を提供しています。

Google クラウド認証情報認証では、認証に Google が管理するキーペアを使用します。この記事では、Google クラウドの認証情報認証に Google が管理する鍵ペアを生成して使用する方法について説明します。「サービスアカウントの資格情報」および「Google クラウドの資格情報の認証」も参照してください。
Google クラウド ID 認証。認証には Google クラウドサービスアカウントの E メールアドレスを使用します。詳細については、 Google クラウド ID 認証の設定と使用をご覧ください。 Google クラウド ID 認証も参照してください。

この記事では、次のように Google クラウド資格情報認証を設定して使用する方法について説明します。

Googleクラウドのサービスアカウントを作成します。
Google クラウドサービスアカウントを Databricks アカウントと、そのアカウントの Databricks ワークスペースに割り当てます。
Google クラウドサービスアカウント用に Google が管理するキーペアを作成し、この Google が管理するキーペアの秘密キー部分をダウンロードします。この秘密鍵ファイルは、Databricks の Google クラウド資格情報認証に必要です。
ローカル開発マシンに Databricks CLI をインストールし、Google クラウド資格情報認証用に Databricks CLI を構成します。
Databricks CLI でコマンドを実行し、Google クラウドの資格情報認証を使用して Databricks アカウントとワークスペースを自動化します。

要件

Googleクラウドサービスアカウントを作成するには、GoogleプロジェクトのCreate Service AccountsIAMロールが必要です。「必要な役割」を参照してください。
Google クラウドサービスアカウントをDatabricksアカウントに割り当てるには、そのアカウントの管理者である必要があります。「ユーザーにアカウント管理者ロールを割り当てる」を参照してください。
Google クラウドサービスアカウントをDatabricksワークスペースに割り当てるには、そのワークスペースの管理者である必要があります。「ワークスペース管理者設定ページを使用してユーザーにワークスペース管理者ロールを割り当てる」を参照してください。

ステップ 1: Google クラウドサービスアカウントを作成する

このステップでは、Google クラウドコンソールでターゲット Google プロジェクトの Google クラウドサービスアカウントを作成します。

Google クラウドコンソールにログインします。
複数のプロジェクトにアクセスできる場合は、ターゲットプロジェクトに切り替えます。これを行うには、上部のナビゲーションバーで、Google クラウドのロゴの横にあるプロジェクトセレクタをクリックします。次に、一覧からプロジェクトの名前を選択します。
リソース、ドキュメント、製品などの検索 (/) で、サービスアカウントを検索して選択します。
[ + サービスアカウントの作成] をクリックします。
( サービスアカウントの詳細 ) セクションの [ Service account name] (サービスアカウント名) に、覚えやすいサービスアカウントの一意の名前を入力します。
ステップ 2、3、4、6 で必要になるので、[サービスアカウント ID] ボックスの下にある Eメールアドレスをメモします。次のようになります。
```
<your-service-account-name>@<your-project-name>.iam.gserviceaccount.com
```
必要に応じて、[ Service account description (サービスアカウントの説明)] に、サービスアカウントに関するわかりやすい説明を入力します。
「 作成して続行」をクリックします。
[完了] をクリックします。

ステップ 2: Google クラウドサービスアカウントを Databricks アカウントに割り当てる

このステップでは、GoogleクラウドサービスアカウントにDatabricksアカウントへのアクセス権を付与します。サービスアカウントに Databricks アカウントへのアクセス権を付与しない場合は、ステップ 3 に進んでください。

Databricks ワークスペースで、上部のバーにあるユーザー名をクリックし、 [ アカウントの管理] をクリックします。

または、 Databricks アカウントコンソール (https://accounts.gcp.databricks.com) に直接移動します。
メッセージが表示されたら、Databricks アカウントにサインインします。
サイドバーで [ ユーザー管理] をクリックします。
「 ユーザー 」タブをクリックします。

注：

このタブには [ユーザー] というラベルが付いていますが、このタブはサービスアカウントでも機能します。 Databricks は、サービスアカウントを Databricks アカウントのユーザーとして扱います。
[ユーザーを追加]をクリックします。
[Eメール] に、ステップ 1 でコピーしたサービスアカウントのメールアドレスを入力します。
[ 名] と [姓] に、後でサービスアカウントを検索するのに役立つわかりやすいテキストを入力します。たとえば、[First name (名)] には、ステップ 1 の [Service account name (サービスアカウント名)] を入力できます。[ 姓] に「 Google クラウドサービスアカウント」と入力します。
[ ユーザーの追加] をクリックします。 Databricks は、サービスアカウントをユーザーとして Databricks アカウントに追加します。
ユーザーに付与するアカウントレベルの権限を割り当てます。
1. [ ユーザー ] タブで、ユーザーの名前をクリックします。ユーザー名が表示されない場合は、[ ユーザーのフィルター ] を使用して検索します。
2. [ロール]タブで、このユーザーに付与する各ターゲットロールを有効または無効に切り替えます。「ユーザーにアカウント管理者ロールを割り当てる」を参照してください。

ステップ 3: Google クラウドサービスアカウントを Databricks ワークスペースに割り当てる

この手順では、Google クラウドサービスアカウントに Databricks ワークスペースへのアクセス権を付与します。

ワークスペースでID フェデレーションが有効になっている場合:

Databricks ワークスペースで、上部のバーにあるユーザー名をクリックし、 [設定]をクリックします。
[ユーザー]をクリックします。

注：

このタブには 「ユーザー」というラベルが付いていますが、このタブはサービスアカウントでも機能します。 Databricks は、サービスアカウントを Databricks ワークスペースのユーザーとして扱います。
[ユーザーを追加]をクリックします。
ステップ 2 からユーザーを選択し、[ 追加] をクリックします。サービスアカウントは、Databricks ワークスペースにユーザーとして追加されます。
ユーザーに付与するワークスペースレベルのアクセス許可を割り当てます。
1. [ ユーザー ] タブで、ユーザーの名前をクリックします。
2. 「権限」タブで、このユーザーに付与する各ターゲット・ステータスまたは権限を付与または取消すためにオンまたはクリアします。詳細については、次を参照してください。
  - ワークスペース管理者設定ページを使用して、ワークスペース管理者ロールをユーザーに割り当てる
  - エンタイトルメントの管理

ステップ 4 に進みます。

ワークスペースで ID フェデレーションが有効になっていない場合:

Databricks ワークスペースで、上部のバーにあるユーザー名をクリックし、 [設定]をクリックします。
[ユーザー]をクリックします。

注：

このタブには 「ユーザー」というラベルが付いていますが、このタブはサービスアカウントでも機能します。 Databricks は、サービスアカウントを Databricks ワークスペースのユーザーとして扱います。
[ 新規追加] をクリックします。
[ New user Eemail (新規ユーザーメール)] に、ステップ 1 でコピーしたサービスアカウントの Eメールアドレス を入力します。
[ 追加] をクリックします。サービスアカウントは、Databricks ワークスペースにユーザーとして追加されます。
ユーザーに付与するワークスペースレベルのアクセス許可を割り当てます。
1. [ ユーザー ] タブで、ユーザーの名前をクリックします。
2. 「権限」タブで、このユーザーに付与する各ターゲット・ステータスまたは権限を付与または取消すためにオンまたはクリアします。詳細については、次を参照してください。
  - ワークスペース管理者設定ページを使用して、ワークスペース管理者ロールをユーザーに割り当てる
  - エンタイトルメントの管理

ステップ 4: Google クラウドサービスアカウント用に Google が管理する鍵ペアを作成する

このステップでは、Google クラウドコンソールで Google クラウドサービスアカウントの Google マネージドキーペアを作成します。次に、この Google が管理する鍵ペアの秘密鍵部分をダウンロードします。

ステップ 1 でログインした Google クラウドコンソールのサービスアカウントの設定ページで、[ キー ] タブをクリックします。

以前に閉じたサービスアカウントの設定ページに戻るには、[ リソース、ドキュメント、製品などの検索(/)]で、サービスアカウントの名前を検索して選択します。
[ キーの追加] > [新しいキーの作成] をクリックします。
「 秘密キーの作成 」ダイアログで、「 JSON」を選択し、「作成」をクリックします。 Google が管理する鍵ペアの秘密鍵部分は、 <your-project-name>-<random-id>.jsonのようにローカル開発マシンにダウンロードされます。この .json ファイルは、ステップ 6 の後半で必要になるので、ダウンロード先をメモしておきます。

この秘密鍵は必ず安全な場所に保管してください。この秘密鍵を紛失した場合は、この手順を繰り返して、後でサービスアカウントの設定ページに戻り、交換用の秘密鍵をダウンロードできます。

ステップ 5: ローカル開発マシンに Databricks CLI をインストールする

この手順では、Databricks CLI をインストールして、それを使用して Databricks アカウントとワークスペースを自動化するコマンドを実行できるようにします。

ヒント

また、Databricks Terraform プロバイダーまたは Databricks SDK for Go を Google クラウド資格情報認証と共に使用し、HCL または Go コードを実行して Databricks アカウントとワークスペースを自動化することもできます。「Databricks SDK for Go」と「Google クラウドの資格情報認証」を参照してください。

まだインストールされていない場合は、次のように Databricks CLI をインストールします。
Homebrew を使用して、次の 2 つのコマンドを実行して Databricks CLI をインストールします。
brew tap databricks/tap brew install databricks
Databricks CLI をインストールするには、 winget、 Chocolatey 、または Windows Subsystem for Linux (WSL) を使用できます。 winget、Chocolatey、または WSL を使用できない場合は、この手順をスキップし、代わりにコマンドプロンプトまたは PowerShell を使用してソースから Databricks CLI をインストールする必要があります。

注：

Databricks CLI と Chocolatey のインストールは実験段階です。

winget を使用して Databricks CLI をインストールするには、次の 2 つのコマンドを実行し、コマンドプロンプトを再起動します。
winget search databricks winget install Databricks.DatabricksCLI
Chocolatey を使用して Databricks CLI をインストールするには、次のコマンドを実行します。
choco install databricks-cli
WSL を使用して Databricks CLI をインストールするには、次のようにします。
1. WSL を使用して curl と zip をインストールします。詳細については、オペレーティングシステムのマニュアルを参照してください。
2. WSL を使用して、次のコマンドを実行して Databricks CLI をインストールします。
  curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
次のコマンドを実行して、Databricks CLI がインストールされ、インストールされている Databricks CLI の現在のバージョンが表示されることを確認します。このバージョンは 0.205.0 以上である必要があります。
```
databricks -v
```
注：

databricks を実行しても command not found: databricksなどのエラーが発生した場合、または databricks -v を実行してバージョン番号が 0.18 以下の場合は、マシンで Databricks CLI 実行可能ファイルの正しいバージョンが見つからないことを意味します。これを修正するには、「 CLI のインストールを確認する」を参照してください。

ステップ 6: Databricks CLI を Google クラウド資格情報認証用に構成する

この手順では、Google クラウドサービスアカウントの秘密キーを使用して、Databricks の Google クラウド資格情報認証を使用するように Databricks CLI を設定します。これを行うには、既定のファイル名で、Databricks CLI が必要な認証設定を見つける必要があると想定される既定の場所にファイルを作成します。

任意のテキストエディタを使用して、ユーザーのホームディレクトリに .databrickscfg という名前のローカルファイルを作成します(まだ存在しない場合)。 LinuxおよびmacOSの場合、ユーザーのホームディレクトリは ~です。 Windowsの場合、ユーザーのホームディレクトリは %USERPROFILE%です。
.databrickscfgファイルに次の内容を入力します。このコンテンツでは、次の値を置き換えます。
- <account-console-url> を Databricks アカウントコンソールの URL (https://accounts.gcp.databricks.com など) に置き換えます。
- <account-id>を Databricks アカウント ID に置き換えます。「アカウント ID を見つける」を参照してください。
- <path-to-google-service-account-credentials-file> を、ステップ 4 でダウンロードした秘密キーへのパスに置き換えます。
- <workspace-url> をワークスペースインスタンスの URL に置き換えます (例: https://1234567890123456.7.gcp.databricks.com)。
- 必要に応じて、 GCP_CREDS_ACCOUNT および GCP_CREDS_WORKSPACE の推奨構成プロファイル名を別の構成プロファイル名に置き換えることができます。これらの特定の名前は必須ではありません。
アカウントレベルの操作を実行しない場合は、次のコンテンツの[GCP_CREDS_ACCOUNT]セクションを省略できます。
```
[GCP_CREDS_ACCOUNT]
host               = <account-console-url>
account_id         = <account-id>
google_credentials = <path-to-google-service-account-credentials-file>

[GCP_CREDS_WORKSPACE]
host               = <workspace-url>
google_credentials = <path-to-google-service-account-credentials-file>
```

ステップ 7: Databricks CLI を使用してアカウントレベルのコマンドを実行する

このステップでは、Databricks CLI と Google クラウドの資格情報認証を使用して、ステップ 6 で構成した Databricks アカウントを自動化するコマンドを実行します。

アカウントレベルのコマンドを実行しない場合は、ステップ 8 に進みます。

ターミナルまたはコマンドプロンプトをステップ 5 から開いたままにして、次のコマンドを実行して、Databricks アカウントで使用可能なすべてのユーザーを一覧表示します。ステップ 6 で GCP_CREDS_ACCOUNT の名前を変更した場合は、必ずここで置き換えてください。

databricks account users list -p GCP_CREDS_ACCOUNT

ステップ 8: Databricks CLI を使用してワークスペースレベルのコマンドを実行する

このステップでは、Databricks CLI と Google クラウドの資格情報認証を使用して、ステップ 6 で構成した Databricks ワークスペースを自動化するコマンドを実行します。

ターミナルまたはコマンドプロンプトをステップ 5 から開いたままにして、次のコマンドを実行して、Databricks ワークスペースで使用可能なすべてのユーザーを一覧表示します。ステップ 6 で GCP_CREDS_WORKSPACE の名前を変更した場合は、必ずここで置き換えてください。

databricks account users list -p GCP_CREDS_ACCOUNT

ステップ 9: クリーンアップ

このステップはオプションです。この記事用に作成した Google クラウドサービスアカウントを引き続き使用する必要がなくなった場合は、この手順では、Google プロジェクトと Databricks アカウントとワークスペースからサービスアカウントを削除する方法について説明します。

Google プロジェクトからサービスアカウントを削除する

ステップ 1 でログインした Google クラウドコンソールの [リソース、ドキュメント、製品などの検索] (/) で、[ サービスアカウント] を検索して選択します。
サービスアカウントの名前の行で、省略記号をクリックします。サービスアカウントの名前が表示されない場合は、[ プロパティ名または値を入力 ] を使用して検索します。
[削除] をクリックします。
確認ダイアログで、「削除」をクリックします。

Databricks アカウントからサービスアカウントを削除する

Databricks アカウントのサイドバーで、[ ユーザー管理] をクリックします。
「 ユーザー 」タブをクリックします。
ステップ 2 で追加したサービスアカウントの名前をクリックします。サービスアカウントの名前が表示されない場合は、[ ユーザーのフィルター ] を使用して検索します。
省略記号ボタンをクリックし、[ ユーザーの削除] をクリックします。
「 削除の確認」をクリックします。

Databricks ワークスペースからサービスアカウントを削除するDelete the service account from your Databricks workspace

Databricks ワークスペースで、上部のバーにあるユーザー名をクリックし、 [設定]をクリックします。
「 ユーザー 」タブをクリックします。
ステップ 3 で追加したサービスアカウントの名前をクリックします。サービスアカウントの名前が表示されない場合は、[ ユーザーのフィルター ] を使用して検索します。
[ ユーザーを削除] をクリックします。
確認ダイアログで、「削除」をクリックします。

Google クラウド認証情報の設定と使用

要件

ステップ 1: Google クラウド サービス アカウントを作成する

ステップ 2: Google クラウド サービス アカウントを Databricks アカウントに割り当てる

ステップ 3: Google クラウド サービス アカウントを Databricks ワークスペースに割り当てる

ステップ 4: Google クラウド サービス アカウント用に Google が管理する鍵ペアを作成する

ステップ 5: ローカル開発マシンに Databricks CLI をインストールする

ステップ 6: Databricks CLI を Google クラウド資格情報認証用に構成する

ステップ 7: Databricks CLI を使用してアカウント レベルのコマンドを実行する

ステップ 8: Databricks CLI を使用してワークスペース レベルのコマンドを実行する