GCE コンピュート デプロイのアクセス許可を更新する

コンピュートの起動時間を短縮するために、 はDatabricks GKE ではなく Google コンピュート エンジン(GCE) にコンピュート リソースをデプロイすることを開始します。

GCE でコンピュート リソースを起動するには、新しいアクセス許可のセットを Databricks に付与する必要があります。 これらの更新されたアクセス許可とその目的の完全な一覧については、「 必要なアクセス許可」を参照してください。

GCE 移行の権限を付与する

権限を更新するには、Databricksがデプロイされている Google クラウド プロジェクトに対する権限を持つ Databricks アカウント管理者である必要があります。新しい権限を付与するには、次の 2 つの方法があります。

  • Google クラウド プロジェクト で必要な権限を持つ アカウント所有者の場合:

    1. アカウントコンソールに移動します。

    2. アカウントコンソールの上部にあるバナーで、[ 権限を更新 ]ボタンをクリックします。

    3. ワークスペースプロジェクトに対する十分な権限があることを確認し、[ 権限の更新]をクリックします。

  • ワークスペース プロビジョニングを管理するために必要な権限を持つサービス アカウントを使用するアカウントの場合は、Databricks APIに対して認証され、ACCESS_TOKENとAUTH_TOKENを取得していることを確認します。次に、次の API 呼び出しを行います。

    curl --location --request PATCH ‘https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/migrateToComputeOnGce’ \ --header ‘X-Databricks-GCP-SA-Access-Token: ’$ACCESS_TOKEN \ --header ‘Authorization: Bearer ‘$AUTH_TOKEN

顧客管理VPCに必要な更新

アカウントが顧客管理VPC を使用してワークスペース Databricks デプロイする場合、アクセス許可の更新ではファイアウォール ルールが VPC に自動的に追加されます。 権限がないためにこれが失敗した場合は、次のファイアウォールルールを VPC に手動で追加する必要があります。 このファイアウォールルールは、VPC 内の Databricks で管理されている VM 間のトラフィックを許可します。 このルールでは、VPC の外部からのイングレスは許可されません。

必要なルールは次のとおりです。

  • ルール名: databricks-{WORKSPACE_ID}-ingress

  • 方向: Ingress

  • 優先度:1000

  • ターゲット: Network tag: databricks-{WORKSPACE_ID}

  • ソースフィルタ: IPv4 range: primary CIDR range of subnet

  • プロトコルとポート: すべて許可

共有 VPC の詳細については、「 顧客管理 PC の設定」VPCを参照してください。

GCP の組織ポリシーと制約を使用するアカウントに必要な更新

アカウントで組織のポリシー と制約を使用している場合は、 GCP プロジェクト databricks-external-imagesでホストされている仮想マシン イメージを信頼されたイメージ ポリシーに追加しないと、コンピュート リソースの起動に失敗します。

次の情報を使用して 、信頼できるイメージ ポリシー を設定します。

constraint: constraints/compute.trustedImageProjects
listPolicy:
  allowedValues:

projects/databricks-external-images

GCEでコンピュートを試す

権限を更新した後、ワークスペースがGCEでコンピュートを起動しているかどうかをテストできます。

新しい all-purpose リソースまたは ジョブ コンピュート リソースを作成し、次のキーと値のペアをカスタム タグ フィールドに追加します。

key: x-databricks-nextgen-cluster 値: true

コンピュート リソースが起動したら、リソースの名前の横に GCE ラベルを含める必要があります。