クラシック コンピュート プレーン ネットワーキング

この記事では、 Databricks コントロール プレーンと従来のコンピュート プレーン間のネットワーク アクセスをカスタマイズする機能について説明します。 コントロール プレーンとサーバレス コンピュート プレーン間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。

コントロール プレーンとコンピュート プレーンの詳細については、「 Databricks アーキテクチャの概要」を参照してください。

クラシック コンピュートとサーバレス コンピュートの詳細については、 コンピュートの種類を参照してください。

このセクションの機能は、Databricks コントロール プレーンとクラシック コンピュート プレーン間の接続を確立してセキュリティで保護することに重点を置いています。 この接続には、次の図の 2 というラベルが付けられています。

セキュアなクラスター接続とは

すべての新しいワークスペースは、デフォルトによるセキュリティで保護されたクラスター接続で作成されます。 セキュアなクラスター接続とは、顧客 VPC にはオープンポートがなく、クラシックコンピュートプレーンリソースにはパブリック IP アドレスがないことを意味します。 これにより、セキュリティグループやネットワークピアリングでポートを設定する必要がなくなり、ネットワーク管理が簡素化されます。

セキュリティで保護されたクラスター接続により、クラスター ノード上のパブリック IP アドレスを必要とせずに、HTTPS (ポート 443) を使用してセキュリティで保護されたトンネルを介してクラスターが Databricks コントロール プレーンに接続できるようになります。 この接続は、セキュリティで保護されたクラスター接続リレーを使用して確立され、Web アプリケーションと REST API のネットワーク トラフィックをクラスター管理タスクから分離します。

サーバレス コンピュート プレーンはクラシック コンピュート プレーンのセキュア クラスター接続リレーを使用しませんが、サーバレス コンピュート リソースにはパブリック IP アドレスがありません

By デフォルト, Secure クラスター connectivity is enabled. ワークスペースの作成時に [Enable private クラスター ] 設定をクリアすると、ワークスペースは公開 GKE クラスターを使用し、セキュア クラスター接続は無効になります。

注：

アカウントには、GKE(Kubernetes)クラスター制御用の公開 IP アドレスが 1 つあり、GKE kube-masterと呼ばれます。 この kube-master は、Google クラウド デフォルト GKE デプロイの一部です。 そのIPアドレスはGoogleクラウドアカウントにありますが、従来のコンピュート飛行機 VPCにはありません。 この IP アドレスは GKE によって管理され、Databricks コントロール プレーンからのトラフィックのみを許可するファイアウォール ルールがあります。

独自の VPC にワークスペースをデプロイする

Google クラウド Virtual Private クラウド(VPC)を使用すると、仮想ネットワークで GCP リソースを起動できる Google クラウドの論理的に分離されたセクションをプロビジョニングできます。 VPC は、Databricks クラスターのネットワークの場所です。 デフォルトでは、Databricks は Databricks ワークスペースの VPC を作成して管理します。

代わりに、Databricks クラスターをホストする独自の VPC を提供することで、独自の GCP アカウントをより詳細に制御し、送信接続を制限できます。 顧客管理 VPC を利用するには、Databricks ワークスペースを最初に作成するときに VPC を指定する必要があります。 ワークスペース間で VPC を共有できますが、ワークスペース間でサブネットを共有することはできません。 詳細については、「 顧客管理 VPC の設定」を参照してください。

コントロールプレーンからコンピュートプレーンへのプライベート接続を有効にする

Google Private Service Connect(PSC)は、トラフィックをパブリック ネットワークに公開することなく、Google クラウド VPC から Google クラウド サービスへのプライベート接続を提供します。 これにより、顧客管理 VPC 内の Databricks コンピュートから Databricks ワークスペースのコア サービスへのプライベート接続が可能になります。

詳細については、「 ワークスペースのプライベート サービス Connect を有効にする」を参照してください。