ネットワーキング

この記事では、Databricks アカウントとワークスペースのデプロイと管理のためのネットワーク構成を紹介します。

Databricksアーキテクチャの概要

Databricks は、 コントロール プレーンと コンピュートプレーンで動作します。

コントロールプレーンには、Databricks アカウントで Databricks が管理するバックエンドサービスが含まれます。Web アプリケーションはコントロールプレーンにあります。
コンピュート平面は、データが処理される場所です。コンピュート平面には、使用するコンピュートに応じて 2 つのタイプがあります。
- クラシックDatabricksコンピュートの場合、コンピュートリソースは、クラシックコンピュートプレーンと呼ばれる Google クラウドリソース内にあります。これは、Google クラウドリソース内のネットワークとそのリソースを指します。
- サーバレスコンピュートの場合、サーバレスコンピュートリソースは Databricks アカウントの サーバレスコンピュートプレーン で実行されます。

アーキテクチャの詳細については、「 Databricks アーキテクチャの概要」を参照してください。

Databricks は既定でセキュリティで保護されたネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。

ユーザーとアプリケーションから Databricks へ: アクセスを制御し、ユーザーとその Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。「ユーザーから Databricks へのネットワーク」を参照してください。
コントロールプレーンとクラシックコンピュートプレーン: クラスターなどのクラシックコンピュートリソースは、Google クラウドリソースにデプロイされ、コントロールプレーンに接続されます。従来のネットワーク接続機能を使用すると、独自の仮想プライベートクラウドに従来のコントロールプレーンリソースをデプロイし、クラスターからコントロールプレーンへのプライベート接続を有効にすることができます。クラシックコンピュートプレーンネットワークを参照してください。
サーバーレスコンピュートプレーンとストレージ: Databricks サーバーレスコンピュートプレーンからのアクセスを許可するように、リソース上でファイアウォールを構成できます。「サーバレスコンピュートプレーンネットワーキング」を参照してください。

GCP ストレージネットワーキング機能を構成して、コンピュートプレーンとGoogle Cloud Storageの間の接続を保護できます。詳細については、レイクハウスフェデレーションのネットワークに関する推奨事項を参照してください。

コントロールプレーンとサーバレスコンピュートプレーン間の接続は、パブリックインターネットではなく、常にクラウドネットワークバックボーンを介して行われます。