Databricksアーキテクチャの概要

この記事では、Databricks アーキテクチャの概要 (エンタープライズ アーキテクチャを含む) と Google クラウドの組み合わせについて説明します。

ハイレベルのアーキテクチャ

Databricks 、コントロール プレーンとコンピュート プレーンから動作します。

• コントロール プレーンには、Databricks アカウントで Databricks が管理するバックエンド サービスが含まれます。 Web アプリケーションはコントロール プレーンにあります。

• コンピュートプレーンはデータが処理される場所です。 使用するコンピュートに応じて、2 種類のコンピュート プレーンがあります。

  • サーバレス コンピュートの場合、サーバレス コンピュート リソースは Databricksアカウントの サーバレス コンピュート プレーン で実行されます。

  • クラシックDatabricksコンピュートの場合、コンピュート リソースは、クラシック コンピュート プレーンと呼ばれる Google クラウド リソース内にあります。 これは、Google クラウド リソース内のネットワークとそのリソースを指します。

次の図は、Databricks の全体的なアーキテクチャを示しています。

サーバレスコンピュートプレーン

サーバーレス コンピュート プレーンでは、 Databricksコンピュート リソース はDatabricksアカウント内のコンピュート レイヤーで実行されます。 Databricks 、ワークスペースの従来のコンピュート プレーンと同じ Google クラウド リージョンに、サーバーレス コンピュート プレーンを作成します。

サーバーレス コンピュート プレーン内の顧客データを保護するために、サーバーレス コンピュート はワークスペースのネットワーク境界内で実行され、さまざまなセキュリティ レイヤーを使用して、同じ顧客のクラスター間で異なるDatabricksワークスペースと追加のネットワーク制御を分離します。

クラシックコンピュートプレーン

従来のコンピュート プレーンでは、 Databricksコンピュート リソース が Google クラウド アカウントで実行されます。 顧客の Google クラウド アカウント内の各ワークスペースの仮想ネットワーク内に、新しいコンピュート リソースが作成されます。

従来のコンピュート プレーンは、各顧客独自の Google クラウド アカウントで実行されるため、自然な分離が実現します。 クラシック コンピュート プレーンでのネットワークの詳細については、 「クラシック コンピュート プレーンのネットワーク」を参照してください。

リージョンサポートについては、「Databricksのクラウドとリージョン」を参照してください。