SQLウェアハウスのタイプ
Databricks SQL は、次の SQL ウェアハウス タイプをサポートします。
サーバーレス
Pro
クラシック
各 SQLwarehouse タイプには、異なるパフォーマンス機能があります。 次の表は、SQL ウェアハウスの各タイプでサポートされるパフォーマンス機能を示しています。
ウェアハウス type |
Photonエンジン |
予測IO |
インテリジェントなワークロード管理 |
---|---|---|---|
サーバーレス |
X |
X |
X |
Pro |
X |
X |
|
クラシック |
X |
次の一覧では、各パフォーマンス機能について説明します。
Photon : Databricks 上のネイティブのベクトル化クエリ エンジン。 これにより、既存の SQL および DataFrame API 呼び出しが高速化され、ワークロードあたりの総コストが削減されます。
予測 IO : SQL クエリでの選択的スキャン操作を高速化するための一連の機能。 予測 IO は、さまざまな高速化を提供できます。
インテリジェント ワークロード管理 (IWM) : 大量のクエリを迅速かつコスト効率よく処理する Databricks SQL サーバーレスの機能を強化する一連の機能。 IWM は、AI を活用した予測および動的管理技術を使用して、ワークロードに適切な量のリソースが迅速に確保されるように機能します。 主な違いは、静的なしきい値を使用するのではなく、ワークロードの要求に動的に応答する Databricks SQL の AI 機能にあります。
注:
各ウェアハウスタイプの価格と詳細な機能比較については、「Databricks SQL」を参照してください。Databricks SQLの最新機能については、「Databricks SQLのリリースノート」を参照してください。
SQLウェアハウスのタイプ間のパフォーマンスの違い
SQL ウェアハウスの各タイプには、異なるパフォーマンス特性があります。
サーバレスSQLウェアハウス
Databricksサーバーレス アーキテクチャを使用することで、サーバーレス SQL ウェアハウスはDatabricks SQLのすべてのパフォーマンス機能をサポートします。 サーバーレス SQL ウェアハウスとそのパフォーマンス機能により、次のメリットが得られます。
迅速な起動時間(通常は2〜6秒)。
低遅延を維持するために必要な場合に、より多くのコンピュートを取得するための高速アップスケーリング。
仮想マシンではなくハードウェアの制限に近いクエリのアドミタンス。
需要が低い場合は迅速なダウンスケーリングによりコストを最小限に抑え、最適化されたコストとリソースで一貫したパフォーマンスを提供します。
最高の起動パフォーマンス、最も効率的な IO、時間の経過とともに大きく変化するクエリ要求のよりスマートな処理、クエリ キューイングが発生した場合の迅速なオートスケールを実現するには、サーバレス SQL ウェアハウスを選択してください。 サーバレスのオートスケールとクエリーキューイング参照してください。
サーバーレス SQL ウェアハウスは、次の種類のワークロードで適切にパフォーマンスを発揮します。
ETL
BI
探索的解析
プロSQLウェアハウス
プロの SQL ウェアハウスはPhotonと Predictive IO をサポートしていますが、Intelligent Workload Management はサポートしていません。 プロの SQL ウェアハウスでは (サーバーレス SQL ウェアハウスとは異なり)、コンピュート レイヤーはDatabricksではなく、Google Cloud リソース アカウントに存在します。 その結果、プロ SQL ウェアハウスはインテリジェント ワークロード管理をサポートせず、時間の経過とともに大きく変化するクエリ需要への応答性が低下し、サーバーレス SQL ウェアハウスほど迅速にオートスケールすることができません。 プロの SQL ウェアハウスは起動に数分 (通常は約 4 分) かかり、スケールアップとスケールダウンの応答性はサーバーレス SQL ウェアハウスよりも低くなります。 プロおよびクラシック SQL ウェアハウスのキューイングとオートスケールを参照してください。
次の場合にプロの SQL ウェアハウスを使用します。
サーバーレス SQLウェアハウスは地域によってはご利用いただけません。
カスタム定義のネットワークがあり、フェデレーションまたはハイブリッド タイプのアーキテクチャのためにクラウド上のネットワークまたはオンプレミスのネットワーク内のデータベースに接続したいと考えています。 たとえば、イベント バスやデータベースなどの他のサービスをネットワークに追加する場合、またはネットワークをオンプレミス ネットワークに接続する場合は、プロ用 SQL ウェアハウスを使用します。
クラシックSQLウェアハウス
従来の SQL ウェアハウスはPhotonサポートしていますが、Predictive IO や Intelligent Workload Management はサポートしていません。 従来の SQL ウェアハウス (サーバーレス SQL ウェアハウスとは異なります) では、コンピュート レイヤーはDatabricksアカウントではなく、Google Cloud リソース アカウントに存在します。 Predictive IO または Intelligent Workload Management をサポートしていない従来の SQL ウェアハウスでは、エントリ レベルのパフォーマンスしか提供されず、サーバーレスまたはプロ SQL ウェアハウスよりもパフォーマンスが低くなります。 従来の SQL ウェアハウスは起動に数分 (通常は約 4 分) かかり、スケールアップやスケールダウンの応答性もサーバーレス SQL ウェアハウスよりも低くなります。 プロおよびクラシック SQL ウェアハウスのキューイングとオートスケールを参照してください。
クラシックな SQL ウェアハウスを使用して、エントリー レベルのパフォーマンスと Databricks SQL 機能を備えたデータ探索のための対話型クエリを実行します。
注:
SQL ウェアハウスのサイズ設定と、クエリ キューに応じて SQL ウェアハウスがどのようにスケールするかについては、 「プロおよびクラシック SQL ウェアハウスのキューとオートスケール」を参照してください。
ウェアハウスタイプのデフォルト
サーバレス SQLウェアハウスをサポートし、 要件 を満たす リージョン のワークスペースの場合:
UIを使用する場合、デフォルトのSQLウェアハウスタイプはサーバーレスです。
アカウントの利用規約を更新する必要がある場合、ワークスペース管理者は Databricks SQL UI にプロンプトを表示します。
SQLウェアハウスAPIをデフォルトのパラメーターで使用すると、デフォルトのSQLウェアハウスタイプはクラシックとなります。 サーバーレスを使用するには、
enable_serverless_compute
パラメーターをtrue
に設定し、warehouse_type
をpro
に設定します。このワークスペースが2022年9月1日から2023年4月30日までの間にSQLウェアハウスAPIを使用してウェアハウスを作成し、サーバーレスSQLウェアハウスの要件を満たしている場合、デフォルトはtrue
のままです。曖昧さを避けるため、特に多くのワークスペースがある組織の場合、Databricksでは常にこのフィールドを設定することをお勧めしています。ワークスペースが従来の外部Hive metastore使用している場合、サーバレス SQL ウェアハウスはサポートされません。 デフォルトの SQL ウェアハウス タイプは、サーバレス コンピュートが無効になっている場合と同じで、UI ではプロ、API ではクラシックです。 また、Unity Catalog やその他のオプションの詳細については、Databricks アカウント チームにお問い合わせください。
サーバーレスSQLウェアハウスをサポートしていないワークスペースの場合:
UIを使用する場合、デフォルトのSQLウェアハウスタイプはプロです。
SQLウェアハウスAPIをデフォルトのパラメーターで使用すると、デフォルトのSQLウェアハウスタイプはクラシックとなります。
注:
アカウントの利用規約を更新する必要がある場合、ワークスペース管理者は Databricks SQL UI にプロンプトを表示します。