SQLウェアハウスの種類

Databricks SQL は、サーバレス型、プロ型、クラシック型をサポートしています。 この記事では、各タイプで使用できる機能の概要を説明し、パフォーマンスと機能を比較します。

タイプ別のパフォーマンス機能

SQLウェアハウスの各タイプには、異なるパフォーマンス機能があります。次の表は、各 SQLウェアハウス タイプでサポートされているパフォーマンス機能を示しています。

ウェアハウス type

Photon エンジン

予測IO

インテリジェントなワークロード管理

サーバーレス

X

X

X

Pro

X

X

クラシック

X

次のリストでは、各パフォーマンス機能について説明します。

  • Photon: Databricksの組み込みベクトル化クエリエンジン。これにより、既存の SQL API と DataFrame API の呼び出しが高速化され、ワークロードあたりの総コストが削減されます。

  • 予測 IO: SQL クエリでの選択的スキャン操作を高速化するための一連の機能。 予測 IO は、さまざまな高速化を提供できます。

  • インテリジェント・ワークロード管理 (IWM): Databricks SQL サーバレスが大量のクエリを迅速かつコスト効率よく処理する機能を強化する一連の機能。 IWM は、AI を活用した予測と動的管理手法を使用して、ワークロードに適切な量のリソースがあることを迅速に検証します。 主な違いは、Databricks SQL の AI 機能が、静的なしきい値を使用するのではなく、ワークロードの要求に動的に応答することです。

    注：

    各ウェアハウスタイプの価格と詳細な機能比較については、「Databricks SQL」を参照してください。Databricks SQLの最新機能については、「Databricks SQLのリリースノート」を参照してください。

SQLウェアハウスタイプ間のパフォーマンスの違い

SQLウェアハウスのタイプごとに、パフォーマンス特性が異なります。

サーバレス SQLウェアハウス

Databricks サーバレス アーキテクチャを使用して、サーバレス SQLウェアハウスは Databricks SQLのすべてのパフォーマンス機能をサポートします。サーバレス SQLウェアハウスとそのパフォーマンス機能には、次のような特長があります。

  • 迅速な起動時間 (通常は 2 秒から 6 秒)。

  • 低レイテンシを維持するために必要なときにより多くのコンピュートを取得するための迅速なアップスケーリング。

  • クエリのアドミタンスは、仮想マシンよりもハードウェアの制限に近いです。

  • 需要が少ない場合にコストを最小限に抑えるための迅速なダウンスケーリングにより、コストとリソースを最適化して一貫したパフォーマンスを提供します。

サーバレス SQLウェアハウスを選択すると、最高の起動パフォーマンス、最も効率的な IO、時間の経過とともに大きく変化するクエリ要求のよりスマートな処理、およびクエリ キューイング発生時の迅速なオートスケールを実現できます。 サーバレス オートスケールとクエリ・キューイングを参照してください。

サーバレス SQLウェアハウスは、次の種類のワークロードで優れたパフォーマンスを発揮します。

  • ETL

  • ビジネスインテリジェンス

  • 探索的分析

Pro SQLウェアハウス

プロ ウェアハウス SQLは、 Photon と予測 IO をサポートしていますが、インテリジェント ワークロード管理はサポートしていません。 プロ仕様の SQLウェアハウスでは(サーバレス SQLウェアハウスとは異なり)、コンピュート レイヤは Google クラウド リソース アカウントではなく、 Databricks アカウント内に存在します。 Intelligent Workload Managementを使用しない場合、ウェアハウスは、時間の経過とともに大きく変化するクエリ要求に対する応答性が低くなり、サーバレス SQLウェアハウスほど迅速にオートスケールすることはできません。 プロ SQLウェアハウスは、起動に数分 (通常は約 4 分) かかり、スケールアップとスケールダウンはサーバレス SQLウェアハウスよりも応答性が低くなります。 「プロおよびクラシック ウェアハウスのキューイングとオートスケール」SQLを参照してください。

プロ SQLウェアハウスは、次の場合に使用します。

  • サーバレス SQLウェアハウスは、リージョン内ではご利用いただけません。

  • カスタム定義のネットワークがあり、ネットワーク内のデータベースに接続したい場合、またはフェデレーションまたはハイブリッドタイプのアーキテクチャのためにオンプレミスに接続したい場合。 たとえば、イベント バスやデータベースなどの他のサービスをネットワークに追加する場合、またはネットワークをオンプレミス ネットワークに接続する場合は、プロ SQLウェアハウスを使用します。

Classic SQLウェアハウス

クラシック SQLウェアハウスは Photon をサポートしますが、予測 IO やインテリジェント ワークロード管理はサポートしません。 従来の SQLウェアハウスでは(サーバレス SQLウェアハウスとは異なり)、コンピュート レイヤは Databricks アカウントではなく Google クラウド リソース アカウントに存在します。 プレディクティブ IO やインテリジェント ワークロード管理をサポートしていない従来の SQLウェアハウスは、エントリー レベルのパフォーマンスしか提供せず、サーバレスやプロ SQLウェアハウスよりもパフォーマンスが低くなります。 また、従来の SQLウェアハウスは、起動に数分 (通常は約 4 分) かかり、スケールアップとスケールダウンはサーバレス SQLウェアハウスよりも応答性が低くなります。 「プロおよびクラシック ウェアハウスのキューイングとオートスケール」SQLを参照してください。

従来の SQLウェアハウスを使用して、エントリーレベルのパフォーマンスと Databricks SQL 機能を備えたデータ探索のための対話型クエリを実行します。

注：

SQLウェアハウスのサイズ設定と、クエリ キューイングに応答してスケーリングする方法に関する情報については、「プロ ウェアハウスとクラシック ウェアハウスのキューイングとオートスケール」SQLを参照してください。

ウェアハウスタイプのデフォルト

サーバレスSQL ウェアハウスをサポートし、 要件を満たす リージョン のワークスペースの場合:

  • UIを使用する場合、デフォルトのSQLウェアハウスタイプはサーバーレスです。

    • アカウント の使用条件を更新する必要がある場合は、Databricks SQL UI でワークスペース管理者を求められます。

  • SQLウェアハウス API とデフォルト パラメーターを使用すると、デフォルト SQLウェアハウスの種類はクラシックになります。サーバレスを使用するには、 enable_serverless_compute パラメータを true に、 warehouse_type を proに設定します。 このワークスペースが 2022 年 9 月 1 日から 2023 年 4 月 30 日の間に SQLウェアハウス API を使用してウェアハウスを作成し、サーバレス SQLウェアハウスの要件に適合している場合、デフォルトは true に設定されたままになります。 あいまいさを避けるために、特に多くのワークスペースを持つ組織の場合、Databricks では、常にこのフィールドを設定することをお勧めします。

  • ワークスペースが 従来の外部 Hive metastoreを使用している場合、サーバレス SQLウェアハウスはサポートされていません。 デフォルト SQLウェアハウス タイプは、サーバレス コンピュートを無効にした場合と同じで、UI ではプロ、クラシックでは APIを使用します。 また、Databricks アカウント チームに連絡して、Unity Catalog やその他のオプションの詳細を確認してください。

サーバーレスSQLウェアハウスをサポートしていないワークスペースの場合：

  • UIを使用する場合、デフォルトのSQLウェアハウスタイプはプロです。

  • SQLウェアハウスAPIをデフォルトのパラメーターで使用すると、デフォルトのSQLウェアハウスタイプはクラシックとなります。

注：

アカウント の使用条件を更新する必要がある場合は、Databricks SQL UI でワークスペース管理者を求められます。