サーバーレスコンピュートに接続

この記事では、サーバレス コンピュートが Databricksでどのように機能するかについて説明します。 現在のサーバレス オファリングには、サーバレス SQLウェアハウス (Public Preview)、サーバレス コンピュート for ノートブック (Public Preview)、サーバレス コンピュート for ワークフロー (Public Preview) があります。

サーバレス コンピュートプレーンのアーキテクチャについては、 サーバレス コンピュートプレーンを参照してください。

サーバレス コンピュートとは?

サーバレス コンピュートを使用すると、プロビジョニング a クラスタなしでワークロードを実行できます。 代わりに、必要なコンピュート リソースを自動的に割り当てて管理 Databricks 。 これにより、クラスター管理やリソース使用率を気にすることなく、コードの記述とデータの分析に集中できます。

サーバレス コンピュートには、次の利点があります。

  • クラウド リソースは Databricksによって管理され、管理オーバーヘッドを削減し、ユーザーの生産性を向上させるためのインスタント コンピュートを提供します。

  • サーバレス コンピュート リソースの迅速な起動とスケーリングにより、アイドル時間を最小限に抑え、使用したコンピュートに対してのみ料金を支払うことができます。

  • 容量の処理、セキュリティ、パッチ適用、アップグレードは自動的に管理されるため、信頼性、セキュリティポリシー、容量不足の心配が軽減されます。

Databricksではどのような種類のサーバーレス コンピュートを利用できますか?

Databricksでは現在、次のタイプのサーバーレス コンピュートを提供しています。

  • サーバレス コンピュート for ノートブック: オンデマンドでスケーラブルなコンピュートを使用して、ノートブックで SQL コードを実行し、コードを Python します。

  • ジョブのサーバーレス コンピュート: インフラストラクチャの構成やデプロイを行わずに、 Databricksジョブを実行するために使用されるオンデマンドのスケーラブルなコンピュート。

  • サーバレスSQLウェアハウス: SQLエディタまたはインタラクティブエディタでデータオブジェクトに対してSQLコマンドを実行するために使用されるオンデマンドのエラスティックコンソール。 UI、CLI 、またはREST APIを使用して SQLウェアハウスを作成できます。

サーバーレスコンピュートを有効にする

ノートブック、ジョブ、および Delta Live Tablesのサーバレス コンピュートにアクセスするには、アカウント管理者がワークスペースレベルでこの機能を有効にする必要があります。 Enable サーバレス コンピュートを参照してください。

サーバレス SQLウェアハウスにアクセスするには、 サーバレス SQLウェアハウスの有効化を参照してください。

サーバレスコンピュートの制限

制限事項の一覧については、「 サーバレス コンピュート の制限事項」を参照してください。

よくある質問(FAQ)

リリースはどのようにロールアウトされますか?

サーバレス コンピュート はバージョンレス製品です。つまり、 Databricksサーバレス コンピュート を自動的にアップグレードして、プラットフォームの機能強化とアップグレードをサポートします。 すべてのユーザーに同じアップデートが配布され、短期間でロールアウトされます。

実行しているサーバーレス バージョンを確認するにはどうすればよいですか?

サーバレス ワークロードは常に最新バージョンで実行されます。 最新バージョンについてはリリースノートを参照してください。

サーバーレスのコストをどのように見積もればよいですか?

Databricks 、代表的なワークロードまたは特定のワークロードを実行してベンチマークし、課金システムテーブルを分析することをお勧めします。 課金利用システムテーブルリファレンスを参照してください。

特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?

特定のワークロードのコストを確認するには、 system.billing.usageシステムテーブルをクエリします。 サンプル クエリとコスト観測ダッシュボードのダウンロードについては、「サーバーレス コンピュートのコスト監視」を参照してください。

サーバレス コンピュートはプライベートリポジトリをサポートしていますか?

リポジトリは非公開にすることも、認証を必要とすることもできます。 セキュリティ上の理由から、認証されたリポジトリにアクセスする際には、事前に署名された URL が必要です。

ジョブタスクのライブラリをインストールするにはどうすればよいですか?

Databricks では、ジョブのライブラリをインストールおよび管理するために環境を使用することをお勧めします。 「ノートブック以外のタスクの環境と依存関係を構成する」を参照してください。

カスタムデータソースに接続できますか?

いいえ、レイクハウスフェデレーションを使用するソースのみ対応しています。 「サポートされているデータソース」を参照してください。

サーバレス コンピュート プレーン ネットワークはどのように機能しますか。

serverless コンピュートリソース は、 Databricksによって管理される serverless コンピュート プレーンで実行されます。 ネットワークとアーキテクチャの詳細については、 「サーバレス コンピュート プレーン ネットワーキング」を参照してください。