ノートブック実行用サーバレスコンピュート
この記事では、ノートブック用のサーバレスコンピュートの使い方を説明します。 ジョブのサーバーレス コンピュートの使用については、「ワークフローのサーバーレス コンピュートを使用してDatabricksジョブを実行する」を参照してください。
価格情報については、 Databricks の価格を参照してください。
要件
ワークスペースで Unity Catalog が有効になっている必要があります。
ワークスペースはサポートされているリージョン内になければなりません。 Databricks のクラウドとリージョンを参照してください。
サーバーレス コンピュートを使用するには、アカウントが有効になっている必要があります。 「サーバレス コンピュートを有効にする」を参照してください。
サーバーレスコンピュートにノートブックを添付する
ワークスペースでサーバレスインタラクティブコンピュート が有効になっている場合、ワークスペース内のすべてのユーザーは、ノートブック実行用サーバレスコンピュートにアクセスできます。 追加の権限は必要ありません。
サーバレス コンピュートに接続するには、データベースの[接続]ドロップダウン メニューをクリックし、 [サーバレス]を選択します。 新しいコンピュータの場合、他のリソースが選択されていない場合、接続されたコンピュートはコード実行時に自動的にサーバレスにデフォルト設定されます。
サーバレス利用に対する予算ポリシーの選択
プレビュー
この機能はパブリックプレビュー段階です。
予算ポリシー を使用すると、組織はサーバレスの使用状況にカスタムタグを適用して、詳細な請求属性を実現できます。
ワークスペースで予算ポリシーを使用してサーバレスの使用状況を属性付けしている場合は、ノートブックに適用する予算ポリシーを選択できます。 ユーザーが 1 つの予算ポリシーにのみ割り当てられている場合、そのポリシーがデフォルトで選択されます。
予算ポリシー は、ノートブックをサーバレス コンピュートに接続した後、[ Environment ] サイドパネルを使用して選択できます。
ノートブック UI で、 [環境 ] サイドパネル
をクリックします。
「予算ポリシー」 で、ノートブックに適用する予算ポリシーを選択します。
[適用] をクリックします。
![予算ポリシーを持つサーバレス ノートブックの環境パネル](../../_images/serverless-notebook-environment-policies.png)
その時点から、ノートブックからのすべての使用量は、予算ポリシーのカスタムタグを継承します。
注:
ノートブックが Git リポジトリから作成されている場合、 または予算ポリシーが割り当てられていない場合、次にサーバレス コンピュートにアタッチされるときに、最後に選択した予算ポリシーにデフォルトされます。
サーバレスワークロードのハイメモリの設定
プレビュー
この機能はパブリックプレビュー段階です。
サーバレスワークロードを実行するためにより多くのメモリが必要な場合は、ノートブックでより高いメモリサイズを使用するように設定できます。 メモリの多いサーバレス使用量は、標準メモリよりも DBU 排出量が高くなります。
ノートブック UI で、 [環境 ] サイドパネル
をクリックします。
[メモリ] で [ハイ メモリ] を選択します。
[適用] をクリックします。
この設定は、ノートブックのメモリ設定を使用して実行されるノートブック ジョブ タスクにも適用されます。 ノートブックのメモリ設定を更新すると、次のジョブ実行に影響します。
クエリを表示
ノートブックとジョブのサーバーレス コンピュートは、クエリの知識を使用してSparkの実行パフォーマンスを評価します。 ノートブックでセルを実行した後、 「パフォーマンスを表示」SQL リンクをクリックすると、 およびPython クエリに関連する知見を表示できます。
![クエリのパフォーマンスを表示する](../../_images/query-performance.png)
いずれかのSparkステートメントをクリックすると、クエリ メトリックスが表示されます。 そこから、[ クエリ プロファイルの表示 ] をクリックして、クエリ実行の視覚化を表示できます。 クエリ プロファイルの詳細については、 「クエリ プロファイル」を参照してください。
注:
ジョブ実行のパフォーマンスに関する洞察を表示するには、 「ジョブ実行のクエリ洞察の表示」を参照してください。
クエリ履歴
サーバレス コンピュート上で実行されたすべてのクエリは、ワークスペースのクエリ履歴ページにも記録されます。 クエリ履歴の詳細については、 「クエリ履歴」を参照してください。
クエリの制限
クエリ プロファイルは、クエリの実行が終了した後にのみ使用できます。
実行中にクエリ プロファイルは表示されませんが、メトリックはリアルタイムで更新されます。
対象になるクエリ ステータスは、RUNNING、CANCELED、FAILED、FINISHED のみです。
実行中のクエリは、クエリ履歴ページからキャンセルできません。 ノートブックまたはジョブでキャンセルできます。
詳細なメトリックは使用できません。
クエリ プロファイルのダウンロードは利用できません。
Spark UI にアクセスできません。
ステートメント テキストには、実行された最後の行のみが含まれます。 ただし、この行の前に、同じステートメントの一部として実行された行が複数ある可能性があります。