ノートブック コンピュート リソース

この記事では、ノートブック コンピュート リソースのオプションについて説明します。 ノートブックは、Databricks クラスター 、サーバレス コンピュートで実行できます。または、SQL コマンドの場合は、SQL SQLアナリティクス用に最適化されたコンピュートの一種である ウェアハウス を使用できます。

ノートブック実行用サーバレスコンピュート

サーバレス コンピュートを使用すると、ノートブックをオンデマンド コンピューティング リソースにすばやく接続できます。

サーバーレスコンピュートに接続するには、ノートブックの[Connect]ドロップダウンメニューをクリックし、[サーバレス]を選択します。

詳細については、 サーバレス コンピュート for ノートブック を参照してください。

ノートブックをクラスターにアタッチする

ノートブックをクラスターにアタッチするには、 CAN ATTACH TO のクラスターレベルのアクセス許可が必要です。

重要

ノートブックがクラスターに接続されている限り、 ノートブックに対する 実行可能権限を持つユーザーはクラスターにアクセスするための暗黙的な権限を持ちます。

ノートブックを クラスターにアタッチするには、 ノートブックツールバーのコンピュートセレクター をクリックし、ドロップダウンメニューからクラスターを選択します。

メニューには、最近使用したクラスターまたは現在実行中のクラスターの選択肢が表示されます。

ノートブックをアタッチ

使用可能なすべてのクラスターから選択するには、[ More...] をクリックします。 クラスター名をクリックしてドロップダウンメニューを表示し、既存のクラスターを選択します。

「その他のクラスター」ダイアログ

ドロップダウン メニューから [ 新規リソースの作成] を選択して 、新しいクラスターを作成する こともできます。

重要

アタッチされたノートブックには、以下のApache Spark変数が定義されています。

クラス

変数名

SparkContext

sc

SQLContext/HiveContext

sqlContext

SparkSession (Spark 2.x)

spark

SparkSessionSparkContext、またはSQLContextの作成は行わないでください。これを行うと、一貫性のない動作が発生します。

SQLウェアハウスでノートブックを使用する

ノートブックが SQLウェアハウスにアタッチされている場合、 SQL セルと Markdown セルを実行できます。 他の言語 (Python や R など) でセルを実行すると、エラーが発生します。 SQLウェアハウスで実行されたセルSQL、SQLウェアハウスのクエリ履歴に表示されます。クエリを実行したユーザーは、出力の下部にある経過時間をクリックすることで、ノートブックから クエリ プロファイルを表示できます

ノートブックを実行するには、Pro または サーバレス SQLウェアハウスが必要です。 ワークスペースと SQLウェアハウスにアクセスできる必要があります。

ノートブックを SQLウェアハウスにアタッチするには、以下の手順を実行します。

  1. ノートブックツールバーのコンピュートセレクターをクリックします。ドロップダウン メニューには、現在実行中のリソースまたは最近使用したコンピュート リソースが表示されます。 SQLウェアハウスには SQLウェアハウスラベルマークが付いています。

  2. メニューからSQLウェアハウスを選択します。

    利用可能なすべてのSQLウェアハウスを表示するには、ドロップダウンメニューから「さらに表示…」を選択します。ダイアログが表示され、ノートブックで利用可能なコンピュートリソースが表示されます。「SQLウェアハウス」を選択し、使用するウェアハウスを選択して、「アタッチ」をクリックします。

    SQLウェアハウスが選択された状態の「その他のクラスター」ダイアログ

また、ワークフローまたはスケジュールされたジョブを作成するときに、SQL ノートブックのコンピュート リソースとして SQLウェアハウスを選択することもできます。

SQLウェアハウスの制限事項

詳細については 、ノートブック Databricks 既知の制限事項 を参照してください。

ノートブックをデタッチする

コンピュートリソースからノートブックをデタッチするには、ノートブックツールバーのコンピュートセレクターをクリックし、リスト内のアタッチされているクラスターまたはSQLウェアハウスにカーソルを合わせ、サイドメニューを表示します。サイドメニューから「デタッチ」を選択します。

ノートブックをデタッチ

クラスターの詳細ページの「ノートブック」タブを使用して、クラスターからノートブックをデタッチすることもできます。

ヒント

Databricksでは、未使用のノートブックをクラスターからデタッチすることをお勧めしています。これにより、ドライバーのメモリ領域が解放されます。