ノートブックの結果の保存場所を設定する

組織のプライバシー要件により、一部のノートブックコマンドの結果が格納される Databricks で管理されるコントロールプレーンのデフォルトの場所ではなく、クラウドアカウントのシステムデータ用のすべての対話型ノートブックの結果を GCS バケットに格納する必要がある場合があります。

ノートブックのコマンド出力の保存方法は、ノートブックの実行方法によって異なります。

デフォルトでは、ノートブックで [実行] をクリックしてノートブックを対話的に実行すると、以下のようになります。

結果が小さい場合は、ノートブックのコマンド内容やメタデータとともにDatabricksのコントロールプレーンに保存されます。
より大きな結果は、Google クラウドアカウントのシステムデータ用にワークスペースの GCS バケットに保存されます。 Databricks は、システムデータ用の GCS バケットを自動的に作成します。 Databricks では、ワークスペースシステムデータとワークスペースの DBFSルートにこのストレージ領域が使用されます。ノートブックの結果は、ユーザーがアクセスできないワークスペースシステムのデータストレージに格納されます。
プロットイメージとその他のバイナリオブジェクトは、常に DBFSルートの FileStore 領域に別々に格納されます。

ノートブックをジョブとして実行するか、スケジュールを設定するか、[ジョブ] ページの [ 今すぐ実行 ] をクリックすると、すべての結果がワークスペースの GCS バケットに保存され、アカウント内のシステムデータに記録されます。

結果のサイズに関係なく、すべての対話型ノートブックの結果をクラウドアカウントに保存するようにワークスペースを構成できます。

対話型ノートブックの結果の保存場所を設定する

すべてのインタラクティブノートブックの結果をコントロールプレーンではなく Google クラウドアカウントに保存するようにワークスペースを構成できます。この機能は、管理者設定ページまたは REST API を使用して有効にできます。この構成は、ジョブとして実行されるノートブックには影響せず、その結果はデフォルトですでに Google クラウドアカウントに保存されています。

次の点に注意してください。

この設定の変更は、新しい結果に対してのみ有効です。既存のノートブックの結果は移動しません。
グラフの列名など、結果に関する一部のメタデータは引き続きコントロールプレーンに保存されることに注意してください。
クラウドプロバイダーのストレージコストが増える可能性があります。
結果の読み取りおよび書き込み時に、ネットワークおよびIOのレイテンシーが増加する可能性があります。

管理設定ページを使用して、すべてのノートブック結果をアカウントに保存する

ワークスペース管理者としてログインし、以下を実行します。

設定ページに移動します。
[ セキュリティ ] タブをクリックします。
[対話型ノートブックの結果を顧客アカウントに保存する] トグルをクリックします。

REST APIを使用してすべてのノートブックの結果をアカウントに保存する

REST API を使用して、すべてのノートブックの結果を Google クラウドアカウントに保存するようにワークスペースを構成するには、次のようにします。

この作業にはワークスペース管理者の権限が必要となります。
個人用アクセストークンが必要です。以下の手順では、curlコマンドで -n オプションを使用できるように、個人用アクセストークンを使用して.netrcファイルを構成していることを前提としています。詳細については、上記の記事を参照してください。

現在の設定を取得するには、GET /workspace-conf エンドポイントを呼び出して、keys を storeInteractiveNotebookResultsInCustomerAccount に設定します。

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

ワークスペースで対話型ノートブックの結果を Google クラウドアカウントに保存できるようにするには、 PATCH /workspace-conf エンドポイントを呼び出し、要求本文で storeInteractiveNotebookResultsInCustomerAccount を true に設定します。

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

この機能を無効にするには、同じフラグを false に設定します。

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'