Databricks Webターミナルでシェルコマンドを実行する

DatabricksWeb ポータルはCLI 、 コマンドDatabricksCLI などのコマンドライン インターフェイス ( ) でシェル コマンドを実行し、Databricks オブジェクトに対してプログラムでアクションを実行するための便利で高度に対話型の方法を提供します。これは、既存のユーザー インターフェイス (UI) では完全にサポートされていない可能性のある、複数のファイルに対するバッチ操作などの高度なユース ケースに特に役立ちます。

Webターミナルは1つのコンピュート上で複数のユーザーが利用できます。

Webポータルを使用すると、次のことができます。

  • VimまたはEmacsを使用してファイルをすばやく編集します。

  • htop (クラスター使用量) やnvidia-smi (GPU 使用量) などのコマンドを使用してリソース使用量を監視します。

  • Spark 以外の Python スクリプトを実行します。

  • mvやmkdirなどのシェルコマンドを使用してファイル操作を実行します。

  • コンピュートにライブラリをインストールして管理します。

  • Databricks CLI を使用して、Databricks のさまざまな側面を自動化します。

要件

警告

Databricks 、コンピュートのSparkドライバーのポート 7681 から Web ターミナル サービスをプロキシします。 この Web プロキシは、Web ターミナルでのみ使用することを目的としています。 コンピュートの起動時にポートが占有されている場合、または何らかの競合が発生している場合、Web ポータルが期待どおりに動作しない可能性があります。 他の Web サービスがポート 7681 で起動されると、コンピュート ユーザーは潜在的なセキュリティエクスプロイトにさらされる可能性があります。 Databricks 、サポートされていないソフトウェアをコンピュートにインストールしたことに起因する問題については責任を負いません。

  • Web ターミナルは、すべてのワークスペース ユーザーに対してデフォルトによって無効になっています。 有効にするには、 「Web ターミナルを有効にする」を参照してください。

  • コンピュートにCan Attach To 。

  • コンピュートは、 シングル ユーザー または 分離を共有しない のアクセス モード を使用する必要があります。Databricks Runtime 15.1 以降では、 Shared に設定されたアクセス モードもサポートされています。

Webターミナルを起動する

コンピュート詳細ページまたは、ポータルからWebターミナルを起動できます。

ノートブックから

ポータルから Web ターミナルを起動するには:

  1. ノートブックをコンピュートに接続します。

  2. ノートブックの右サイドバーの下部にある「下部パネルを開く」アイコンをクリックします。ノートブックの下部パネルを開く 。

  3. または、添付のコンピュート ドロップダウンをクリックし、添付のコンピュートの上にマウスを移動して、 [Web ターミナル]をクリックします。

Web ターミナルは画面下部のパネルで開きます。 パネルの右上にあるボタンを使用すると、次のことができます。

  • 新しいターミナルセッションを新しいタブで 新しいターミナルセッションを開く開きます。

  • ターミナルセッション ターミナルセッションの再ロードをリロードします。

  • 下部パネル 下部パネルを閉じるを閉じます。 パネルを再度開くには、右サイドバーの下部にある をクリックします 底面パネルを再度開く 。

コンピュート詳細ページより

コンピュート詳細ページからWebターミナルを起動するには:

  1. ワークスペースのサイドバーで、 「コンピュート」をクリックします。

  2. 汎用コンピュートタブで、コンピュートの名前をクリックします。

  3. 「スタート」をクリックしてコンピュートを起動します。

  4. [アプリ]タブで、 [Webターミナル]をクリックします。

Web ターミナル UI と Bash プロンプトを含む新しいタブが開きます。

Webターミナルを使う

Webターミナルでは、コンピュートドライバノードのコンテナ内のrootからコマンドを実行できます。

各ユーザーは、最大 100 個のアクティブな Web ターミナル セッション (タブ) を開くことができます。 アイドル状態の Web ターミナル セッションがタイムアウトし、Web ターミナル Web アプリケーションが再接続され、新しいシェル プロセスが発生する可能性があります。 Bash セッションを保持する場合、Databricks では tmux の使用が推奨されています。

Databricks CLIコマンドを実行します

Web ターミナルを使用してDatabricks CLIコマンドを実行することもできます。 利用可能な CLI は常に最新バージョンであり、認証は現在のユーザーに基づいて行われます。 コンピュートは以下の要件を満たす必要があります。

  • クラスターには Databricks Runtime 15.0 以降がインストールされている必要があります。

  • ワークスペースはプライベート サービス Connect に対して有効にしないでください。

Web ターミナルを起動し、次のコマンドを実行して現在のユーザーに関する情報を出力します。

   databricks current-user me

Bundle コマンドも利用可能で、これを使用すると、Databricks Databricksワークスペース内の Web ターミナルから直接 アセット バンドル を作成および管理できます。たとえば、デフォルトのテンプレートを使用して単純なバンドルを作成、デプロイ、実行するには、次のようにします。

  1. Web ターミナルのルートから、ワークスペースのホームに移動し、 bundle initを実行します。

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. デフォルトのテンプレートプロンプトを受け入れ、バンドルディレクトリに移動してデプロイします。

    cd my_project
databricks bundle deploy

    デプロイされたmy_projectバンドルは、Databricks ワークスペース UI で表示できます。

  3. 最後に、バンドル内のデフォルトのジョブを実行します。

    databricks bundle run my_project_job

    実行中のジョブを確認するには、[ジョブ 実行]に移動します。

Webターミナルを構成する

.bashrcを使用して、Webターミナルの永続的な構成を設定できます 設定ファイル。

Databricks .bashrc という名前のファイルを自動的にソース ワークスペース ファイル システムのホームフォルダーから。 これらのファイルの設定は、新しいターミナルセッションを開始するたびに自動的にアクティブになります。

他のファイル (.zshrc など) をソースにする場合 あなたのWebターミナル体験のために、あなたの.bashrcからそれらをソース ファイルを使用して構成を永続化します。

すべての設定ファイルをワークスペースフォルダに保存し、テキストエディタを使用して設定できるようにします。

制限事項

  • Databricks 、Web ターミナルからのSparkジョブの実行をサポートしていません。

  • Databricks Web Terminal は、次のコンピュート タイプでは使用できません。

    • ジョブコンピューティング

    • サーバーレスコンピュート

    • コンピュートは、 DISABLE_WEB_TERMINAL=true環境変数を設定して起動されました。

    • コンピュートは、15.1未満の Databricks Runtimeで アクセスモード を 共有 に設定して起動しました。Webターミナルは、 Databricks Runtime 15.1以上の共有コンピュートで利用できます。

    • コンピュートは、GKE によってデプロイされた で 、アクセス モード を Shared に設定して起動しました。GCPGCPでは、GCEがデプロイする共有コンピュート上でWebターミナルを利用できます。

    • コンピュートは、Spark 構成spark.databricks.pyspark.enableProcessIsolationをtrueに設定して起動しました。

  • 最初のページ読み込みから 12 時間というハード制限があり、その後、アクティブな接続であっても、すべての接続が終了します。 Web ターミナルを更新して再接続できます。 Databricks では、 tmux を使用してシェル セッションを保持することをお勧めします。

  • ARM コンピュートリソースは、Web ターミナルを使用して、 Gitフォルダー内のファイルを含むワークスペース ファイルにアクセスすることはできません。