クラスターライブラリ

クラスター ライブラリは、クラスター上で実行されているすべてのノートブックとジョブで使用できます。 この記事では、Databricks ワークスペースでのライブラリのインストールUI の使用方法について詳しく説明します。

次の方法を使用して、クラスターにライブラリをインストールできます。

クラスターにライブラリをインストール

クラスタにライブラリをインストールするには、以下の手順に従ってください。

  1. コンピュートアイコン サイドバー の 「コンピュート 」をクリックします

  2. クラスター名をクリックします。

  3. [ライブラリ] タブをクリックします。

  4. [新規インストール]をクリックします。

  5. [ライブラリをインストール] ダイアログが表示されます。

  6. [ライブラリのソース] オプションのいずれかを選択し、表示される手順に従い、その後 [インストール] をクリックします。

重要

Databricks Runtime 14.3 LTS 以下を使用する場合、ライブラリは DBFS からインストールできます。 ただし、ワークスペース ユーザーは、DBFS に格納されているライブラリ ファイルを変更できます。 Databricks ワークスペース内のライブラリのセキュリティを向上させるため、DBFS ルートへのライブラリ ファイルの保存は非推奨となり、Databricks Runtime 15.0 以降ではデフォルトで無効になっています。 「DBFS ルートへのライブラリの保存は非推奨であり、デフォルトで無効になっている」を参照してください。

代わりに、Databricks Unity Catalogではライブラリをワークスペース ファイルまたは ボリュームにアップロードするか、ライブラリ パッケージ リポジトリを使用すること をお勧めします 。ワークロードがこれらのパターンをサポートしていない場合は、クラウド オブジェクト ストレージに保存されているライブラリを使用することもできます。

すべてのクラスター アクセス モードがすべてのライブラリ構成をサポートしているわけではありません。 「クラスタースコープのライブラリ」を参照してください。

ライブラリのソース

手順

ワークスペース

ワークスペース ファイルを選択するか、Whl、zip 形式のホイールハウス、JAR、ZIP、tar、またはrequirements.txt ファイルをアップロードします。 「ワークスペース ファイルからライブラリをインストールする」を参照してください。

ボリューム

ボリュームからWhl、JAR、またはrequirements.txtファイルを選択します。 「ボリュームからライブラリをインストールする」を参照してください。

ファイルパス/GCS

ライブラリのタイプを選択し、ライブラリ オブジェクトに完全な URI を指定します (例: /Workspace/path/to/library.whl/Volumes/path/to/library.whl 、またはgs://bucket-name/path/to/library.whl )。 「オブジェクト ストレージからライブラリをインストールする」を参照してください。

PyPI

PyPI パッケージ名を入力します。 PyPIパッケージを参照してください。

Maven

Maven 座標を指定します。 Maven または Spark パッケージを参照してください。

CRAN

パッケージの名前を入力します。 CRAN パッケージを参照してください。

DBFS (推奨されません)

JAR または Whl ファイルを DBFS ルートにロードします。 DBFS に保存されているファイルはどのワークスペース ユーザーでも変更できるため、これは推奨されません。

クラスターにライブラリをインストールすると、そのクラスターに既にアタッチされているノートブックには、新しいライブラリがすぐに表示されません。 最初にノートブックを デタッチ してから、クラスターに 再アタッチ する必要があります。

init スクリプトを使用してライブラリをインストール

ライブラリにカスタム構成が必要な場合、ワークスペースやクラスターライブラリインターフェイスを使ってライブラリをインストールできないことがあります。この場合は、代わりに、initスクリプトを使用すると、ライブラリをインストールできます。

以下は、クラスターの初期化時に pip を使用して Databricks Runtime クラスターに Python ライブラリをインストールする init スクリプトの例です。

#!/bin/bash

/databricks/python/bin/pip install astropy

クラスターからライブラリをアンインストール

注:

クラスターからライブラリをアンインストールしても、クラスターを再起動するまでライブラリは削除されません。クラスターを再起動するまで、アンインストールされたライブラリのステータスは [再起動時のアンインストールを保留中] と表示されます。

ライブラリをアンインストールするには、クラスター UI を使用できます。

  1. コンピュートアイコン サイドバー の 「コンピュート 」をクリックします

  2. クラスター名をクリックします。

  3. [ライブラリ] タブをクリックします。

  4. ライブラリをアンインストールするクラスターの横にあるチェックボックスをオンにし、[アンインストール] をクリックしてから [確認] をクリックします。ステータスが [再起動時のアンインストールを保留中] に変わります。

[再起動] をクリックし、[確認] をクリックしてライブラリをアンインストールします。ライブラリはクラスターの [ライブラリ] タブから削除されます。

クラスターにインストールされているライブラリを表示

  1. コンピュートアイコン サイドバー の 「コンピュート 」をクリックします

  2. クラスター名をクリックします。

  3. ライブラリ 」タブをクリックします。 タブには、ライブラリごとに、名前とバージョン、タイプ、 インストールステータス、およびアップロードされている場合はソースファイルが表示されます。

クラスターにインストールされたライブラリを更新

クラスターにインストールされたライブラリを更新するには、古いバージョンのライブラリをアンインストールし、新しいバージョンをインストールします。

注:

Requirements.txtファイルは、アンインストールと再起動の必要はありません。 requirements.txtファイルの内容を変更した場合は、再インストールするだけで、インストールされたファイルの内容を更新できます。