クラスターライブラリ

クラスターライブラリは、クラスター上で実行されているすべてのノートブックとジョブで使用できます。この記事では、Databricks ワークスペースでのライブラリのインストールUI の使用方法について詳しく説明します。

次の方法を使用して、クラスターにライブラリをインストールできます。

特定のクラスターでのみ使用するライブラリをインストールします。
REST APIを使用してライブラリをインストールします。「ライブラリ API」を参照してください。
Databricks CLI を使用してライブラリをインストールします。「Databricks CLI とは」を参照してください。
Terraform を使用してライブラリをインストールします。Databricks Terraform プロバイダーと databricks_library を参照してください。

クラスターの作成時に実行される initScript を使用してライブラリをインストールします。 initスクリプトを使用したライブラリのインストールを参照してください。

クラスターにライブラリをインストール

クラスタにライブラリをインストールするには、以下の手順に従ってください。

サイドバー の「コンピュート」をクリックします 。
クラスター名をクリックします。
[ライブラリ] タブをクリックします。
[新規インストール]をクリックします。
[ライブラリをインストール] ダイアログが表示されます。
[ライブラリのソース] オプションのいずれかを選択し、表示される手順に従い、その後 [インストール] をクリックします。

重要

ライブラリは、Databricks Runtime 14.3 LTS 以前を使用している場合は DBFS からインストールできます。ただし、ワークスペースユーザーは誰でも DBFS に格納されているライブラリファイルを変更できます。 Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.1 以降のデフォルトによって非推奨になり、無効になっています。「DBFSルートでのライブラリの保存は、デフォルトによって非推奨および無効化されています」を参照してください。

代わりに、、 Databricksライブラリ、PythonJAR ファイル、Spark コネクタを含むすべてのライブラリをワークスペースファイルまたはUnity Catalog ボリュームにアップロードするか、ライブラリパッケージリポジトリを使用することをお勧めします。ワークロードがこれらのパターンをサポートしていない場合は、クラウドオブジェクトストレージに保存されているライブラリを使用することもできます。

すべてのクラスターアクセスモードがすべてのライブラリ構成をサポートしているわけではありません。「クラスタースコープのライブラリ」を参照してください。

ライブラリのソース	手順
ワークスペース	ワークスペースファイルを選択するか、Whl、zip 形式のホイールハウス、JAR、ZIP、tar、またはrequirements.txt ファイルをアップロードします。「ワークスペースファイルからライブラリをインストールする」を参照してください。
ボリューム	ボリュームからWhl、JAR、またはrequirements.txtファイルを選択します。「ボリュームからライブラリをインストールする」を参照してください。
ファイルパス/GCS	ライブラリのタイプを選択し、ライブラリオブジェクトに完全な URI を指定します (例: `/Workspace/path/to/library.whl` 、 `/Volumes/path/to/library.whl` 、または`gs://bucket-name/path/to/library.whl` )。「オブジェクトストレージからライブラリをインストールする」を参照してください。
PyPI	PyPI パッケージ名を入力します。 PyPIパッケージを参照してください。
Maven	Maven 座標を指定します。 Maven または Spark パッケージを参照してください。
CRAN	パッケージの名前を入力します。 CRAN パッケージを参照してください。
DBFS (推奨されません)	JAR または Whl ファイルを DBFS ルートにロードします。 DBFS に保存されているファイルはどのワークスペースユーザーでも変更できるため、これは推奨されません。

クラスターにライブラリをインストールしても、そのクラスターに既にアタッチされているノートブックには、新しいライブラリがすぐに表示されません。最初にノートブックをデタッチしてから、クラスターに再度アタッチする必要があります。

注：

インストールに 2 時間以上かかったライブラリは失敗としてマークされます。

init スクリプトを使用してライブラリをインストール

ライブラリにカスタム構成が必要な場合、ワークスペースやクラスターライブラリインターフェイスを使ってライブラリをインストールできないことがあります。この場合は、代わりに、initスクリプトを使用すると、ライブラリをインストールできます。

以下は、クラスターの初期化時に pip を使用して Databricks Runtime クラスターに Python ライブラリをインストールする init スクリプトの例です。

#!/bin/bash

/databricks/python/bin/pip install astropy

クラスターからライブラリをアンインストール

注：

クラスターからライブラリをアンインストールしても、クラスターを再起動するまでライブラリは削除されません。クラスターを再起動するまで、アンインストールされたライブラリのステータスは [再起動時のアンインストールを保留中] と表示されます。

ライブラリをアンインストールするには、クラスター UI を使用できます。

サイドバー の「コンピュート」をクリックします 。
クラスター名をクリックします。
[ライブラリ] タブをクリックします。
ライブラリをアンインストールするクラスターの横にあるチェックボックスをオンにし、[アンインストール] をクリックしてから [確認] をクリックします。ステータスが [再起動時のアンインストールを保留中] に変わります。

[再起動] をクリックし、[確認] をクリックしてライブラリをアンインストールします。ライブラリはクラスターの [ライブラリ] タブから削除されます。

クラスターにインストールされているライブラリを表示

サイドバー の「コンピュート」をクリックします 。
クラスター名をクリックします。
「 ライブラリ 」タブをクリックします。タブには、ライブラリごとに、名前とバージョン、タイプ、インストールステータス、およびアップロードされている場合はソースファイルが表示されます。

クラスターにインストールされたライブラリを更新

クラスターにインストールされたライブラリを更新するには、古いバージョンのライブラリをアンインストールし、新しいバージョンをインストールします。

注：

Requirements.txtファイルは、アンインストールと再起動の必要はありません。 requirements.txtファイルの内容を変更した場合は、再インストールするだけで、インストールされたファイルの内容を更新できます。