initスクリプトで環境変数を設定して使用する
initスクリプトは、クラスターに存在するすべての環境変数にアクセスできます。 Databricks は、initスクリプト ロジックで役立つ多くのデフォルト変数を設定します。
Spark 構成で設定された環境変数は、init スクリプトで使用できます。 環境変数を参照してください。
デフォルトでinitスクリプトに公開される環境変数は何ですか?
クラスタースコープとグローバル initスクリプトは、次の環境変数をサポートします。
DB_CLUSTER_ID
:スクリプトが実行されているクラスターのID。クラスター APIを参照してください。DB_CONTAINER_IP
:Sparkが実行されるコンテナーのプライベートIPアドレス。initスクリプトは、このコンテナー内で実行されます。クラスターAPIを参照してください。DB_IS_DRIVER
: スクリプトがドライバー ノードで実行されているかどうか。DB_DRIVER_IP
: ドライバー ノードの IP アドレス。DB_INSTANCE_TYPE
: ホスト VM のインスタンスタイプ。DB_CLUSTER_NAME
: スクリプトが実行されているクラスターの名前。DB_IS_JOB_CLUSTER
: クラスターがジョブを実行するために作成されたかどうか。 「ジョブのコンピュートの設定」を参照してください。
たとえば、スクリプトの一部をドライバー ノードでのみ実行する場合は、次のようなスクリプトを記述できます。
echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
<run this part only on driver>
else
<run this part only on workers>
fi
<run this part on both driver and workers>
initスクリプトでシークレットを使用する
シークレットを参照するときは、任意の有効な変数名を使用できます。 環境変数で参照されるシークレットへのアクセスは、クラスターを構成したユーザーのアクセス許可によって決まります。 環境変数に格納されているシークレットには、クラスターのすべてのユーザーがアクセスできますが、プレーンテキスト表示から編集されます。
「 環境変数でのシークレットの参照」を参照してください。