initスクリプトで環境変数を設定して使用する

initスクリプトは、クラスターに存在するすべての環境変数にアクセスできます。 Databricks は、initスクリプトロジックで役立つ多くのデフォルト変数を設定します。

Spark 構成で設定された環境変数は、init スクリプトで使用できます。環境変数を参照してください。

デフォルトでinitスクリプトに公開される環境変数は何ですか?

クラスタースコープとグローバル initスクリプトは、次の環境変数をサポートします。

DB_CLUSTER_ID：スクリプトが実行されているクラスターのID。クラスター APIを参照してください。
DB_CONTAINER_IP：Sparkが実行されるコンテナーのプライベートIPアドレス。initスクリプトは、このコンテナー内で実行されます。クラスターAPIを参照してください。
DB_IS_DRIVER: スクリプトがドライバーノードで実行されているかどうか。
DB_DRIVER_IP: ドライバーノードの IP アドレス。
DB_INSTANCE_TYPE: ホスト VM のインスタンスタイプ。
DB_CLUSTER_NAME: スクリプトが実行されているクラスターの名前。
DB_IS_JOB_CLUSTER: クラスターがジョブを実行するために作成されたかどうか。「ジョブのコンピュートの設定」を参照してください。

たとえば、スクリプトの一部をドライバーノードでのみ実行する場合は、次のようなスクリプトを記述できます。

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

initスクリプトでシークレットを使用する

シークレットを参照するときは、任意の有効な変数名を使用できます。環境変数で参照されるシークレットへのアクセスは、クラスターを構成したユーザーのアクセス許可によって決まります。環境変数に格納されているシークレットには、クラスターのすべてのユーザーがアクセスできますが、プレーンテキスト表示から編集されます。

「Spark 構成プロパティまたは環境変数でのシークレットの使用」を参照してください。