Databricks Connect for Scala への移行

注

Databricks Connect for Databricks Runtime 13.3 LTS 以降 Scala は パブリック プレビュー段階です。

この記事では、Databricks Connect for Databricks Runtime 12.2 LTS 以下から Databricks Connect for Databricks Runtime 13.3 LTS 以降に Scala に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、およびカスタム アプリケーションを Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、「 Databricks Connect for Python への移行」を参照してください。

注

Databricks Connectの使用を開始する前に、Databricks Connect クライアントをセットアップする必要があります。

1. Databricks クラスターに一致するように、インストール要件に記載されている正しいバージョンの Java 開発キット (JDK) と Scala をローカルにまだインストールされていない場合は、インストール 要件にインストール します。

2. sbtの場合は build.sbt、Maven の場合は pom.xml、Gradle の場合は build.gradle など、Scala プロジェクトのビルド ファイルで、Databricks Connect クライアントへの次の参照を更新します。

   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   <dependency>
     <groupId>com.databricks</groupId>
     <artifactId>databricks-connect</artifactId>
     <version>14.0.0</version>
   </dependency>
   

   implementation 'com.databricks.databricks-connect:14.0.0'
   

   14.0.0、クラスター上の Databricks Runtime バージョンと一致するバージョンの Databricks Connect ライブラリに置き換えます。 Databricks Connect ライブラリのバージョン番号は、 Maven の中央リポジトリで確認できます。

3. Scala コードを更新して、spark 変数 (Spark の SparkSession と同様に、DatabricksSession クラスのインスタンス化を表す) を初期化します。コード例については、「 Databricks Connect for Scala のコード例」を参照してください。