ジョブの JAR タスク

JAR タスクを使用して、JAR (Java ARchive) にコンパイルされた Scala または Java コードをデプロイします。

重要

Scala には、Unity Catalog 共有アクセス モードでのサポート制限があります。 「Unity Catalog 共有アクセス モードの言語サポート」および「Unity Catalog 共有アクセス モードの Spark API の制限と要件」を参照してください。

共有アクセスモードでは、管理者が JAR ライブラリの Maven 座標とパスを allowlistに追加する必要があります。 共有コンピュートのAllowlist ライブラリとinitスクリプトを参照してください。

JARファイルは、コンピュート構成でサポートされている場所に保存する必要があります。 Java と Scala のライブラリのサポートを参照してください。

要件

• Scalaワークロードをサポートするコンピュート構成を選択する必要があります。

• JAR ファイルは、コンピュート構成と互換性のある場所またはMavenリポジトリにアップロードする必要があります。

• JAR ファイル内のコードでは、Spark コンテキストを取得するために SparkContext.getOrCreate を使用する必要があります。

JAR タスクの構成

ジョブ UI のタスク タブからJARタスクを追加するには、次の手順を実行します。

1. 「タイプ」ドロップダウンメニューで、「JAR」を選択します。

2. Main クラスを指定します。

   • これは、実行される main メソッドを含むクラスのフルネームです。 このクラスは、 従属ライブラリとして構成されたJARに含める必要があります。

3. コンピュートを使用して、JARのロジックをサポートするクラスターを選択または構成します。

4. [依存ライブラリ] の下の [+ 追加] をクリックします。「依存ライブラリの追加」ダイアログが表示されます。

   • 既存の JAR ファイルを選択するか、新しい JAR ファイルをアップロードできます。

   • すべての場所で JAR ファイルがサポートされているわけではありません。

   • すべてのコンピュート構成が、サポートされているすべての場所で JAR ファイルをサポートしているわけではありません。

   • 各ライブラリソースには、JAR ファイルを選択またはアップロードするための異なるフローがあります。「ライブラリ」を参照してください。

5. (オプション) パラメーター を、メイン クラスに引数として渡される文字列のリストとして構成します。 Configure タスク パラメーターを参照してください。

6. [タスクの保存] をクリックします。