Databricks Connect for Scala の制限事項

注

この記事では、Databricks Connect for Databricks Runtime 13.3 LTS 以降について説明します。

この記事では、Databricks Connect for Scala の制限事項について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、およびカスタム アプリケーションを Databricks クラスターに接続できます。 「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、「 Databricks Connect for Python の制限事項」を参照してください。

Databricks Connect for Databricks Runtime 13.3 LTS 以下では使用できません。

  • ストリーミング foreachBatch

  • 128 MB を超える DataFrames の作成

  • 3600秒以上の長いクエリー

  • シングル・ユーザー・クラスター・アクセス・モードを使用するクラスター上のスカラー UDF

利用できません:

  • Databricks ユーティリティ:credentials、library、notebook workflow、 widgets

  • SparkContext

  • RDDs

  • MLflow モデルの推論: pyfunc.spark_udf() API

  • モザイク地理空間

  • CREATE TABLE <table-name> AS SELECT (代わりに、 spark.sql("SELECT ...").write.saveAsTable("table")を使用します)

  • log4j ログレベルの変更 SparkContext

  • 分散機械学習トレーニング

  • ローカル開発環境とリモート・クラスターの同期