Limitações do Databricks Connect para Python

Observação

Este artigo abrange Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações do Databricks Connect para Python. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Scala destes artigos, consulte Limitações do Databricks Connect for Scala.

Importante

Dependendo da versão de Python, Databricks Runtime e Databricks Connect que o senhor estiver usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos.

disponibilidade de recurso

Não disponível no Databricks Connect para Databricks Runtime 13.3 LTS e abaixo:

  • transmissão foreachBatch

  • Criando DataFrames maiores que 128 MB

  • query longa com mais de 3.600 segundos

Não disponível:

  • dataframe.display() API

  • Databricks russos: credentials, library, notebook workflow, widgets

  • Contexto do Spark

  • RDDs

  • biblioteca que usa RDDs, Spark Context, ou que acessa o Spark JVM subjacente, como o Mosaic geoespacial, GraphFrames, ou GreatExpectations

  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))

  • ApplyinPandas() e Cogroup() com clusters compartilhados

  • Alterando o nível logs log4j por meio de SparkContext

  • Treinamento de ML Distribuído

  • Sincronizando o ambiente de desenvolvimento local com os clustersremotos

  • Em serverless compute, os UDFs não podem incluir biblioteca personalizada.