Limitações do Databricks Connect para Python
Observação
Este artigo abrange Databricks Connect para Databricks Runtime 13.3 LTS e acima.
Este artigo lista as limitações do Databricks Connect para Python. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Scala destes artigos, consulte Limitações do Databricks Connect for Scala.
Não disponível no Databricks Connect para Databricks Runtime 13.3 LTS e abaixo:
transmissão
foreachBatch
Criando DataFrames maiores que 128 MB
query longa com mais de 3.600 segundos
Não disponível:
API dataset
APIs digitadas dataset (como
reduce()
eflatMap()
)Databricks russos:
credentials
,library
,notebook workflow
,widgets
SparkContext
RDDs
Inferência de modelo MLflow:
pyfunc.spark_udf()
APIMosaico geoespacial
CREATE TABLE <table-name> AS SELECT
(em vez disso, usespark.sql("SELECT ...").write.saveAsTable("table")
)ApplyinPandas()
eCogroup()
com clusters compartilhadosAlterando o nível logs log4j por meio de
SparkContext
Treinamento de ML Distribuído
Sincronizando o ambiente de desenvolvimento local com os clustersremotos