Limitações da computação sem servidor

Prévia

Esse recurso está em Private Preview. Para obter informações sobre elegibilidade e habilitação, consulte Enable serverless compute .

Este artigo explica as limitações atuais do serverless compute para Notebook e Job. Começando com uma visão geral das considerações mais importantes, seguida de uma lista de referência abrangente das limitações.

Visão geral das limitações

Antes de criar novas cargas de trabalho ou migrar cargas de trabalho para serverless compute, considere primeiro as seguintes limitações:

  • Python e SQL são as únicas linguagens suportadas.

  • Somente as APIs de conexão do Spark são compatíveis. Não há suporte para as APIs do Spark RDD.

  • JAR biblioteca não são suportados. Para soluções alternativas, consulte Práticas recomendadas para serverless compute .

  • serverless compute tem acesso irrestrito a todos os usuários do site workspace.

  • Notebook tags não são suportados.

  • Para a transmissão, somente a lógica de lotes incrementais pode ser usada. Não há suporte para default ou intervalos de acionamento baseados em tempo. Veja as limitações de transmissão.

Limitações Lista de referências

As seções a seguir listam as limitações atuais do site serverless compute.

serverless compute é baseado na arquitetura compute compartilhada. As limitações mais relevantes herdadas do compute compartilhado estão listadas abaixo, juntamente com outras limitações específicas do serverless. Para obter uma lista completa das limitações do compute compartilhado, consulte compute access mode limitations for Unity Catalog.

Limitações gerais

  • Não há suporte para Scala e R.

  • ANSI SQL é o default ao escrever SQL. Optar por sair do modo ANSI definindo spark.sql.ansi.enabled como false.

  • Não há suporte para as APIs do Spark RDD.

  • Não há suporte para Spark Context (sc), spark.sparkContext e sqlContext.

  • O terminal da Web não é compatível.

  • Nenhuma consulta pode ser executada por mais de 48 horas.

  • O senhor deve usar o site Unity Catalog para se conectar a uma fonte de dados externa. Use locais externos para acessar o armazenamento cloud.

  • O suporte para fontes de dados é limitado a AVRO, BINARYFILE, CSV, DELTA, JSON, Kafka, ORC, PARQUET, ORC, TEXT, e XML.

  • As funções definidas pelo usuário (UDFs) não podem acessar a Internet.

  • As linhas individuais não devem exceder o tamanho máximo de 128 MB.

  • O site Spark UI não está disponível. Em vez disso, use o perfil de consulta para view informações sobre suas consultas Spark. Consulte Perfil de consulta.

  • Python Os clientes que usam o endpoint Databricks podem encontrar erros de verificação SSL, como "CERTIFICATE_VERIFY_FAILED". Para contornar esses erros, configure o cliente para confiar no arquivo CA localizado em /etc/ssl/certs/ca-certificates.crt. Por exemplo, execute o seguinte comando no início de um serverless Notebook ou Job: import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

  • Não há suporte para solicitações entreworkspace API .

limitações de transmissão

Limitações do aprendizado de máquina

Limitações do notebook

  • O notebook tem acesso a 8 GB de memória que não pode ser configurada.

  • Notebook-As bibliotecas com escopo não são armazenadas em cache nas sessões de desenvolvimento.

  • compartilhamento de tabelas TEMP e visualização quando não há suporte para o compartilhamento de um Notebook entre usuários.

  • Não há suporte para o preenchimento automático e o Variable Explorer para quadros de dados no Notebook.

Limitações do fluxo de trabalho

  • O tamanho do driver para serverless compute for Job é fixo no momento e não pode ser alterado.

  • A tarefa logs não é isolada por tarefa execução. logs conterá a saída de várias tarefas.

  • tarefa biblioteca não são compatíveis com o site Notebook tarefa. Em vez disso, use Notebook-scoped biblioteca. Consulte Notebook-scoped Python biblioteca.

Limitações específicas do computador

Não há suporte para os seguintes recursos específicos do site compute:

  • compute políticas

  • computeScript de inicialização com escopo -scópico

  • computeBiblioteca com escopo, incluindo fonte de dados personalizada e extensões do site Spark. Em vez disso, use Notebook-scoped biblioteca.

  • compute-Configurações de acesso a dados em nível, incluindo o perfil da instância. Como consequência, o acesso a tabelas e arquivos via HMS em caminhos cloud ou com montagens DBFS que não tenham credenciais incorporadas não funcionará.

  • instânciaPools

  • compute evento logs

  • Apache Spark compute configs e variável de ambiente