configuração clusters para Databricks Connect

Observação

Este artigo abrange Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as definições de configuração para Databricks compute necessárias para que Databricks Connect se conecte a elas. Estas informações se aplicam às versões Python e Scala do site Databricks Connect, salvo indicação em contrário.

O Databricks Connect permite conectar IDEs populares, como Visual Studio Code, PyCharm, RStudio Desktop, IntelliJ IDEA, servidores Notebook e outros aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?.

Requisitos

  • A Databricks account e workspace que têm Unity Catalog ativado. Consulte Configurar e gerenciar Unity Catalog e Habilitar um workspace para Unity Catalog.

  • Um cluster do Databricks com o Databricks Runtime 13.3 LTS ou superior instalado.

  • A versão do Databricks Runtime do seu cluster deve ser igual ou superior à versão do pacote Databricks Connect. A Databricks recomenda que o senhor use o pacote mais recente do Databricks Connect que corresponda à versão do Databricks Runtime. Se quiser usar recursos disponíveis em versões posteriores do Databricks Runtime, o senhor deverá atualizar o pacote Databricks Connect. Consulte o site Databricks Connect notas sobre a versão para obter uma lista das versões disponíveis em Databricks Connect. Para obter notas sobre a versão Databricks Runtime, consulte Databricks Runtime notas sobre a versão versões e compatibilidade.

  • Os clusters devem usar um modo de acesso de clusters Atribuído ou Compartilhado. Consulte Modos de acesso.

Validação programática

No Databricks Connect 14.3 e superiores, DatabricksSession.builder introduz validateSession, que executa uma série de validações para garantir que os requisitos anteriores sejam atendidos.

No Databricks Connect for Python, o binário databricks-connect tem um subcomando test que executa o mesmo conjunto de validações.

Esse comando deve ser executado no terminal com um ambiente Python ativo que inclua o Databricks Connect e com o conjunto de credenciais default configurado. Para configurar essas credenciais, consulte Configurar propriedades de conexão.

databricks-connect test

O comando falhará com um código de saída diferente de zero e uma mensagem apropriada quando qualquer um dos requisitos não for atendido.

Desativando o Databricks Connect

O serviço Databricks Connect (e o Spark Connect subjacente) pode ser desabilitado em qualquer clusters.

Para desativar o serviço Databricks Connect, defina a seguinte configuração do Spark nos clusters.

spark.databricks.service.server.enabled false

Próximas etapas