Instale o Databricks Connect para Scala

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo descreve como instalar o Databricks Connect for Scala. Consulte O que é o Databricks Connect?. Para a versão Python destes artigos, consulte Instalar o Databricks Connect for Python.

Requisitos

  • Seu destino Databricks workspace e cluster deve atender aos requisitos de configuração de computação para Databricks Connect.

  • O Java Development Kit (JDK) instalado em sua máquina de desenvolvimento. A Databricks recomenda que a versão da instalação do JDK usada corresponda à versão do JDK nos clusters do Databricks. Para encontrar a versão do JDK em seus clusters, consulte a seção “Ambiente do sistema” das notas sobre a versão do Databricks Runtime para seus clusters. Por exemplo, Zulu 8.70.0.23-CA-linux64 corresponde ao JDK 8. Consulte Databricks Runtime notas sobre a versão versões e compatibilidade.

  • Scala instalado em sua máquina de desenvolvimento. Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala no clustering do Databricks. Para encontrar a versão Scala da versão Databricks Runtime do seu clustering, consulte a seção Ambiente do sistema das Databricks Runtime notas sobre a versão para essa versão. Consulte Databricks Runtime notas sobre as versões e a compatibilidade.

  • Se estiver usando funções definidas pelo usuário (UDFs), as versões locais Scala e Java devem corresponder às versões Scala e Java da versão Databricks Runtime do clustering. Para encontrar as versões Scala e Java da versão Databricks Runtime do seu clustering, consulte a seção Ambiente do sistema das Databricks Runtime notas sobre a versão para essa versão. Consulte Databricks Runtime notas sobre as versões e a compatibilidade.

  • Uma ferramenta de compilação Scala na sua máquina de desenvolvimento, como sbt.

Adicionar uma referência ao cliente Databricks Connect

Para configurar o cliente Databricks Connect, primeiro adicione uma referência ao cliente. No arquivo de compilação do seu projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, adicione a seguinte referência ao cliente Databricks Connect. Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão do Databricks Runtime em seu cluster. O senhor pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven.

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

implementation 'com.databricks.databricks-connect:14.0.0'

Configurar propriedades de conexão

Em seguida, configure as propriedades para estabelecer uma conexão entre o Databricks Connect e o cluster remoto do Databricks. Essas propriedades incluem configurações para autenticar o Databricks Connect com seu cluster. Consulte a configuração de computação para Databricks Connect.

Para Databricks Connect para Databricks Runtime 13.3 LTS e acima, para Scala, Databricks Connect inclui o Databricks SDK para Java. Esse SDK implementa o padrão de autenticação unificada do cliente Databricks, uma abordagem arquitetônica e programática consolidada e consistente para a autenticação. Essa abordagem torna a configuração e a automatização da autenticação com o Databricks mais centralizada e previsível. Ele permite que o senhor configure a autenticação do Databricks uma vez e, em seguida, use essa configuração em várias ferramentas e SDKs do Databricks sem outras alterações na configuração da autenticação.

Observação