Use o código do Visual Studio com o Databricks Connect para Scala

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo aborda como usar o Databricks Connect for Scala com Visual Studio Code. O Databricks Connect permite conectar IDEs populares, servidores Notebook e outros aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Python destes artigos, consulte Use Visual Studio Code with Databricks Connect for Python.

Observação

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

Para usar o Databricks Connect e o Visual Studio Code com a extensão Scala (Metals) para criar, executar e depurar um projeto Scala sbt de amostra, siga estas instruções. Você também pode adaptar este exemplo aos seus projetos Scala existentes.

  1. Certifique-se de que o Java Development Kit (JDK) e o Scala estejam instalados localmente. A Databricks recomenda que a versão local do JDK e do Scala corresponda à versão do JDK e do Scala nos clusters do Databricks.

  2. Certifique-se de que a versão mais recente do sbt esteja instalada localmente.

  3. Instale a extensão Scala (Metals) para Visual Studio Code.

  4. No Visual Studio Code, abra a pasta onde deseja criar seu projeto Scala (File > Open Folder).

  5. Na barra lateral, clique no ícone da extensão Metals e, em seguida, clique em Novo projeto Scala.

  6. Na paleta de comandos, escolha o padrão chamado Scala/hello-world.g8, e siga as instruções na tela para concluir a criação do projeto Scala na pasta especificada.

  7. Adicione configurações de compilação do projeto: na Explorer view (view > Explorer ), abra build.sbt o arquivo na raiz do projeto, substitua o conteúdo do arquivo pelo seguinte e salve o arquivo:

    scalaVersion := "2.12.15"

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    Substitua 2.12.15 pela versão instalada do Scala, que deve corresponder à versão incluída na versão do Databricks Runtime nos seus clusters.

    Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão do Databricks Runtime nos seus clusters. Você pode encontrar os números de versão da biblioteca do Databricks Connect no repositório central do Maven.

  8. Adicione o código Scala: abra o arquivo src/main/scala/Main.scala relativo à raiz do projeto, substitua o conteúdo do arquivo pelo seguinte e salve o arquivo:

    import com.databricks.connect.DatabricksSession
import org.apache.spark.sql.SparkSession

object Main extends App {
  val spark = DatabricksSession.builder().remote().getOrCreate()
  val df = spark.read.table("samples.nyctaxi.trips")
  df.limit(5).show()
}

  9. Construa o projeto: execute o comando >Metals: Importar build da Paleta de Comandos.

  10. Adicione configurações de execução do projeto: Na Run & Debug view (view > Run ), clique no link rótul o create a launchJSON. Arquivo .

  11. Na paleta de comandos, selecione Scala Debugger.

  12. Adicione a seguinte configuração de execução ao arquivo launch.json e salve o arquivo:

    {
  // Use IntelliSense to learn about possible attributes.
  // Hover to view descriptions of existing attributes.
  // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
  "version": "0.2.0",
  "configurations": [
    {
      "type": "scala",
      "request": "launch",
      "name": "Scala: Run main class",
      "mainClass": "Main",
      "args": [],
      "jvmOptions": []
    }
  ]
}

  13. execução do projeto: Clique no ícone play (começar a depuração) ao lado de Scala: execução main class. Na do Debug Console view (view > Debug Console ), as primeiras cinco linhas d samples.nyctaxi.trips a tabela aparecem. Todo o código Scala é executado localmente, enquanto todo o código Scala que envolve operações DataFrame é executado nos clusters no workspace remoto do Databricks e as respostas de execução são enviadas de volta ao chamador local.

  14. Depure o projeto: defina pontos de interrupção em seu código e clique no ícone de reprodução novamente. Todo o código Scala é depurado localmente, enquanto todo o código Scala continua a ser executado nos clusters no workspace remoto do Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.