Use o Jupyter Notebook clássico com o Databricks Connect para Python

Observação

Este artigo abrange Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo aborda como usar o Databricks Connect for Python com o Jupyter Notebook clássico. O Databricks Connect permite conectar servidores Notebook populares, IDEs e outros aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?.

Observação

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

Para usar o Databricks Connect com Jupyter Notebook clássico e Python, siga estas instruções.

Para instalar o Jupyter Notebook clássico, com seu ambiente virtual Python ativado, execute o seguinte comando em seu terminal ou prompt de comando:
```
pip3 install notebook
```
Para começar o Jupyter Notebook clássico em seu navegador da web, execute o seguinte comando em seu ambiente virtual Python ativado:
```
jupyter notebook
```
Se o Jupyter Notebook clássico não aparecer no seu navegador da web, copie o URL que começa com localhost ou 127.0.0.1 do seu ambiente virtual e insira-o na barra de endereço do seu navegador da web.
Crie um novo notebook: no Jupyter Notebook clássico, na Arquivos , tabclique em Novo > Python 3 (ipykernel).
Na primeira célula do Notebook , insira o código de exemplo ou seu próprio código. Se você usar seu próprio código, deverá inicializar no mínimo DatabricksSession conforme mostrado no código de exemplo.
Para executar o Notebook, clique em Célula > Execução Tudo. Todo o código Python é executado localmente, enquanto todo o código PySpark que envolve operações DataFrame é executado nos clusters no workspace remoto do Databricks e as respostas de execução são enviadas de volta ao chamador local.
Para depurar o Notebook, adicione a seguinte linha de código no início do seu Notebook:

from IPython.core.debugger import set_trace

E, em seguida, chame set_trace() para inserir instruções de depuração nesse ponto da execução Notebook . Todo o código Python é depurado localmente, enquanto todo o código PySpark continua a ser executado nos clusters no workspace remoto do Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.
Para encerrar o Jupyter Notebook clássico, clique em Arquivo > Fechar e Parar. Se o processo clássico do Jupyter Notebook ainda estiver em execução no seu terminal ou prompt de comando, interrompa esse processo pressionando Ctrl + c e digitando y para confirmar.