gerenciar computação

Este artigo descreve como gerenciar o Databricks compute, incluindo a exibição, a edição, a inicialização, o encerramento, a exclusão, o controle de acesso e o monitoramento do desempenho e logs. O senhor também pode usar a API de Clusters para gerenciar compute programaticamente.

Ver computação

Para view seu compute, clique em compute na barra lateral workspace.

No lado esquerdo, há duas colunas que indicam se o compute foi fixado e o status do compute. Passe o mouse sobre o status para obter mais informações.

Exibir a configuração de computação como um arquivo JSON

Às vezes, pode ser útil view sua configuração compute como JSON. Isso é especialmente útil quando o senhor deseja criar um compute semelhante usando a API Clusters. Quando o senhor acessar view um site existente compute, vá para Configuration tab, clique em JSON no canto superior direito do site tab, copie o JSON e cole-o em sua chamada de API. O JSON view é somente leitura.

Fixar um computador

30 dias após o término de um compute, ele é excluído permanentemente. Para manter uma configuração compute para todos os fins depois que um compute for encerrado por mais de 30 dias, um administrador pode pin o compute. Até 100 compute recurso pode ser fixado.

Os administradores podem acessar pin um compute na lista compute ou na página de detalhes compute clicando no ícone pin.

Editar uma computação

O senhor pode editar a configuração do site computena UI de detalhes do site compute.

Observação

O notebook e o trabalho que foram anexados ao site compute permanecem anexados após a edição.
biblioteca instalados no site compute permanecem instalados após a edição.
Se o senhor editar qualquer atributo de um compute em execução (exceto o tamanho e as permissões do compute ), deverá reiniciá-lo. Isso pode atrapalhar os usuários que estão usando o site compute.
O senhor só pode editar um site em execução ou encerrado compute. No entanto, o senhor pode atualizar as permissões para compute que não estejam nesses estados na página de detalhes compute.

Clonar uma computação

Para clonar um compute existente, selecione Clone no menu compute's kebab.

Depois que o senhor seleciona Clone, a UI de criação do compute é aberta pré-preenchida com a configuração do compute. Os seguintes atributos não estão incluídos no clone:

compute permissões
Bibliotecas instaladas
Notebooks anexados

Permissões de computação

Há quatro níveis de permissão para um compute: NO PERMISSIONS, CAN ATTACH TO, CAN RESTART, e CAN MANAGE. A tabela lista as habilidades de cada permissão.

Importante

Os usuários com permissões CAN ATTACH TO podem view o serviço account key no arquivo log4j. Tenha cuidado ao conceder esse nível de permissão.

Função	Can Attach To (Pode anexar a)	Can Restart (Pode reiniciar)	Can Manage (Pode gerenciar)
Acesse Notebook para compute	x	x	x
Ver interface do usuário do Spark	x	x	x
view compute métricas	x	x	x
Exibir logs dos drivers			x (ver nota)
Encerrar compute		x	x
começar e reiniciar compute		x	x
Editar compute			x
Anexar a biblioteca ao compute			x
Redimensionar compute			x
Modificar permissões			x

workspace Os administradores têm a permissão CAN MANAGE em todos os compute em seus workspace. Os usuários têm automaticamente a permissão CAN MANAGE no site compute que criam.

Observação

Os segredos não são redigidos nos registros do Spark driver de um cluster stdout e stderr transmissão. Para proteger dados confidenciais, em default, os logs de driver do Spark podem ser visualizados apenas por usuários com permissão CAN MANAGE em Job, modo de acesso de usuário único e clusters de modo de acesso compartilhado. Para permitir que os usuários com permissão CAN ATTACH TO ou CAN RESTART acessem view os logs nesses clusters, defina a seguinte propriedade de configuração do Spark na configuração dos clusters: spark.databricks.acl.needAdminPermissionToViewLogs false.

Em clusters de modo de acesso compartilhado sem isolamento, os registros do driver do Spark podem ser visualizados por usuários com permissão CAN ATTACH TO ou CAN MANAGE. Para limitar quem pode ler os logs apenas aos usuários com a permissão CAN MANAGE, defina spark.databricks.acl.needAdminPermissionToViewLogs como true.

Consulte Configuração do Spark para saber como adicionar propriedades do Spark a uma configuração de clusters.

Configurar permissões de computação

Esta seção descreve como gerenciar as permissões usando a interface do usuário workspace. O senhor também pode usar a API de permissões ou o provedor Terraform da Databricks.

O senhor deve ter a permissão CAN MANAGE em um compute para configurar as permissões do compute.

Na barra lateral, clique em Calcular.
Na linha do site compute, clique no menu kebab à direita e selecione Edit permissions (Editar permissões).
Em Permission Settings (Configurações de permissão), clique no menu suspenso Select user, group or service principal... (Selecionar usuário, grupo ou entidade de serviço...) e selecione um usuário, grupo ou entidade de serviço.
Selecione uma permissão no menu suspenso de permissões.
Clique em Add e em Save.

Encerrar uma computação

Para economizar compute recurso, o senhor pode encerrar um compute. A configuração do site computeencerrado é armazenada para que possa ser reutilizada (ou, no caso do Job, iniciada automaticamente) posteriormente. O senhor pode encerrar manualmente um compute ou configurar o compute para encerrar automaticamente após um período específico de inatividade. Quando o número de compute encerrados exceder 150, o compute mais antigo será excluído.

A menos que o site compute seja fixado ou reiniciado, ele será automática e permanentemente excluído 30 dias após o encerramento.

O site compute encerrado aparece na lista compute com um círculo cinza à esquerda do nome compute.

Observação

Quando o senhor executa um Job em um novo Job compute (o que geralmente é recomendado), o compute é encerrado e fica indisponível para reinicialização quando o Job for concluído. Por outro lado, se o senhor programar um Job para execução em um compute multifuncional existente que tenha sido encerrado, esse compute será iniciado automaticamente.

Encerramento manual

O senhor pode encerrar manualmente um compute na lista compute (clicando no quadrado na linha do compute) ou na página de detalhes compute (clicando em Terminate).

Encerramento automático

O senhor também pode definir a terminação automática para um compute. Durante a criação do compute, o senhor pode especificar um período de inatividade em minutos após o qual deseja que o compute seja encerrado.

Se a diferença entre a hora atual e a última execução de comando no site compute for maior do que o período de inatividade especificado, o Databricks encerrará automaticamente esse site compute.

O site compute é considerado inativo quando todos os comandos no site compute, incluindo Spark Job, transmissão estruturada e chamadas JDBC, terminam de ser executados.

Aviso

compute não relatam atividades resultantes do uso da DStreams. Isso significa que um site de encerramento automático compute pode ser encerrado enquanto estiver executando DStreams. Desative a terminação automática para compute executando DStreams ou considere o uso de transmissão estruturada.
parado compute continuam a acumular cobranças de instância de DBU e nuvens durante o período de inatividade antes da rescisão.

Configurar rescisão automática

O senhor pode configurar o encerramento automático na nova UI compute. Certifique-se de que a caixa esteja marcada e digite o número de minutos na configuração Terminate after ___ of minutes of inactivity (Encerrar após ___ minutos de inatividade ).

Você pode desativar o encerramento automático desmarcando a caixa de seleção Rescisão automática ou especificando um período de inatividade de 0.

Observação

A terminação automática tem melhor suporte nas versões mais recentes do Spark. As versões mais antigas do Spark têm limitações conhecidas que podem resultar em relatórios imprecisos da atividade do compute. Por exemplo, o site compute que executa JDBC, R ou transmissão comando pode informar um tempo de atividade obsoleto que leva ao encerramento prematuro do site compute. Atualize para a versão mais recente do Spark para se beneficiar das correções de bugs e melhorias no encerramento automático.

Excluir uma computação

A exclusão de um compute encerra o compute e remove sua configuração. Para excluir um compute, selecione Delete no menu compute's .

Aviso

Não é possível desfazer esta ação.

Para excluir um pin compute, ele deve primeiro ser retirado do pin por um administrador.

O senhor também pode invocar a API de Clusters endpoint para excluir um compute programaticamente.

Reiniciar uma computação

O senhor pode reiniciar um compute previamente encerrado na lista compute, na página de detalhes compute ou em um Notebook. O senhor também pode invocar a API de Clusters endpoint para começar a compute programaticamente.

O Databricks identifica um compute usando seu ID de cluster exclusivo. Quando o senhor começa um compute encerrado, a Databricks recria o compute com o mesmo ID, instala automaticamente todas as bibliotecas e anexa novamente o Notebook.

Reiniciar um computador para atualizá-lo com as imagens mais recentes

Quando o senhor reinicia um compute, ele obtém as imagens mais recentes para os contêineres de recurso compute e os hosts de VM. É importante programar reinicializações regulares para compute de longa duração, como as usadas para processar dados de transmissão.

É sua responsabilidade reiniciar todos os recursos de computação regularmente para manter a imagem atualizada com a versão mais recente da imagem.

Notebook exemplo: Localizar computação de longa duração

Se o senhor for administrador de um workspace, poderá executar um script que determina há quanto tempo cada um dos seus compute está em execução e, opcionalmente, reiniciá-los se forem mais antigos do que um número especificado de dias. A Databricks fornece esse script como um Notebook.

As primeiras linhas do script definem os parâmetros de configuração:

min_age_output: O número máximo de dias que um compute pode executar. default é 1.
perform_restart: Se True, o script reinicia qualquer compute com idade maior que o número de dias especificado por min_age_output. O default é False, que identifica o compute de longa duração, mas não o reinicia.
secret_configuration: substitua REPLACE_WITH_SCOPE e REPLACE_WITH_KEY por um escopo secreto e nome de chave. Para obter mais detalhes sobre como configurar os segredos, consulte o notebook.

Aviso

Se o senhor definir perform_restart como True, o script reiniciará automaticamente o compute elegível, o que pode causar falha no trabalho ativo e Reset abrir o Notebook. Para reduzir o risco de interromper o trabalho essencial para os negócios do seu workspace, planeje uma janela de manutenção programada e certifique-se de notificar os usuários do workspace.

Identificar e, opcionalmente, reiniciar a computação de longa duração

Abra o bloco de anotações em outra guia

Computar o início automático para consultas Job e JDBC/ODBC

Quando um Job atribuído a um compute encerrado é programado para execução ou o senhor se conecta a um compute encerrado a partir de uma interface JDBC/ODBC, o compute é reiniciado automaticamente. Consulte Criar um Job e conectar-se ao JDBC.

compute O autostart permite que o senhor configure o compute para encerrar automaticamente, sem necessidade de intervenção manual para reiniciar o compute para o trabalho agendado. Além disso, o senhor pode programar a inicialização do compute agendando um Job para execução em um compute encerrado.

Antes que o site compute seja reiniciado automaticamente, compute e Job as permissões de controle de acesso sejam verificadas.

Observação

Se o seu compute foi criado na plataforma Databricks versão 2.70 ou anterior, não há início automático: O trabalho programado para ser executado no site compute falhará.

Exibir informações de computação na UI do Apache Spark

O senhor pode view obter informações detalhadas sobre o Spark Job selecionando o Spark UI tab na página de detalhes compute.

Se o senhor reiniciar um compute encerrado, o Spark UI exibirá as informações do compute reiniciado e não as informações históricas do compute encerrado.

Consulte Diagnosticar problemas de custo e desempenho usando o site Spark UI para obter informações sobre como diagnosticar problemas de custo e desempenho usando o site Spark UI.

Exibir registros de computação

O Databricks oferece três tipos de registro de atividades relacionadas ao compute:

compute evento logs, que captura eventos do ciclo de vida compute como criação, encerramento e edições de configuração.
Driver Apache Spark e log de trabalho, que você pode usar para depuração.
compute logs do script de inicialização, que são valiosos para o script de inicialização da depuração.

Esta seção aborda os logs de eventos compute e os logs de driver e worker. Para obter detalhes sobre os registros de script de inicialização, consulte init script logging.

Computar logs de eventos

Os logs de eventos do compute exibem eventos importantes do ciclo de vida do compute que são acionados manualmente por ações do usuário ou automaticamente pelo Databricks. Esses eventos afetam as operações de um compute como um todo e o trabalho em execução no compute.

Para obter os tipos de eventos compatíveis, consulte a estrutura de dados da API Clusters.

Os eventos são armazenados por 60 dias, o que é comparável a outros tempos de retenção de dados no Databricks.

Visualizar os registros de eventos do site compute

Para view os registros de eventos do compute, selecione Event logs tab nas páginas de detalhes compute.

Para obter mais informações sobre um evento, clique em sua linha nos logs e, em seguida, clique na JSON tab para obter detalhes.

Computar os registros do driver e do trabalhador

As declarações de impressão direta e de registros do Notebook, do Job e da biblioteca vão para o driver do Spark logs. O senhor pode acessar esses arquivos de registro no Driver logs tab na página de detalhes compute. Clique no nome de um arquivo de registros para fazer o download.

Esses logs têm três saídas:

Saída padrão
Erro padrão
Registros Log4j

Para view os registros de trabalho do Spark, use a IU do Spark tab. O senhor também pode configurar um local de entrega de registros para o site compute. Os registros worker e compute são entregues no local que o senhor especificar.

Monitore o desempenho

O senhor também pode instalar agentes do Datadog em nós compute para enviar métricas do Datadog para o seu Datadog account.

Exemplo Notebook : métricas Datadog

O senhor pode instalar agentes do Datadog em nós compute para enviar métricas do Datadog para o seu Datadog account. O seguinte Notebook demonstra como instalar um agente Datadog em um compute usando um compute-scoped init script.

Para instalar o agente Datadog em todos os sites compute, gerencie o compute-scoped init script usando uma política compute.

Instale init script do agente Datadog Notebook

Abra o bloco de anotações em outra guia