Google
Cloud Platform
Amazon Web Services
Microsoft AzureO que está por vir?
Saiba mais sobre os próximos lançamentos do Databricks.
Mudança de comportamento para trabalhar com tipos de dados variantes
A Databricks está bloqueando o suporte ao uso de campos com o tipo de dados variante em comparações realizadas como parte dos seguintes operadores e cláusulas:
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
O mesmo se aplica a essas funções DataFrame:
df.dropDuplicates()df.repartition()A Databricks não oferece suporte a esses operadores e funções para comparações de tipos de dados variantes porque eles produzem resultados não determinísticos.
Essas expressões serão bloqueadas ao usar a variante em Databricks Runtime 16.1 e acima. As versões de manutenção bloquearão o suporte em Databricks Runtime 15.3 e acima.
Se o senhor usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Databricks, execute as seguintes ações recomendadas:
Encontre as consultas que usam variantes com qualquer um dos operadores listados.
Atualize essas consultas usando padrões recomendados que convertem explicitamente valores de variantes em tipos não variantes.
A tabela a seguir fornece exemplos de funcionalidades não intencionais existentes e soluções alternativas recomendadas:
Uso não intencional |
Uso recomendado |
|---|---|
|
|
|
|
Observação
Para todos os campos que o senhor planeja usar para operações de comparação ou distintas, a Databricks recomenda extrair esses campos da coluna de variantes e armazená-los usando tipos não variantes.
Consulte Dados da variante de consulta. Entre em contato com o representante do Databricks account se precisar de apoio ou orientação adicional.
Atualização da interface de usuário do Databricks Marketplace e do Partner Connect
Estamos simplificando a barra lateral com a fusão de Partner Connect e o marketplace em um único link do marketplace. O novo link do marketplace estará na parte superior da barra lateral.
ipynb O Notebook se tornará o formato default Notebook para Databricks em dezembro de 2024
Atualmente, o site Databricks cria todos os novos Notebooks no "formato de origemDatabricks " por meio do site default. Em dezembro de 2024, o novo formato do default Notebook será ipynb (.ipynb). Esse novo default pode ser alterado pelo usuário no painel workspace user Settings se ele preferir o formato de origem Databricks.
Os arquivos do espaço de trabalho serão ativados para todos os espaços de trabalho do Databricks em 1º de fevereiro de 2025
Databricks habilitará os arquivos workspace para todos os espaços de trabalho Databricks em 1º de fevereiro de 2025. Essa alteração desbloqueia os usuários do site workspace de usar o novo recurso de arquivo workspace. Depois de 1º de fevereiro de 2025, o senhor não poderá desativar os arquivos de espaço de trabalho usando a propriedade enableWorkspaceFilesystem com a API REST do Databricks PATCH workspace-conf/setstatus. Para obter mais detalhes sobre os arquivos workspace, consulte O que são arquivos workspace?
Alterações no suporte à versão antiga do painel
Databricks recomenda o uso do AI/BI dashboards (anteriormente Lakeview dashboards). As versões anteriores dos painéis, anteriormente chamadas de Databricks SQL dashboards, agora são chamadas de legacy dashboards. A Databricks não recomenda a criação de novos painéis legados. AI/BI Os painéis oferecem recursos aprimorados em comparação com a versão anterior, incluindo a criação assistida pelo site AI, modos de rascunho e publicação e filtragem cruzada.
Cronograma de fim do suporte para painéis antigos
7 de abril de 2025: o suporte oficial para a versão antiga dos painéis será encerrado. Somente problemas críticos de segurança e interrupções de serviço serão abordados.
3 de novembro de 2025: A Databricks começará a arquivar painéis legados que não foram acessados nos últimos seis meses. Os painéis arquivados não estarão mais acessíveis e o processo de arquivamento ocorrerá de forma contínua. O acesso aos painéis usados ativamente permanecerá inalterado.
A Databricks trabalhará com os clientes para desenvolver planos de migração para painéis legados ativos após 3 de novembro de 2025.
Para ajudar na transição para os painéis AI/BI, as ferramentas de atualização estão disponíveis tanto na interface do usuário quanto no API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do usuário, consulte Clonar um painel legado para um AI/BI dashboard. Para obter um tutorial sobre como criar e gerenciar painéis usando o REST API em Use Databricks APIs para gerenciar painéis.
O campo sourceIpAddress nos registros de auditoria não incluirá mais um número de porta
Devido a um bug, algumas auditorias de autorização e autenticação logs incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante da auditoria Databricks logs. Para melhorar a consistência da auditoria logs, Databricks planeja alterar o formato do endereço IP para esses eventos de auditoria log. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.
Se a auditoria log contiver um sourceIpAddress de 0.0.0.0, Databricks poderá parar de registrar.
A integração legada do Git termina em 31 de janeiro
Após 31 de janeiro de 2024, o site Databricks removerá as integrações legadas do site Notebook Git . Esse recurso está no status de legado há mais de dois anos, e um aviso de descontinuidade é exibido na interface do usuário do produto desde novembro de 2023.
Para obter detalhes sobre a migração para as pastas do Databricks Git (anteriormente Repos) a partir da integração do Git legado, consulte Mudança para o Databricks Repos a partir da integração do Git legado. Se essa remoção afetar o senhor e precisar de uma extensão, entre em contato com a equipe Databricks account .
O envio de tíquetes de suporte externo será descontinuado em breve
Databricks está fazendo a transição da experiência de envio de tíquetes de suporte de help.databricks.com para o menu de ajuda no site Databricks workspace. O envio de tíquetes de suporte via help.databricks.com será descontinuado em breve. O senhor continuará acessando view e fazendo a triagem de seus tíquetes em help.databricks.com.
A experiência no produto, que está disponível se a sua organização tiver um contrato de suporte do Databricks, integra-se ao Databricks Assistant para ajudar a resolver os seus problemas rapidamente, sem ter de submeter um bilhete.
Para acessar a experiência in-produto, clique no ícone do usuário na barra superior do site workspace e, em seguida, clique em Contact Support ou digite "I need help" (Preciso de ajuda) no assistente.
O modal Contate o suporte é aberto.
Se a experiência do produto falhar, envie solicitações de suporte com informações detalhadas sobre o seu problema para ajudar@databricks.com. Para obter mais informações, consulte Obter ajuda.
JDK8 e JDK11 não serão suportados
O Databricks planeja remover o suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. A Databricks planeja remover o suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.
Ativação automática do Unity Catalog para novos espaços de trabalho
Databricks começou a ativar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores do account configurarem o Unity Catalog depois que um workspace é criado. A implantação está ocorrendo gradualmente em toda a conta.
atualização sqlite-jdbc
O Databricks Runtime planeja atualizar a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a 3.8.11.2. Confirme que seus métodos e tipo de retorno utilizem a versão 3.42.0.0.
Se você estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.