Databricks SQL notas sobre a versão

Este artigo lista os novos recursos e melhorias do Databricks SQL, juntamente com problemas conhecidos e perguntas frequentes.

processo de lançamento

A Databricks lança atualizações para a interface de usuário do aplicativo da Web Databricks SQL de forma contínua, com todos os usuários recebendo as mesmas atualizações em um curto período de tempo.

Além disso, o Databricks normalmente lança novas versões compute do SQL warehouse regularmente. Dois canais estão sempre disponíveis: Visualização e Atual.

Observação

Os lançamentos são encenados. Sua account do Databricks pode não ser atualizada com uma nova versão SQL warehouse ou recurso Databricks SQL até uma semana ou mais após a data de lançamento inicial.

canal

O canal permite que o senhor escolha entre a versão atual do SQL warehouse compute ou a versão Preview. As versões de visualização permitem que o senhor teste a funcionalidade antes que ela se torne o padrão Databricks SQL. Aproveite as versões de visualização para testar suas consultas e painéis de produção em relação às próximas alterações.

Normalmente, uma versão de visualização é promovida para o canal atual aproximadamente duas semanas após ser lançada no canal de visualização. Alguns recursos, como recursos de segurança, atualizações de manutenção e correções de bugs, podem ser lançados diretamente no canal atual. De vez em quando, Databricks pode promover uma versão de visualização para o canal atual em um programar diferente. Cada nova versão será anunciada nas seções a seguir.

Para saber como mudar um SQL warehouse existente para o canal de visualização, consulte Preview Channels (Canais de visualização). Os recursos listados nas seções de atualizações da interface do usuário são independentes das versões do SQL warehouse compute descritas na seção de canais das notas sobre a versão.

Versões disponíveis do Databricks SQL

Canal atual: Databricks SQL versão 2024.50

Canal de visualização: Databricks SQL versão 2024.50

• Ver recurso em 2024.50.

13 de fevereiro de 2025

Os seguintes recursos e atualizações foram divulgados na semana de 13 de fevereiro de 2025.

Atualizações da interface do usuário

descobrimento de dados

• Visualizar metadados de Unity Catalog: Visualize os metadados do ativo Unity Catalog passando o mouse sobre um ativo no navegador de esquemas. Esse recurso está disponível no Catalog Explorer e em outras interfaces em que o senhor usa o schema browser, como os painéis AI/BI e o editor SQL.

  

• Filtro para encontrar dados ativos que o senhor pode consultar As configurações de filtro no navegador de esquema do Catalog Explorer agora incluem uma caixa de seleção Pode consultar. A seleção dessa opção exclui objetos que o senhor pode acessar view, mas não consultar.

  

30 de janeiro de 2025

Os seguintes recursos e atualizações foram divulgados na semana de 30 de janeiro de 2025.

Atualizações da interface do usuário

Armazém SQL

Um gráfico de contagem de consultas concluídas (visualização pública) agora está disponível na interface de monitoramento do SQL warehouse. Esse novo gráfico mostra o número de consultas concluídas em uma janela de tempo, incluindo consultas canceladas e com falha. O gráfico pode ser usado com os outros gráficos e com a tabela Query History (Histórico de consultas) para avaliar e solucionar problemas de desempenho do depósito. A consulta é alocada na janela de tempo em que é concluída. As contagens são calculadas em média por minuto. Para obter mais informações, consulte Monitor a SQL warehouse.

Editor de SQL

• Exibição ampliada de dados em gráficos: As visualizações criadas no editor SQL agora suportam até 15.000 linhas de dados.

23 de janeiro de 2025

Os seguintes recursos e atualizações foram divulgados na semana de 23 de janeiro de 2025.

Mudanças em 2024.50

Databricks SQL A versão 2024.50 inclui as seguintes alterações de comportamento, novos recursos e aprimoramentos.

Mudanças comportamentais

• O tipo de dados VARIANT não pode mais ser usado com operações que exigem comparações

Você não pode usar as cláusulas ou operadores a seguir em consultas que incluem um tipo de dados VARIANT:

• DISTINCT

• INTERSECT

• EXCEPT

• UNION

• DISTRIBUTE BY

Essas operações realizam comparações, e as comparações que usam o tipo de dados VARIANT produzem resultados indefinidos e não são compatíveis com o Databricks. Se o senhor usar o tipo VARIANT em suas cargas de trabalho ou tabelas da Databricks, a Databricks recomenda as seguintes alterações:

• Atualize consultas ou expressões para converter explicitamente valores VARIANT em tipos de dados que não sejamVARIANT.

• Se o senhor tiver campos que devam ser usados com qualquer uma das operações acima, extraia esses campos do tipo de dados VARIANT e armazene-os usando tipos de dados nãoVARIANT.

Para saber mais, consulte Consultar dados de variantes.

Novos recursos e melhorias

• Suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER

A cláusula IDENTIFIER é compatível com o comando USE CATALOG. Com esse suporte, o senhor pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.

• COMMENT ON COLUMN suporte para tabelas e visualizações

A declaração COMMENT ON suporta a alteração de comentários para view e colunas de tabela.

• Novas funções SQL

As seguintes novas funções integradas do SQL estão disponíveis:

• dayname (expr) retorna a sigla em inglês de três letras para o dia da semana para a data especificada.

• uniform (expr1, expr2 [, seed]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo de números especificado.

• randstr(length) retorna uma cadeia aleatória de length caracteres alfanuméricos.

• Invocação de parâmetros nomeados para mais funções

As funções a seguir oferecem suporte à invocação de parâmetros nomeados:

• variante_explode

• variante_explode_outer

• na linha

• exterior_embutido

• pose explodir

• posexplode_outer

Correções de bugs

• Os tipos aninhados agora aceitam adequadamente as restrições NULL

Esta versão corrige um bug que afeta algumas colunas geradas pelo Delta de tipos aninhados, por exemplo, STRUCT. Às vezes, essas colunas rejeitavam incorretamente expressões com base nas restrições NULL ou NOT NULL dos campos aninhados. Isso foi corrigido.

15 de janeiro de 2025

As atualizações a seguir foram lançadas durante a semana de 15 de janeiro de 2025.

Atualizações da interface do usuário

Editor de SQL

O novo editor SQL (Public Preview) agora tem o seguinte recurso:

• Nomeação de downloads: as saídas de downloads agora são nomeadas após a consulta.

• Ajustes do tamanho da fonte: Ajuste rapidamente o tamanho da fonte no editor SQL usando Alt + e Alt - para Windows/Linux, ou Opt + e Opt - para macOS.

• @Mentions nos comentários: mencione usuários específicos com @ nos comentários. Os usuários mencionados receberão notificações em email.

• Melhoria na troca de tab: o desempenho da troca de guias é até 80% mais rápido para guias carregadas e 62% mais rápido para guias descarregadas.

• Veja os detalhes do depósito: o tamanho do depósito SQL agora está visível no seletor compute sem necessidade de cliques adicionais.

• Editar valores de parâmetros: Use Ctrl + Enter para Windows/Linux, ou Cmd + Enter para macOS, para executar uma consulta enquanto edita um valor de parâmetro.

• Manter os resultados da consulta no histórico da versão: Os resultados da consulta agora são armazenados com o histórico de versões.

Visualizações

• Os novos gráficos já estão disponíveis para todos: Novos gráficos com melhor desempenho, cores aprimoradas e interatividade mais rápida já estão disponíveis para todos os usuários. Consulte Visualização em Databricks SQL e Tipos de visualização.

Problemas conhecidos

• As leituras da fonte de dados que não sejam Delta Lake no SQL endpoint com balanceamento de carga de vários clusters podem ser inconsistentes.

• As tabelas Delta acessadas no Databricks SQL upload seu esquema e as propriedades da tabela para o metastore configurado. Se você estiver usando um metastore externo, poderá ver as informações do Delta Lake no metastore. Delta Lake tenta manter esta informação o mais atualizada possível com base no melhor esforço. Você também pode usar o comando DESCRIBE <table> para garantir que as informações sejam atualizadas em seu metastore.

• Databricks SQL não oferece suporte a deslocamentos de zona como 'GMT+8' como fusos horários de sessão. A solução alternativa é usar um fuso horário baseado na região https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) como 'Etc/GMT+8'. Consulte DEFINIR FUSO HORÁRIO para obter mais informações sobre como definir fusos horários.

Perguntas frequentes (FAQ)

Use a lista a seguir para saber as respostas para perguntas comuns.

Como as cargas de trabalho do Databricks SQL são cobradas?

As cargas de trabalho Databricks SQL são cobradas de acordo com o SKU compute de trabalhos Premium.

Onde o senhor pode acessar o site SQL warehouse execution?

O warehouse clássico e o pro SQL são criados e gerenciados em seu Google Cloud account. SQL warehouse gerenciar SQL- clustering otimizado automaticamente em seu account e escala para atender à demanda do usuário final.

O armazém sem servidor SQL , por outro lado, usa compute recurso em seu Databricks account. serverless SQL warehouse simplificam a configuração e o uso do SQL warehouse e aceleram o tempo de lançamento. A opção serverless está disponível somente se tiver sido ativada para o workspace. Para obter mais informações, consulte serverless compute plane.

Posso usar o armazém SQL de um Notebook no mesmo workspace?

Sim Para saber como anexar um Notebook a um SQL warehouse, consulte Use a Notebook with a SQL warehouse.

Foi-me concedido acesso à credencial de uso de dados de um provedor de nuvem. Por que não consigo acessar esses dados no Databricks SQL?

No Databricks SQL, todo o acesso aos dados está sujeito ao controle de acesso a dados, e um administrador ou proprietário de dados deve primeiro conceder a você os privilégios apropriados.