Databricks SQL notas sobre a versão 2023

A seguir, o senhor descreve as melhorias e atualizações no Databricks SQL de janeiro a dezembro de 2023.

21 de dezembro de 2023

  • Para novos gráficos, os gráficos do tipo mapa de calor respeitam a configuração reverseY.

  • Foi corrigido um problema de desempenho de renderização para o Notebook com um grande número de visualizações.

7 de dezembro de 2023

Atualizações da interface do usuário

  • Foi corrigido o problema de formatação da visualização em que valores inteiros grandes eram exibidos erroneamente como flutuadores.

  • Foi corrigido um problema com os painéis Databricks SQL em que a exibição de gráficos expandidos às vezes mostrava gráficos em branco.

  • Os gráficos de barras com campos quantitativos nos eixos X e Y tornam o rótulo dos dados mais legível.

  • Foi corrigido o problema no SQL Editor para que as tabelas com a palavra stream no título não entrem mais em conflito com a palavra-chave reservada. Essas tabelas agora aparecem conforme o esperado no navegador de esquemas e não são destacadas por erros.

  • A página de histórico de consultas agora suporta o redimensionamento e a seleção de colunas.

  • A página de histórico de consultas oferece suporte a duas novas colunas: Fonte da consulta e Tipo de fonte da consulta.

  • As opções de BI, como Tableau e Power BI, são mais fáceis de encontrar no Catalog Explorer em páginas qualificadas.

30 de novembro de 2023

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do armazém SQL compute descritas acima.

  • Compatibilidade aprimorada do modo escuro para o rótulo em novos gráficos.

  • Os novos gráficos agora priorizam consistentemente a exibição do rótulo dentro das barras.

  • Foi corrigido um bug em que algumas ações do menu do botão direito do mouse não estavam funcionando no SQL Editor.

16 de novembro de 2023

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do armazém SQL compute descritas acima.

9 de novembro de 2023

Mudanças em 2023.50:

Destaques:

Atualizações da linguagem SQL: As seguintes funções internas foram adicionadas: - `from_xml`: Analisa um XML STRING em um STRUCT. - `schema_of_xml`: Deriva um esquema de um XML STRING. - `session_user`: Retorna o usuário de login. - `try_reflect`: Retorna NULL em vez da exceção se um método Java falhar.

As seguintes funções integradas foram aprimoradas:

  • invocação de função. Argumentos de tabela para funções suportam particionamento e ordenação: agora você pode usar as cláusulas PARTITION BY e ORDER BY para controlar como os argumentos da tabela são passados para uma função.

  • `mode`: Suporte para um parâmetro opcional que força um resultado determinístico.

  • `to_char`: Novo suporte para DATE, TIMESTAMP e BINARY.

  • `to_varchar`: Novo suporte para DATE, TIMESTAMP e BINARY.

  • `array_insert () ` é baseada em 1 para índices negativos: A função array_insert é baseada em 1 para índices positivos e negativos. Agora, ele insere um novo elemento no final das matrizes de entrada para o índice -1.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do SQL warehouse compute descritas acima.

Visualizações:

  • As dicas de ferramentas para novos gráficos mostram somente itens com o mouse sobre gráficos de alta cardinalidade.

  • Novos gráficos alinham automaticamente os gráficos de eixo duplo em zero.

  • Os gráficos mudaram a direção do ângulo de rotação do rótulo e do texto do eixo de -90 para 90 graus.

  • Os gráficos agora usam a largura do rótulo para decidir a rotação.

Editor SQL: O autocompletar agora é menos agressivo e é descartado automaticamente no final das instruções

2 de novembro de 2023

26 de outubro de 2023

Alterações no Databricks SQL versão 2023.45

Destaques:

Otimizações de consulta:

  • Removido o join externo se todas forem funções agregadas distintas. SPARK-42583

  • Otimizou a ordem dos predicados de filtragem. SPARK-40045

Atualizações de funções SQL:

  • Foi adicionado suporte para resolução implícita de alias de coluna lateral em Aggregate. SPARK-41631

  • Suporte para alias implícitos de coluna lateral em consultas com o Window. SPARK-42217

  • Suporte para Datasketches HLLSketch. Veja a função agregada hll_sketch_agg.

  • Foi adicionada a função try_aes_decrypt(). Veja a função try_aes_decrypt.

  • Suporte para o modo CBC para aes_encrypt() e aes_decrypt(). Veja a função aes_decrypt.

  • Adicione os aliases de função de 3 argumentos DATE_ADD e DATE_DIFF.

  • Foi adicionado suporte para aes_encrypt IVs e AAD. SPARK-43290

  • Implemente funções de bitmap. SPARK-44154

  • Foi adicionado o alias to_varchar para to_char. Veja a função to_varchar.

  • Adicionado suporte array_compact. Veja a função array_compact.

  • Suporte para udf luhn_check. Veja a função luhn_check.

  • Adicionado suporte ao analisador de argumentos nomeados para funções integradas. SPARK-44059

  • Suporte para a regra de análise de argumentos TABLE para TableValuedFunction. SPARK-44200

  • array_insert agora falha com o índice 0. SPARK-43011

  • Foram adicionados valores NULL para INSERT com listas especificadas pelo usuário com menos colunas do que a tabela de destino. SPARK-42521

  • DECODE função retorna resultados errados quando passada em NULL. SPARK-41668

Atualizações da interface do usuário

Melhorias:

  • Os períodos nos nomes dos campos de dados não resultam mais em gráficos em branco.

  • O navegador de esquema legado agora funciona com o Unity Catalog.

  • Implementamos melhorias de desempenho para carregar apenas o site tab ativo no SQL Editor, diminuindo o tempo de carregamento inicial em até 20%.

  • AI-Os comentários de tabela gerados no Catalog Explorer agora estão disponíveis de forma geral.

Correções:

  • As barras nos gráficos de barras temporais agora estão centralizadas sobre a marca de data.

  • O padrão de rótulo de dados com expressões agregadas agora usa os formatadores numéricos adequados.

  • O zoom em novos gráficos agora funciona com uma escala definida como categórica usando dados temporais.

19 de outubro de 2023

Melhorias:

  • Arrastar e soltar no navegador de esquemas agora está disponível.

Correções:

  • As instruções da dica de ferramenta de seleção de legenda especificam que os usuários de Mac usam cmd e os usuários de Windows usam ctrl.

  • Gráficos com dados truncados exibem cores consistentes, conforme visto no editor.

12 de outubro de 2023

Melhorias:

  • Os novos gráficos suportam rótulo de dados @@name em gráficos de dispersão.

  • Formatos de porcentagem personalizados se aplicam às dicas de ferramentas de gráficos agrupados em novos gráficos.

  • A interface do usuário da extensão de vinculação do espaço de trabalho é GA.

  • A linhagem é GA.

Correções:

  • Melhoria na renderização do rótulo em novos gráficos para evitar que o rótulo se espalhe para fora dos limites do gráfico.

  • Aumentou o contraste das linhas de marcação e grade em novos gráficos para melhorar a visibilidade.

  • Aumento do espaçamento do rótulo do eixo para melhorar a legibilidade em novos gráficos.

5 de outubro de 2023

Melhorias:

  • Passar o mouse sobre uma série em um gráfico agora escurece a série circundante na dica de ferramenta para melhorar a legibilidade em novos gráficos.

  • Novos gráficos usando valores percentuais agora exibem dicas de ferramentas com valores absolutos.

  • Foi adicionado suporte de preenchimento automático para criar volumes.

  • O fechamento de um site não ativo tab não muda mais de guia.

  • A execução selecionada indica claramente quando o texto é destacado.

Correções:

  • Redação aprimorada das mensagens de erro nas tabelas dinâmicas quando os dados são truncados.

  • Foi corrigido um erro de renderização nas tabelas dinâmicas em que as cores não eram exibidas ao usar os tipos de dados BigInt.

  • Ao fazer download de PNGs em novos gráficos com vários itens de legenda, foi removido o símbolo de cor para entradas de legenda de estouro.

  • As linhas em novos gráficos manterão uma espessura consistente mesmo no limite superior do site view.

  • Delta Live Tables são detectados corretamente pelo analisador SQL e não serão exibidos como tabelas inválidas no Schema Browser.

  • As dicas de ferramentas foram adicionadas à barra lateral.

28 de setembro de 2023

Melhorias:

  • Delta O aprimoramento das tabelas de histórico no Catalog Explorer inclui a adição de filtros para intervalo de datas, usuário e tipo de operações, bem como colunas classificáveis e links em linha para Jobs e Notebook associados.

  • Suporte ao modo escuro adicionado em legendas, dicas de ferramentas e visualização de tabelas.

21 de setembro de 2023

Melhorias:

  • O desempenho da renderização da tabela dinâmica foi aprimorado.

  • Novo padrão DuBois para exibição tabular de linhagem na interface do usuário.

14 de setembro de 2023

Melhoria:

7 de setembro de 2023

Databricks SQL versão 2023.40 disponível

Programa de lançamento

  • Lançamento da versão prévia para 2023.40: Entre 5 de setembro de 2023 e 11 de setembro de 2023

  • Lançamento atual para 2023.40: Entre 18 de setembro de 2023 e 25 de setembro de 2023

Mudanças em 2023.40:

  • As tags agora estão disponíveis no Unity Catalog.

  • O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento e a invocação da consulta.

  • Suporte ao driver ODBC/JDBC da Databricks.

  • Ativar o rótulo da coluna de séries temporais.

  • Novas funções SQL de bitmap.

  • Funções de criptografia aprimoradas.

  • Suporte do Unity Catalog para REFRESH FOREIGN.

  • INSERT BY NAME agora é suportado.

  • Compartilhar a visualização materializada com Delta Sharing.

Atualizações da interface do usuário

Melhorias:

  • Novos gráficos já estão disponíveis, com desempenho de renderização mais rápido, cores bonitas e interatividade aprimorada. Consulte Novas visualizações de gráficos no Databricks.

  • No gráfico view do Query Profile, agora o senhor pode view o tipo de união em qualquer nó que contenha um join no plano de consulta.

  • O Data Explorer foi renomeado para Catalog Explorer para reconhecer o fato de que o senhor pode usá-lo para trabalhar com todos os objetos seguros no Unity Catalog, não apenas com objetos de dados. Consulte O que é o Catalog Explorer?.

31 de agosto de 2023

Novo recurso:

24 de agosto de 2023

Melhoria:

  • O preenchimento automático para de sugerir recomendações depois que você pressiona a barra de espaço.

  • O Schema Browser não vê mais live Delta Live Tables como tabelas quebradas.

16 de agosto de 2023

Melhoria:

  • O catálogo dropdown no editor SQL agora fecha quando o senhor muda de guia. Anteriormente, quando o senhor mudava de guia, o site dropdown permanecia aberto.

10 de agosto de 2023

Melhoria:

  • O Autocomplete agora suporta a nova sintaxe para definir as tags do Unity Catalog. Para obter informações sobre comando, consulte SQL language reference.

3 de agosto de 2023

Melhorias:

  • O Monaco Editor subjacente agora usa a versão 37.1.

  • Suporte ao autocompletar para SHOW ARCHIVED FILES FOR Delta comando.

27 de julho de 2023

Melhorias:

  • O editor SQL agora é compatível com os caracteres de nova linha do Windows, garantindo que a formatação da consulta funcione como esperado em todos os casos.

  • O senhor pode abrir a navegação do perfil de consulta a partir dos resultados do Notebook. Para consultas, execute sua consulta com SQL warehouse.

20 de julho de 2023

Databricks SQL versão 2023.35 disponível

Programa de lançamento

  • Lançamento da versão prévia para 2023.35: Entre 18 de julho de 2023 e 24 de julho de 2023

  • Lançamento atual para 2023.35: Entre 31 de julho de 2023 e 8 de agosto de 2023

Mudanças em 2023.35:

  • Confiabilidade aprimorada para VACUUM com clone raso no Unity Catalog.

  • Suporte para UDFs do Python no SQL.

  • O Delta Lake UniForm para Iceberg está em visualização pública.

  • Delta Lake O líquido clustering está em Public Preview.

  • Suporte de arquivo para o Delta Lake.

  • Suporte à cláusula IDENTIFIER.

  • Suporte do Unity Catalog para funções definidas pelo usuário (UDFs) Python e Pandas.

Melhoria:

  • A popularidade da tabela no Catalog Explorer está disponível para todos os usuários do Unity Catalog.

13 de julho de 2023

Melhoria:

  • Unity Catalog os usuários podem agora view percepções adicionais da tabela no Catalog Explorer, como tabelas frequentemente unidas, usuários frequentes de uma determinada tabela e Notebook e dashboards frequentemente usados.

22 de junho de 2023

15 de junho de 2023

Novo recurso:

  • SQL tarefa in Jobs já estão disponíveis de forma geral. O senhor pode orquestrar consultas, painéis e alertas na página Jobs. Consulte SQL tarefa for Job.

  • Um novo navegador de esquemas está agora em Public Preview, com uma experiência de usuário atualizada, um For You tab e filtros aprimorados. O schema browser está disponível em Databricks SQL, Catalog Explorer e Notebook. Consulte Pesquisar dados.

8 de junho de 2023

DBSQL versão 2023.30 disponível

Mudanças em 2023.30

  • Novas funções SQL integradas, como array_prepend(array, elem), try_aes_decrypt(expr, key [, mode [, padding]]) e sql_keywords() .

  • Agora, o senhor pode usar o shallow clone para criar novas tabelas gerenciar Unity Catalog a partir de tabelas gerenciar Unity Catalog existentes. Consulte Shallow clone para tabelas do Unity Catalog.

  • Agora o senhor pode usar CLONE e CONVERT TO DELTA com tabelas Iceberg que têm partições definidas em colunas truncadas dos tipos int, long e string. Colunas truncadas do tipo decimal não são suportadas.

  • START VERSION agora está obsoleto para ALTER SHARE.

Atualizações da interface do usuário

Correção:

  • Agora, a visualização de contadores é compatível com formatação ao usar Big Integers.

1 de junho de 2023

Melhorias:

  • Os dados binários agora serão renderizados como strings hexadecimais ao usar o formato Arrow.

  • Na API de instruções SQL, o formato CSV agora é compatível com a disposição EXTERNAL_LINKS. Isso permite que os clientes extraiam até 100 GiB de dados no formato CSV com URLs pré-assinados, enquanto o limite INLINE para JSON é de 16 MiB.

  • O Databricks SQL Pro está disponível em todas as regiões. SQL Pro agora é o armazém default na interface do usuário. O site API default ainda é clássico.

29 de maio de 2023

Novo recurso:

25 de maio de 2023

Melhorias:

  • Agora você pode alternar o painel de resultados do preenchimento automático.

  • Desative o enter key para que ele não aceite mais sugestões de preenchimento automático. Em Configurações do usuário do DBSQL, clique em Configurações do editor e, em seguida, em Configurações do novo editor. Desativar *Enter key aceita sugestões de autocompletar*.

Correções:

  • Os cabeçalhos das tabelas classificadas agora têm cores.

  • As linhas do gráfico agora são renderizadas corretamente.

18 de maio de 2023

Melhoria:

  • Na API de instruções SQL, a disposição EXTERNAL_LINKS agora suporta o formato JSON_ARRAY. O senhor pode extrair até 100 GiB de dados no formato JSON com URLs pré-assinados. O limite INLINE para JSON é de 16 MiB.

11 de maio de 2023

Novo recurso:

  • O Schema Browser agora está disponível ao público em geral no Catalog Explorer.

Melhorias:

  • A exibição do painel de detalhes da tabela ao passar o mouse é menos sensível.

  • O escape key agora fecha o painel de autocompletar.

  • As definições de visualização agora têm destaque de sintaxe nos detalhes do Catalog Explorer tab.

Correções:

  • As tabelas dinâmicas agora são renderizadas corretamente em dispositivos Windows.

  • As sugestões de conclusão agora seguem corretamente o caso da primeira palavra-chave.

4 de maio de 2023

Databricks SQL Versão 2023.26 disponível

Programa de lançamento

  • Lançamento da versão prévia para 2023.26: Entre 19 de abril de 2023 e 25 de abril de 2023

  • Lançamento atual para 2023.26: Entre 3 de maio de 2023 e 10 de maio de 2023

Mudanças em 2023.26

  • O Photon retorna um erro se um arquivo for modificado entre o planejamento e a execução da consulta.

  • Novo recurso e suporte estendido para o recurso Predictive I/O. Consulte Databricks Runtime 13.0 (EoS).

  • Use o conector Databricks para se conectar a outro Databricks workspace.

  • CREATE TABLE LIKE recurso para Delta tabelas.

  • Novos campos de coluna de metadados que indicam o início e o comprimento do bloco de arquivos.

  • Novas funções geoespaciais H3. Veja as funções geoespaciais H3.

  • Novas funções SQL integradas. Consulte Databricks Runtime 13.0 (EoS).

Atualizações da interface do usuário

Melhorias:

  • Os administradores podem alterar os proprietários do depósito usando a interface do usuário ou a API. Consulte gerenciar a SQL warehouse.

  • O Catalog Explorer agora exibe account entidade de serviço nas listas de usuários para ativo em Unity Catalog. Por exemplo, account entidade de serviço é visível ao editar privilégios ou alterar proprietários no Catalog Explorer.

  • O rótulo do gráfico personalizado suporta a capacidade de fazer referência a qualquer coluna no site dataset.

  • Os filtros do painel agora carregam nomes de colunas, mesmo quando usam consultas que não têm informações de catálogo ou esquema.

27 de abril de 2023

Melhorias:

  • O editor SQL agora conta com o editor Monaco para proporcionar uma experiência de edição mais confiável.

  • SQL A página de listagem da história (Consultas) agora inclui o Dubois Design System.

20 de abril de 2023

Melhorias:

  • Apresenta novas tabelas dinâmicas que permitem agregar mais de 64 mil resultados.

  • Databricks SQL As tabelas e visualizações agora suportam BigInt, decimais de 38 bits e caracteres não UTF-8. Para números, a configuração default agora é a precisão de dígitos definida pelo usuário.

  • O preenchimento automático agora sugere join anterior frequente para tabelas Unity Catalog , com tecnologia de dados de linhagem Unity Catalog no Databricks Runtime 12.0e acima.

13 de abril de 2023

Novo recurso:

  • O tipo TIMESTAMP_NTZ representa valores compostos pelos campos ano, mês, dia, hora, minuto e segundo. Todas as operações são realizadas independentemente do fuso horário. Consulte o tipo TIMESTAMP_NTZ.

Melhorias:

  • Os usuários agora podem enviar resultados formatados dentro do alerta usando a tag QUERY_RESULT_TABLE em uma mensagem personalizada do alerta.

  • Os usuários agora podem view o tamanho dos dados do arquivo para as tabelas Unity Catalog no Catalog Explorer.

6 de abril de 2023

Databricks SQL Versão 2023.20 disponível

Programa de lançamento

  • Lançamento da versão prévia para 2023.20: Entre 15 de março de 2023 e 23 de março de 2023

  • Lançamento atual para 2023.20: Entre 27 de março de 2023 e 3 de abril de 2023

Mudanças em 2023.20

  • Delta Lake A evolução do esquema suporta a especificação de colunas de origem nas declarações do site merge.

  • Remova todos os elementos NULL de uma matriz usando array_compact.

  • Para acrescentar elementos a uma matriz, use array_append.

  • Para tornar anônimos os valores de cadeias de caracteres confidenciais, use a função de máscara.

  • As condições de erro comuns agora retornam SQLSTATE.

  • Invoque funções geradoras de valores de tabela na cláusula FROM regular de uma consulta.

  • Use as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e de estrutura. Consulte Buffers de protocolo de leitura e gravação.

  • Melhoria da consistência do site Delta commit para transações vazias relacionadas ao comando update, delete e merge.

  • Mudança de comportamento

    • O recurso de alias de coluna lateral introduz mudanças de comportamento durante a resolução de nomes. Consulte Mudanças de comportamento.

Atualizações da interface do usuário

Melhorias:

  • O Catalog Explorer agora suporta Hive metastore delete.

  • A mensagem para o estado inicial do editor de visualização mudou de Colunas obrigatórias ausentes para Sem dados.

3 de abril de 2023

Novo recurso:

30 de março de 2023

Melhorias:

  • Na página de monitoramento do warehouse, agora o senhor pode acessar view o histórico da consulta para o intervalo de tempo selecionado junto com os gráficos de escala. O senhor também pode acessar view as consultas em execução e em fila, as sessões ativas do SQL, o status do depósito e a contagem atual de clustering. Consulte Monitorar um SQL warehouse.

  • O mapa clustering agora está desativado em default nos mapas de marcadores.

  • Dicas de ferramentas para truncamento de visualização e limites de renderização foram adicionadas.

Correções:

  • Os gráficos agora respeitam a ordem original quando a classificação está desativada para os valores dos eixos e o gráfico tem o grupo por coluna.

23 de março de 2023

Melhorias:

  • As visualizações agora permitem o agrupamento de tempo por semana.

  • Total agora calcula todos os dados além das células de 100 x 100 até 64 mil resultados nas tabelas dinâmicas do Notebook.

  • Os usuários agora podem formatar os valores das células na nova tabela dinâmica do Notebook.

  • Linhagem de arquivo, consulta e armazenamento de recurso estão disponíveis.

16 de março de 2023

Melhoria:

  • Suporte para a sintaxe GROUP BY ALL.

9 de março de 2023

Novo recurso:

  • O Databricks SQL Statement Execution API já está disponível em Public Preview. O Statement Execution fornece um ponto de extremidade que executa declarações do SQL em um depósito do Databricks SQL. Ele também pode verificar o status, buscar resultados e cancelar uma instrução SQL em execução.

Melhoria:

  • O console de administração do SQL foi combinado com as configurações gerais de administração para criar uma experiência unificada para os usuários administradores. Todas as configurações de administração do SQL agora são acessadas no console de administração.

  • destino de alerta agora são chamados de destinos de notificação.

Correções:

  • As tabelas não exibem mais duas barras de rolagem.

  • Os títulos de widgets em branco não são mais sobrescritos nos painéis.

2 de março de 2023

Correção:

  • Agora você pode usar URLs relativos em tabelas para acessar painéis.

23 de fevereiro de 2023

Melhoria:

  • TINYINT agora é suportado em tabelas de resultados no Notebook.

Correção:

  • Corrigido um erro em que a rolagem no modal de criação de filtro de painel resultava em um erro.

16 de fevereiro de 2023

Melhorias:

  • O rótulo dos dados nos gráficos agora mostra mais caracteres para evitar o truncamento das descrições.

  • O autocompletar agora reconhece as funções range() e Python UDF create.

  • O preenchimento automático agora evita iniciar trechos em decimais e nos comentários do código.

Correções:

  • Agora, os usuários podem ampliar os mapas.

  • No Notebook, as cores agora são atribuídas corretamente aos gráficos.

2 de fevereiro de 2023

Melhorias:

  • Suporte para DESCRIBE DETAILS no editor.

  • Velocidade de carregamento do navegador de esquemas aprimorada.

  • Agora o senhor pode view uma lista de possíveis colunas no painel lateral de um SELECT *.

26 de janeiro de 2023

Melhoria:

  • As mensagens de erro da sua consulta agora incluem links para o tópico da documentação relacionada que descreve o erro.

19 de janeiro de 2023

Melhorias:

  • Agora o senhor pode encontrar um painel What's New que destaca os aprimoramentos do site key. Você pode abrir e fechar esse painel clicando no ícone de presente.

  • Os administradores agora podem alterar a propriedade do armazém SQL.

  • Agora você pode filtrar várias visualizações em um painel clicando em Adicionar filtro > e selecionando a consulta e as colunas para filtragem.

12 de janeiro de 2023

Melhorias:

  • Os títulos dos widgets de visualização nos painéis agora são formatados como Nome da visualização - Nome da consulta por default.

  • Foram adicionadas funções geoespaciais H3 à referência do painel embutido.

  • Foram adicionadas referências em linha para a sintaxe SQL como CREATE TABLE e OVER.

Correções:

  • As opções de classificação e reversão agora estão disponíveis quando a escala do eixo X é definida como automática.

  • Os mapas de calor e as tabelas dinâmicas agora são responsivos para determinados casos extremos.

  • As marcas de escala do eixo Y Categorical agora são classificadas por default.

  • Os rascunhos de consulta não são mais perdidos depois de fazer um navegador refresh.