Databricks SQL notas sobre a versão
Este artigo lista os novos recursos e melhorias do Databricks SQL, juntamente com problemas conhecidos e perguntas frequentes.
processo de lançamento
A Databricks lança atualizações para a interface de usuário do aplicativo da Web Databricks SQL de forma contínua, com todos os usuários recebendo as mesmas atualizações em um curto período de tempo.
Além disso, o Databricks normalmente lança novas versões compute do SQL warehouse regularmente. Dois canais estão sempre disponíveis: Visualização e Atual.
Observação
Os lançamentos são encenados. Sua account do Databricks pode não ser atualizada com uma nova versão SQL warehouse ou recurso Databricks SQL até uma semana ou mais após a data de lançamento inicial.
canal
O canal permite que o senhor escolha entre a versão atual do SQL warehouse compute ou a versão Preview. As versões de visualização permitem que o senhor teste a funcionalidade antes que ela se torne o padrão Databricks SQL. Aproveite as versões de visualização para testar suas consultas e painéis de produção em relação às próximas alterações.
Normalmente, uma versão de visualização é promovida para o canal atual aproximadamente duas semanas após ser lançada no canal de visualização. Alguns recursos, como recursos de segurança, atualizações de manutenção e correções de bugs, podem ser lançados diretamente no canal atual. De vez em quando, Databricks pode promover uma versão de visualização para o canal atual em um programar diferente. Cada nova versão será anunciada nas seções a seguir.
Para saber como mudar um SQL warehouse existente para o canal de visualização, consulte Preview Channels (Canais de visualização). Os recursos listados nas seções de atualizações da interface do usuário são independentes das versões do SQL warehouse compute descritas na seção de canais das notas sobre a versão.
Versões disponíveis do Databricks SQL
Canal atual: Databricks SQL versão 2024.40
Ver recurso em 2024.40.
3 de outubro de 2024
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
AI/BI painéis de controle
Os clientes agora podem adicionar consultas e visualizações das células do SQL no Notebook aos painéis do AI/BI.
Os formatos numéricos personalizados agora se aplicam às dicas de ferramentas em gráficos empilhados por porcentagem.
O seletor dataset no editor de visualização agora mostra erros de carregamento de esquema para o conjunto de dados.
A filtragem cruzada agora suporta a seleção múltipla nos tipos de gráfico de barras, dispersão, mapa de calor e pie. Use os atalhos de teclado
Command-Shift
ouCtrl-Shift
para selecionar várias seções.
Explorador de Catálogos
Os comentários gerados por IA agora são compatíveis com catálogos, esquemas, volumes, modelos e funções, e os usuários podem usar o assistente de bate-papo em linha para ajudar a editar seus comentários.
26 de setembro de 2024
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
AI/BI painéis de controle
Os gráficos de caixas já estão disponíveis. Veja o gráfico de caixas.
Os formatos numéricos personalizados agora podem ser aplicados aos totais nas tabelas dinâmicas.
Agora você pode selecionar várias marcas para filtragem cruzada nas visualizações do painel. Segure
Shift
e clique em diferentes categorias para aplicar filtros em várias seleções.
AI/BI Genie
AI/BI genie, uma nova ferramenta de análise de dados de texto para SQL que permite que os usuários obtenham respostas com base em dados para suas perguntas de linguagem natural, está agora em Public Preview. Consulte Trabalhar com um espaço AI/BI Genie.
19 de setembro de 2024
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
AI/BI painéis de controle
Os cabeçalhos da tabela dinâmica agora podem ser classificados em ordem alfabética.
Os totais não serão renderizados em tabelas dinâmicas se alguma medida usar a transformação Nenhuma.
Os widgets de filtro agora são nomeados automaticamente de acordo com os campos de filtro selecionados.
Correção: os nomes dos conjuntos de dados agora são atualizados na configuração da visualização dataset picker quando o dataset é renomeado usando o nome Suggest.
11 de setembro de 2024
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
AI/BI painéis de controle
Agora o senhor pode incorporar os painéis do AI/BI como um iframe em aplicativos fora do Databricks. Consulte Incorporar um painel.
As configurações de filtro rápido para os widgets de filtro do seletor de datas agora suportam 3, 6 e 9 meses como opções. Clique no ícone do calendário no lado direito do seletor de datas para view todas as opções de filtro rápido.
O senhor pode expandir os widgets para view em tela cheia usando o menu widget kebab.
Agora você pode copiar e compartilhar links diretos para widgets do painel usando o menu de widgets kebab.
Editor de SQL
Agora o senhor pode usar a sintaxe do marcador de parâmetro nomeado no editor SQL. A sintaxe do marcador de parâmetro nomeado pode ser usada no editor SQL, no Notebook e nos painéis AI/BI. Consulte Trabalhar com parâmetros de consulta.
Consultas e painéis legados
Para consultas SQL e dashboards antigos, os itens excluídos não aparecem mais nas páginas de listagem. Localizar itens excluídos na pasta da lixeira do site workspace. Os administradores do workspace podem view itens excluídos nas pastas de lixo de todos os usuários.
Armazém SQL
A tabela system.compute.warehouse_events
registra quando o armazém SQL começa, para, escala para cima e para baixo. O senhor pode usar a tabela para monitorar o depósito SQL em seu espaço de trabalho. Consulte a referência da tabela do sistema de eventos do Warehouse.
5 de setembro de 2024
Mudanças em 2024.40
Databricks SQL A versão 2024.20 inclui as seguintes alterações de comportamento, novos recursos e aprimoramentos.
Mudanças comportamentais
Alterar o modo de vinculação do esquema default para a visualização
agora se adapta às alterações de esquema na consulta subjacente, usando a compensação de esquema com regras de conversão regulares. Essa é uma mudança em relação ao default anterior do modo
BINDING
, que gerava erros quando não era possível realizar uma conversão segura ao fazer referência ao view.Consulte CREATE VIEW e função cast.
Não permitir o uso da sintaxe não documentada
!
em vez deNOT
fora das expressões booleanasCom esta versão, o uso de
!
como sinônimo deNOT
fora das expressões booleanas não é mais permitido. Por exemplo, declarações como as seguintes:CREATE ... IF ! EXISTS
, IS! NULL, uma propriedade de coluna ou campo! NULL
,! IN
e! BETWEEN, deve ser substituído por:CREATE ... IF NOT EXISTS
,IS NOT NULL
, uma propriedadeNOT NULL
de coluna ou campo,NOT IN
eNOT BETWEEN
.Essa alteração garante a consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.
O operador de prefixo booleano
!
(por exemplo,!is_mgr
ou!(true AND false)
) não é afetado por essa alteração.Não permitir a sintaxe de definição de coluna não documentada na visualização
O Databricks oferece suporte ao CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, restrições
NOT NULL
ouDEFAULT
era permitida. Com esta versão, você não pode mais usar essa sintaxe.Essa alteração garante a consistência, alinha-se com o padrão SQL e oferece suporte a aprimoramentos futuros.
Adicionar uma restrição
CHECK
em uma coluna inválida agora retorna a classe de erroUNRESOLVED_COLUMN.WITH_SUGGESTION
Para fornecer mensagens de erro mais úteis, em Databricks Runtime 15.3 e acima, uma instrução
ALTER TABLE ADD CONSTRAINT
que inclui uma restriçãoCHECK
referenciando um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, umINTERNAL_ERROR
era devolvido.
Novos recursos e melhorias
Habilitar o UniForm Iceberg usando ALTER TABLE
Agora o senhor pode habilitar o UniForm Iceberg em tabelas existentes sem reescrever os arquivos de dados. Consulte Habilitar alterando uma tabela existente.
Funções de validação UTF-8
Esta versão apresenta as seguintes funções para validação de strings UTF-8:
is_valid_utf8 verifica se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.
make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.
try_validate_utf8 retorna
NULL
se a entrada não for uma cadeia de caracteres UTF-8 válida.
função try_url_decode
Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada por URL. Se as cadeias de caracteres não estiverem no formato correto, a função retornará
NULL
em vez de gerar um erro.Opcionalmente, permita que o otimizador se baseie em restrições estrangeiras não impostas key
Para melhorar o desempenho das consultas, agora o senhor pode especificar a palavra-chave
RELY
em restriçõesFOREIGN KEY
ao CRIAR ou ALTERAR uma tabela.Suporte para eliminar o recurso da tabela de restrições de verificação
Substituições seletivas usando
replaceWhere
agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do site cluster.Execução de trabalhos paralelizados para substituições seletivas
Substituições seletivas usando
replaceWhere
agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do site cluster.Desempenho aprimorado para alterar o feed de dados com substituições seletivas
As substituições seletivas usando
replaceWhere
em tabelas com feed de dados de alteração não gravam mais arquivos de dados de alteração separados para os dados inseridos. Essas operações usam uma coluna_change_type
oculta presente nos arquivos de dados Parquet subjacentes para registrar as alterações sem amplificação de gravação.Melhoria da latência de consulta para o comando COPY INTO
Esta versão inclui uma alteração que melhora a latência de consulta do comando
COPY INTO
. Essa melhoria é implementada ao tornar assíncrono o carregamento do estado pelo RocksDB armazenamento do estado. Com essa alteração, o senhor deve ver uma melhoria nos tempos iniciais para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
AI/BI painéis de controle
A largura da coluna Valores nas tabelas dinâmicas agora se ajusta automaticamente com base na largura dos nomes dos valores das células.
Foi resolvido um problema que causava a quebra da disposição da tabela dinâmica quando o mesmo campo era adicionado mais de uma vez.
O realce do filtro cruzado agora funciona corretamente no modo escuro.
O recurso Localizar e substituir agora é compatível com o editor SQL no Data tab. Use os atalhos de teclado
Command-F
ouCtrl-F
para abrir a ferramenta de busca e substituição.A hora exibida nos widgets do painel agora respeita o fuso horário do site SQL warehouse anexado, em vez de UTC. Esse comportamento é consistente com widgets em painéis antigos.
Visualizações
Os totais das dicas de ferramentas agora aparecem somente para gráficos empilhados.
28 de agosto de 2024
AI/BI painéis de controle
Foram adicionadas opções de personalização para formatos numéricos para visualizações de contadores e tabelas dinâmicas.
Resolvida a sobreposição entre os estilos condicional e default. Agora, os estilos são aplicados de apenas uma fonte. A fonte pode ser uma condição avaliada como
true
ou a configuração default.Foi corrigida a funcionalidade de zoom para dados temporais com configurações de escala categórica.
Resolvidos os problemas de renderização de gráficos para painéis em que vários gráficos usam o mesmo campo de origem, mas aplicam transformações diferentes.
Os gráficos gerados usando o prompt do Databricks Assistant não piscam mais quando o autor do painel executa novamente os dados.
22 de agosto de 2024
AI/BI painéis de controle
AI/BI Os painéis agora estão disponíveis de forma geral e a ferramenta de painel default na interface do usuário. Databricks SQL são agora chamados de painéis legados. Os nomes das ferramentas de API relacionadas não foram alterados.
Ao migrar um painel legado para um AI/BI painel , o novo AI/BI default depósito do painel é definido como o último depósito usado no SQL editor ou no painel legado relacionado.
Os usuários da conta agora podem percorrer os painéis disponíveis na página de listagem de painéis.
Os gráficos que suportam a formatação numérica agora incluem gráficos dinâmicos e contadores . Consulte Formatação numérica em gráficos.
Agora, nenhuma é suportada como medida nos gráficos dinâmicos.
Agora, nenhuma transformação é suportada para gráficos dinâmicos.
Visualizações
Para configurações agrupadas e de vários campos, as dicas de ferramentas agora mostram os totais quando você passa o mouse sobre os elementos do gráfico.
15 de agosto de 2024
AI/BI painéis de controle
O registro de auditoria agora está disponível para execuções de consultas e e-mails de inscrição no painel. Consulte as ações executeQuery, cancelQuery e getQueryResult para execuções de consultas e a ação sendDashboardSnapshot para email Snapshot. Veja os eventos do Dashboards.
Visualizações
Foi corrigido um problema em que os números das linhas nas visualizações de tabela não eram atualizados após a alteração do tamanho da página.
descobrimento de dados
Agora há suporte para a capacidade de expandir e recolher tipos de colunas complexas aninhadas nas tabelas do Unity Catalog.
8 de agosto de 2024
AI/BI painéis de controle
Os gráficos que fazem referência ao mesmo dataset agora suportam filtragem cruzada, o que permite que o senhor clique em um elemento de um gráfico para filtrar e atualizar os dados relacionados em outro gráfico. Consulte Filtragem cruzada.
A formatação personalizada de números é compatível com a maioria dos gráficos. Consulte Formatação de números em gráficos.
Foi resolvido um problema que afetava a rolagem ao selecionar datas no selecionador de datas usando a roda do mouse ou a tela sensível ao toque.
A visualização da tabela agora redefine corretamente os números das linhas ao alterar o número de itens por página.
Os gráficos que usam cores para diferenciar as categorias agora mantêm seus mapeamentos de cores quando os filtros são aplicados.
1º de agosto de 2024
Ferramentas de API
A API de execução de instruções SQL já está disponível para todos. Consulte API de execução de instruções: Executar SQL em armazéns.
Atualizações da interface do usuário
AI/BI painéis de controle:
Agora o senhor pode configurar os widgets de visualização para usar parâmetros de widgets estáticos. Consulte Parâmetros estáticos do widget.
Agora o senhor pode definir valores default para os seguintes tipos de filtro:
Valor único
Valores múltiplos
Seletor de datas
Seletor de intervalo de datas
Entrada de texto
Os visualizadores sem acesso de edição não veem mais a barra de ferramentas para adicionar widgets ao visualizar um painel de rascunho.
Compartilhar com qualquer pessoa da minha organização agora compartilha com usuários de nível account. Consulte Compartilhar um painel
Visualizações:
A classificação da tabela agora é preservada quando os dados são alterados devido à filtragem.
Editor SQL:
Aumento da legibilidade com o acréscimo de preenchimento adicional entre a última linha de uma consulta e a saída do resultado.
25 de julho de 2024
API REST da Databricks:
APIs para gerenciar consultas, alertas, fontes de dados e permissões foram alterados. A versão legada continuará a receber suporte por seis meses. O objetivo desse período de transição é dar ao senhor tempo suficiente para migrar seus aplicativos e integrações para a nova versão antes que a versão mais antiga seja desativada. Consulte Atualização para a versão mais recente Databricks SQL API
Atualizações da interface do usuário
AI/BI painéis de controle:
Os indicadores nulos agora informam aos autores do painel sobre nulos ocultos nos gráficos.
Os totais nas tabelas dinâmicas agora são calculados no backend, garantindo a precisão mesmo quando os dados visualizados são truncados. Há suporte para os totais de todas as agregações.
Os histogramas agora suportam uma largura de compartimento igual a zero.
Os painéis agora podem ser gerenciados usando Terraform. Para obter detalhes, consulte a documentação do Databricks Terraform.
AI/BI genie:
Agora o senhor pode adicionar um link a um espaço genie a partir de um painel AI/BI. Quando os visualizadores do painel acessam o link, eles podem usar o espaço genie para responder às suas perguntas.
Use a ferramenta Create a genie space para criar um novo espaço genie com base em um painel AI/BI com um clique. O espaço genie usa seu painel de esboço atual para criar a estrutura inicial de um espaço genie.
18 de julho de 2024
Atualizações da interface do usuário
AI/BI painéis de controle:
O assistente agora pode ajudá-lo a editar os títulos dos eixos do gráfico e controlar a visibilidade do rótulo dos dados do gráfico.
Agora o senhor pode atribuir várias medidas a tabelas dinâmicas.
Foram adicionadas mais opções de data e hora relativas, como Últimos 10 segundos e Último minuto, para controles de parâmetros de data e hora.
Forneceu uma opção Now nos widgets de controle do selecionador de datas para filtrar valores de data e hora.
Melhoria no tratamento de exceções para permitir a edição de widgets com erros de upload.
Aumentou o limite de tamanho da filtragem dataset nos campos a serem executados localmente, sem execução de consulta no backend, para 100.000 linhas ou 100 MB.
genie:
As perguntas de comparação de tempo geram respostas mais precisas.
As respostas a perguntas sobre valores classificados agora ocultam as colunas de classificação intermediárias para melhorar a legibilidade das respostas.
O novo tratamento de casos especiais evita a aplicação não intencional de determinadas otimizações.
O botão voltar foi substituído por breadcrumbs para facilitar a navegação.
Agora o senhor pode expandir e view os detalhes da tabela em Data tab.
O tratamento aprimorado de caracteres que não sejam do inglês evita envios prematuros de solicitações de combinações especiais do site key.
Explorador de catálogo:
Um novo assistente de configuração de catálogo agora está disponível para a configuração de workspace bindings, privilégios de catálogo e metadados ao criar um catálogo.
SQL warehouse monitoramento:
A permissão do CAN MONITOR já está disponível para todos. Ele permite que usuários privilegiados monitorem o armazém SQL, incluindo o histórico de consultas associado e os perfis de consultas. Consulte ACLs do SQL warehouse.
Mudanças em 2024.35
Desativar o mapeamento de colunas com o recurso de soltar
Agora o senhor pode usar DROP FEATURE
para desativar o mapeamento de colunas nas tabelas Delta e fazer downgrade do protocolo da tabela. Consulte Desativar mapeamento de coluna.
Sintaxe e funções do tipo variante na visualização pública
integrada Apache Spark O suporte para trabalhar com dados semiestruturados do tipo VARIANT
agora está disponível em Spark DataFrames e SQL. Consulte Consultar dados de variantes.
Suporte a tipos de variantes para o Delta Lake na visualização pública
Agora o senhor pode usar VARIANT
para armazenar dados semiestruturados em tabelas com o suporte do Delta Lake. Consulte Suporte de variantes no Delta Lake.
Suporte para diferentes modos de evolução do esquema em vista
CREATE VIEW e ALTER VIEW agora permitem que o senhor defina um modo de vinculação de esquema, aprimorando a forma como as visualizações lidam com as alterações de esquema em objetos subjacentes. Esse recurso permite que a visualização tolere ou se adapte às alterações de esquema nos objetos subjacentes. Ele aborda alterações no esquema de consulta resultantes de modificações nas definições de objetos.
Melhoria do desempenho de algumas funções de janela
Esta versão inclui uma alteração que melhora o desempenho de algumas funções de janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY
ou um parâmetro window_frame
. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função agregada. Essa alteração permite que a consulta seja executada mais rapidamente, usando a agregação parcial e evitando a sobrecarga de execução de funções de janela. O parâmetro de configuração spark.databricks.optimizer.replaceWindowsWithAggregates.enabled
do site Spark controla essa otimização e é definido como true
pelo site default. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled
como false
.
Suporte para a função try_mod
adicionado
Esta versão adiciona suporte para a função PySpark try_mod()
. Essa função oferece suporte ao cálculo compatível com ANSI SQL do resto inteiro pela divisão de dois valores numéricos. Se o argumento do divisor for 0, a função try_mod()
retornará null em vez de lançar uma exceção. O senhor pode usar a função try_mod()
em vez de mod
ou %
, que gera uma exceção se o argumento do divisor for 0 e o ANSI SQL estiver ativado.
Atualizações da interface do usuário
AI/BI painéis de controle:
Clicar com o botão direito do mouse em um site dataset agora mostra a opção Sugerir nome. Essa ferramenta usa metadados de tabela para renomear automaticamente o site dataset.
O senhor pode optar por ocultar a legenda em um widget de visualização.
Os títulos dos widgets que estão truncados agora mostram o título completo ao passar o mouse.
Os widgets agora mostram um aviso de truncamento se os resultados completos não forem exibidos.
O Databricks Assistant para criação de visualização reverte para o título original ao rejeitar uma recomendação.
As visualizações de painel publicadas e de rascunho agora são capturadas na auditoria de painel AI/BI logs com os nomes de eventos:
getDashboard
,getPublishedDashboard
egetDashboardDetails
. Consulte Eventos de painéis.Agora o senhor pode definir valores default para os tipos de filtro Single value e Multiple values. Consulte Filtro nos campos.
Foi corrigido um problema que impedia os usuários de mudar de pivô vazio para outros tipos de gráficos no editor de visualização de painéis.
O texto do cabeçalho da coluna dinâmica não transborda mais se exceder a largura da coluna.
Editor SQL:
O assistente em linha agora está disponível no editor SQL. Clique no ícone do assistente na caixa do editor para alternar a entrada. Digite uma pergunta ou comentário em inglês e pressione Enter (e não Shift+Enter, que executa uma consulta) para gerar uma resposta com um view diferente diretamente no editor.
Plataforma:
Uma API para destinos de notificação já está disponível. Agora o senhor pode gerenciar programaticamente webhooks e email destinations para suas notificações de alerta e Job execução. Consulte Destinos da notificação.
Mudanças em 2024.30
A Lakehouse Federation está geralmente disponível (GA)
Os conectores da Lakehouse Federation nos seguintes tipos de banco de dados já estão disponíveis de forma geral (GA):
MySQL
PostgreSQL
Amazon Redshift
Snowflake
Microsoft SQL Server
Azure Synapse (SQL Data Warehouse)
Databricks
Esta versão também apresenta os seguintes aprimoramentos:
Suporte para autenticação de logon único (SSO) nos conectores Snowflake e Microsoft SQL Server.
Suporte a pushdowns adicionais (strings, matemática, funções diversas).
Melhoria da taxa de sucesso do pushdown em diferentes formas de consulta.
Recursos adicionais de depuração pushdown:
A saída
EXPLAIN FORMATTED
exibe o texto da consulta pressionado.A interface do usuário do perfil de consulta exibe o texto da consulta transferida, os identificadores de nós federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.
DESCRIBE HISTORY
agora mostra colunas de clustering para tabelas que usam o clustering líquido
Quando o senhor executa uma consulta DESCRIBE HISTORY
, a coluna operationParameters
mostra um campo clusterBy
em default para operações CREATE OR REPLACE
e OPTIMIZE
. Para uma tabela Delta que usa clustering líquido, o campo clusterBy
é preenchido com as colunas de clustering da tabela. Se a tabela não usar o clustering líquido, o campo estará vazio.
O suporte para chaves primárias e estrangeiras está geralmente disponível
O suporte para chaves primárias e estrangeiras em Databricks Runtime está disponível de modo geral. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:
Para definir um key estrangeiro, o senhor deve ter o privilégio
SELECT
na tabela com o key primário ao qual o key estrangeiro se refere. O senhor não precisa ser proprietário da tabela com o endereço primário key, o que era necessário anteriormente.A eliminação de uma chave primária key usando a cláusula
CASCADE
não requer privilégios nas tabelas que definem a chave estrangeira que faz referência à chave primária key. Anteriormente, o senhor precisava ser o proprietário das tabelas de referência.A eliminação de uma tabela que inclui restrições agora requer os mesmos privilégios que a eliminação de tabelas que não incluem restrições.
Para saber como usar chaves primárias e estrangeiras com tabelas ou visualizações, consulte a cláusula CONSTRAINT, a cláusula ADD CONSTRAINT e a cláusula DROP CONSTRAINT.
O agrupamento líquido é GA
O suporte para o líquido clustering agora está disponível de forma geral usando o Databricks Runtime 15.2 e o acima. Consulte Usar clustering líquido para tabelas Delta.
A ampliação do tipo está em Public Preview
Agora o senhor pode ativar a ampliação de tipos em tabelas apoiadas pelo Delta Lake. Tabelas com ampliação de tipo ativada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever os arquivos de dados subjacentes. Consulte Ampliação de tipos.
Cláusula de evolução do esquema adicionada à sintaxe de mesclagem do SQL
Agora o senhor pode adicionar a cláusula WITH SCHEMA EVOLUTION
a uma declaração SQL merge para permitir a evolução do esquema para as operações. Consulte Sintaxe de evolução do esquema para mesclagem.
Suporte ao inventário de vácuo
Agora o senhor pode especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM
em uma tabela Delta. Consulte os documentos do OSS Delta.
Suporte para funções de compactação Zstandard
Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar BINARY
dados .
Os planos de consulta na interface do usuário do SQL agora exibem corretamente PhotonWriteStage
Quando exibido na UI SQL, o comando write
nos planos de consulta mostrava incorretamente PhotonWriteStage
como um operador. Com esta versão, a interface do usuário é atualizada para mostrar PhotonWriteStage
como um palco. Essa é apenas uma alteração na interface do usuário e não afeta a forma como as consultas são executadas.
serverless SQL já estão disponíveis de forma geral.
sem servidor SQL warehouse agora estão disponíveis de forma geral nas regiões com suporte. Eles oferecem compute instantâneo, gerenciamento mínimo e otimização de custos para consultas em SQL. Crie o armazém serverless SQL ou converta o armazém pro ou clássico SQL para serverless.
Atualizações da interface do usuário
AI/BI painéis de controle:
recurso:
default estão agora disponíveis para os tipos de filtro Single value e Multiple values.
Os gráficos de contador agora suportam formatação condicional e novos estilos de texto.
Foram adicionadas mais categorias de cores à seção Color/Group by (Cor/Grupo por ) do editor de visualização do painel.
Conserta:
As descrições nos widgets agora respeitam o preenchimento à esquerda ao envolver o texto.
As agregações medianas agora são preservadas ao migrar de painéis legados para painéis AI/BI.
Mudança:
A opção de criar um painel legado foi removida do menu New (Novo ) na barra lateral workspace e do menu Create (Criar ) no navegador de arquivos.
Suporte à API:
Agora o senhor pode gerenciar destinos de notificação usando a API REST. Consulte Destinos de notificação.
27 de junho de 2024
Atualizações da interface do usuário
AI/BI painéis de controle:
A API para listar painéis já está disponível. Consulte Listar painéis.
Foi corrigido um problema em que os histogramas ocasionalmente não suportavam larguras de compartimento decimais.
Foi adicionado suporte para personalizar o tamanho e a opacidade dos pontos de dispersão.
Visualizações:
Melhoria da interatividade na exibição de dicas de ferramentas ao passar o mouse sobre pie, gráficos de dispersão e de mapa de calor com muitos pontos de dados.
Catalog Explorer:
Uma interface de usuário do Catalog Explorer renovada facilita a descoberta e a inclusão de favoritos recentes Unity Catalog ativo no Quick Access view. A experiência de navegação também foi simplificada, permitindo que o senhor explore compute, armazenamento, credenciais, conexões, e detalhes de gerenciamentoDBFS usando as configurações no canto superior esquerdo da tela. Delta Sharing, Clean Rooms e External Data agora têm páginas dedicadas.
20 de junho de 2024
Atualizações da interface do usuário
AI/BI painéis de controle:
Os widgets criados pelo Databricks Assistant agora vêm com um título.
Os usuários agora podem ajustar o tamanho dos pontos e a opacidade nos gráficos de dispersão.
Os valores nulos agora são formatados de forma consistente nos gráficos de contador, pivô e de tabela.
Melhoria do texto de dica de tela em branco quando o conjunto de dados foi criado.
Foi corrigido um problema em que os painéis não executavam novamente as consultas após serem reabertos no navegador de arquivos.
Foi corrigido um problema que dificultava o arrastamento de widgets de caixa de texto.
Editor de SQL:
O editor de SQL agora descarta corretamente o rascunho da consulta ao fechar uma consulta não salva.
Melhoria do desempenho do editor de SQL visando o preenchimento automático, o tempo de carregamento da página e a capacidade de resposta geral da IU.
As mensagens de erro no editor SQL por acessar uma consulta excluída ou por não ter permissões na consulta agora são exibidas portab.
6 de junho de 2024
Atualizações da interface do usuário
Dashboards:
account os usuários agora podem download visualizar dados de painéis publicados
Os painéis não publicados agora podem ser publicados usando a opção Draft/Publish (Rascunho/Publicar ) dropdown na parte superior de um painel.
Foi corrigido um problema em que os parâmetros denominados limit não eram detectados.
Visualizações:
Melhoria da renderização do box-graficar no modo escuro.
Percepções de consulta:
Para todos os Notebooks anexados ao armazém SQL, o senhor pode acessar o perfil da consulta clicando em Ver desempenho sob a célula que contém a consulta. Se a célula incluir várias consultas, um link para o perfil de consulta de cada uma delas será fornecido para cada declaração.
30 de maio de 2024
serverless SQL Os armazéns estão em Public Preview nas seguintes regiões:
us-west1
us-east4
europa-oeste2
ásia-sudeste1
asia-sul1
Novo nível de permissão para o SQL warehouse
A permissão Can monitor permite que os usuários monitorem o armazém SQL, incluindo o histórico de consultas associado e os perfis de consultas. A permissão Can monitor está agora em Public Preview. Consulte ACLs do SQL warehouse.
23 de maio de 2024
Nova ferramenta de painel de controle
Os painéis (anteriormente conhecidos como painéis do Lakeview) estão agora em Public Preview. Eles são denominados Dashboards na interface do usuário. Databricks SQL agora são chamados de painéis legados. Os nomes das ferramentas de API relacionadas não foram alterados.
Atualizações da interface do usuário
Agora o senhor pode selecionar vários itens no site workspace para mover ou excluir. Quando vários objetos são selecionados, uma barra de ação é exibida e oferece opções para mover ou excluir itens. Além disso, é possível selecionar vários itens com o mouse e arrastá-los para um novo local. As permissões existentes nos objetos ainda se aplicam durante as operações de movimentação e exclusão em massa.
Agora o senhor pode marcar o site Unity Catalog ativo como favorito no Catalog Explorer e no Schema Browser. Isso inclui catálogos, esquemas, tabelas, modelos, volumes e funções. Unity Catalog ativo que o senhor marca como favoritos são facilmente acessíveis na página inicial do site Databricks.
Atualizações do painel:
Os gráficos combinados de eixo duplo agora exibem corretamente as legendas de barra no eixo direito e as legendas de linha correspondentes.
Os gráficos de eixo duplo agora mostram corretamente o rótulo nas barras.
Atualizações de visualizações:
O rótulo de formato condicional do editor de tabelas para if e then agora suporta o modo escuro.
O ícone redundante de link aberto foi removido das dicas de ferramentas de formato do editor de tabelas.
O rótulo da cor da fonte default no editor de tabelas agora se alinha automaticamente.
16 de maio de 2024
Rollout programador
Pré-visualização do lançamento para 2024.25: Concluído em 1º de maio
Implementação atual para 2024,25: Entre 14 e 21 de maio
Observação
Uma atualização da biblioteca panda Python (versão 2.0.3) causou uma alteração significativa no Databricks SQL versão 2024.20. A Databricks não implementou a versão 2024.20 para o canal atual. Em vez disso, o canal de visualização foi atualizado para 2024,25 em 1º de maio de 2025. O lançamento do canal atual vai diretamente de 2024.15 a 2024.25.
Alterações em 2024.25
SQL recurso de linguagem
A cláusula * (estrela) agora é compatível com a cláusula WHERE.
Agora o senhor pode usar a cláusula estrela (*
) na cláusula WHERE
para fazer referência a todas as colunas da lista SELECT
. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)
.
Suporte ao armazenamento R2 da Cloudflare para evitar taxas de saída entre regiões desde 2024.15
Agora o senhor pode usar o Cloudflare R2 como armazenamento cloud para dados registrados em Unity Catalog. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing em que o senhor deseja evitar as taxas de saída de dados cobradas pelos provedores do cloud quando os dados cruzam regiões.
O armazenamento R2 da Cloudflare é compatível com todos os dados Databricks e IA ativo suportados em Google Cloud Storage.
Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e Criar uma credencial de armazenamento para conexão com o Cloudflare R2.
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
descobrimento de dados atualizações: O assistente de atualização de Hive metastore para Unity Catalog oferece suporte à atualização de Hive metastore gerenciar tabelas usando o compute ou o SQL warehouse. A atualização de mais de 20 tabelas cria um novo Notebook que contém o comando SYNC
AND ALTER TABLE
que realiza a conversão.
9 de maio de 2024
Correções do SQL Editor:
A configuração de SQL administrador Recurso da área de transferência da tabela de resultados agora se aplica à tabela de novos resultados do editor .
2 de maio de 2024
Atualizações de visualização:
A cor selecionada pelo usuário para as tabelas agora persiste nos modos claro e escuro dos gráficos antigos.
A lógica de truncamento de dados foi aprimorada para melhorar o desempenho em gráficos combinados, pie, mapas de calor e histogramas.
Uma marca de escala agora é sempre exibida na parte superior de um eixo quantitativo para gráficos básicos.
23 de abril de 2024
Atualizações da interface do usuário:
Em todas as caixas de diálogo Compartilhar na interface do usuário, o grupo
All Users
foi renomeado paraAll Workspace Users
. O novo nome reflete com mais precisão o escopo do grupo, que sempre incluiu os usuários atribuídos ao site workspace. Nenhuma alteração é feita na associação do grupo como parte dessa renomeação.
Atualizações de visualização:
Os formatos personalizados do tooltop agora funcionam corretamente para gráficos de vários eixos.
A tag de visualização de novos gráficos é removida quando os usuários não alteram a alternância nos últimos 14 dias.
18 de abril de 2024
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Melhorias:
As dicas de ferramentas dos gráficos empilhados agora exibem o valor e a porcentagem da pilha em default.
As dicas de ferramentas para gráficos de vários eixos agora destacam o item focalizado.
As visualizações de tabela do Databricks SQL agora adaptam o tipo de dados de um novo resultado de consulta quando editado no editor SQL.
A tabela do Catalog Explorer Query History do Catalog Explorer mostra uma árvore view para atribuição de Fonte de Consulta. O senhor pode usar isso para ver quais entidades acionaram a execução da instrução de consulta.
11 de abril de 2024
serverless O armazém do SQL está agora em Public Preview.
Usando a arquitetura Databricks serverless , um serverless SQL warehouse suporta todo o desempenho recurso de Databricks SQL. Com um serverless SQL warehouse e seu desempenho recurso, o senhor obtém:
Tempo rápido de startup (normalmente entre 2 e 6 segundos).
Aumento rápido de escala para adquirir mais compute quando necessário para manter a baixa latência.
A admissão de consultas está mais próxima da limitação do hardware do que da máquina virtual.
Redimensionamento rápido para minimizar os custos quando a demanda é baixa, proporcionando desempenho consistente com custos e recursos otimizados.
Consulte Habilitar serverless SQL warehouse.
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Melhorias:
Agora o senhor pode agrupar por porcentagem ao criar visualizações em Databricks SQL e no Notebook.
Para novos gráficos (em Public Preview), o senhor pode aumentar o zoom ao longo de um único eixo clicando e arrastando em uma linha reta paralela ao eixo.
A UI da lista de permissões do cluster compartilhado do Unity Catalog já está disponível para todos. O senhor pode acessá-la na página de detalhes do Metastore no Catalog Explorer. Consulte Como adicionar itens à lista de permissões.
Os formulários para criar e editar locais externos agora abrem como uma página inteira. Eles incluem a opção de incluir uma credencial de armazenamento.
Correções:
Correção de um problema nos gráficos de histograma em que os valores negativos eram erroneamente marcados como positivos.
4 de abril de 2024
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Melhorias:
A troca de visualizações entre mapas de calor e outros tipos de gráficos agora preserva melhor os campos relevantes.
Correções:
Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.
Foi resolvido um problema em que o botão download as PNG estava ausente em algumas visualizações.
Correção da formatação de números inteiros grandes negativos que anteriormente não tinham milhares de separadores.
Foi corrigido o posicionamento incorreto da linha de foco ao passar o mouse sobre o rótulo em gráficos de linhas.
Alterações em 2024.15
Atualizações da Delta
O Delta UniForm já está disponível para todos: O UniForm já está disponível para todos e usa o recurso de tabela IcebergCompatV2. Agora o senhor pode ativar ou atualizar o UniForm em tabelas existentes. Consulte Usar o UniForm para ler tabelas Delta com clientes Iceberg.
Recompute as estatísticas de omissão de dados para tabelas Delta: Agora o senhor pode recomputar as estatísticas armazenadas no log Delta após alterar as colunas usadas para ignorar dados. Consulte Especificar colunas de estatísticas Delta.
Atualizações da linguagem SQL
Declarar variáveis temporárias em uma sessão SQL: Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que podem ser definidas e, em seguida, referenciadas em consultas. Consulte Variáveis.
Suporte ao formato de arquivo XML nativo (visualização pública): O suporte ao formato de arquivo XML nativo está agora na visualização pública. O suporte ao formato de arquivo XML permite a ingestão, a consulta e a análise de dados XML para processamento ou transmissão de lotes. Ele pode inferir e desenvolver automaticamente o esquema e os tipos de dados, suporta expressões SQL como
from_xml
e pode gerar documentos XML. Ele não requer jars externos e funciona perfeitamente com Auto Loader,read_files
,COPY INTO
e Delta Live Tables. Consulte Ler e gravar arquivos XML.
Atualizações do Apache Spark SQL
O Databricks SQL 2024.15 inclui o Apache Spark 3.5.0. Correções de bugs e melhorias adicionais para SQL estão listadas em Databricks Runtime 14.3 notas sobre a versão. Consulte Apache Spark e procure a tag [SQL]
para obter uma lista completa.
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Uma nova visão geral tab na página de entidade do Catalog Explorer mostra metadados importantes como tamanho do arquivo, fonte de dados, proprietário, esquema de tabela e comentários.
A troca de visualizações entre mapas de calor e outros tipos de gráficos agora preserva melhor os campos relevantes.
Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.
21 de março de 2024
A linhagem de modelos do Unity Catalog está agora em Public Preview.
A tabela view no Catalog Explorer agora tem uma Visão geral tab para descrever seus metadados primários.
14 de março de 2024
Os novos gráficos agora aplicam aliases e cores personalizadas para valores nulos em colunas numéricas.
Os novos gráficos agora exibem marcas de escala para mostrar a parte superior do eixo y.
7 de março de 2024
Foi corrigido um problema em que as dicas de ferramentas em gráficos com mais de 100 séries mostravam incorretamente todas as séries. Agora, somente a série focada é mostrada.
Redução da latência de digitação no editor SQL em 30% por meio de otimizações de desempenho.
Ao gerenciar consultas no editor SQL, mover uma consulta para a lixeira fecha automaticamente o site tab.
Foi corrigido um problema no editor SQL em que o texto era selecionado acidentalmente ao ajustar a largura do painel lateral.
29 de fevereiro de 2024
O navegador de esquemas no Catalog Explorer agora exibe as restrições primárias e externas da coluna key.
O tempo de retenção mostrado no Lineage tab no Catalog Explorer foi aumentado para um ano.
As dicas de ferramentas em novos gráficos no Notebook agora são sempre renderizadas dentro do limite da visualização.
22 de fevereiro de 2024
Melhorias no Sample Data tab na tabela do Catalog Explorer view permitem que o senhor classifique colunas, copie dados selecionados para a área de transferência e view números de linha. Agora ele pode exibir melhor valores especiais, como objetos JSON, datas, valores numéricos e nulos.
15 de fevereiro de 2024
A documentação dos filtros de consulta baseados em código, como
SELECT action AS 'action::filter'
, foi removida. A Databricks recomenda atualizar as consultas para remover esse padrão.
8 de fevereiro de 2024
Agora é possível solicitar acesso ao abrir um link para um painel do Lakeview no qual o senhor não tem permissões.
Os filtros do painel do Lakeview agora têm as opções explícitas All (Todos ) e None (Nenhum ). Os autores podem optar por ocultar a opção Todos nos filtros de seleção única.
Agora o senhor pode definir valores mínimos e máximos para os eixos nos gráficos do painel do Lakeview.
1º de fevereiro de 2024
Databricks SQL Versão 2024.10 disponível
Rollout programador
Pré-implementação para 2024.10: Entre 30 de janeiro de 2024 e 5 de fevereiro de 2024
Implementação atual para 2024.10: Entre 13 de fevereiro de 2023 e 20 de fevereiro de 2024
Alterações em 2024.10
Corrigido o tratamento de arquivos corrompidos no comando DML: Os comandos DML
DELETE
,UPDATE
eMERGE INTO
não respeitam mais as opções de leituraignoreCorruptFiles
eignoreMissingFiles
. Ao encontrar um arquivo ilegível em uma tabela, esse comando agora falha mesmo se essas opções forem especificadas.A simultaneidade em nível de linha está disponível de forma geral e em default: A simultaneidade no nível da linha reduz os conflitos entre operações de gravação simultâneas ao detectar alterações no nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com clusters líquidos. A simultaneidade em nível de linha é ativada pelo site default em tabelas Delta com vetores de exclusão ativados. Consulte Conflitos de gravação com simultaneidade em nível de linha.
Clone raso para tabelas externas do Unity Catalog (visualização pública): Agora o senhor pode usar o shallow clone com tabelas externas do Unity Catalog. Consulte Shallow clone para tabelas do Unity Catalog.
Coleta de estatísticas multi-threaded mais rápida: A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar
CONVERT TO DELTA
ou clonar a partir de tabelas Iceberg e Parquet. Consulte Converter para Delta Lake e Clonar incrementalmente tabelas Parquet e Iceberg para Delta Lake.Filtros pushdown no DeltaSource em arquivos Delta: Para uma melhor utilização, os filtros de partição em consultas de transmissão de tabelas Delta agora são enviados para o Delta antes da limitação de taxa.
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
O Admin view tab nas páginas de listagem de objetos Databricks SQL (consultas, painéis e alerta) foi removido. workspace Os usuários administradores podem view todos os objetos de suas respectivas páginas de listagem. Consulte Acessar e gerenciar consultas salvas, Painéis herdados e O que é Databricks SQL alerta?
A página de histórico de consultas exibe as consultas das últimas 24 horas pelo site default. Consulte Histórico de consultas.
18 de janeiro de 2024
Foi corrigido um problema de renderização para visualizações em que gráficos de barras mostrando uma única data no eixo x resultavam em uma barra muito fina. Novas visualizações de gráfico são renderizadas conforme esperado.
11 de janeiro de 2024
As consultas Databricks SQL e as APIs do painel suportam a alteração da execução como configuração de função programaticamente.
4 de janeiro de 2024
Introduzidos diagramas de relacionamento de entidade key primária e key estrangeira no Catalog Explorer. Consulte view o Diagrama Entidade-Relacionamento.
21 de dezembro de 2023
Para novos gráficos, os gráficos do tipo heatmap respeitam a configuração reverseY .
Corrigido um problema de desempenho de renderização para Notebook com um grande número de visualizações.
7 de dezembro de 2023
Atualizações da interface do usuário
Corrigimos o problema de formatação de visualização em que valores inteiros grandes eram exibidos erroneamente como números flutuantes.
Foi corrigido um problema com os painéis Databricks SQL em que view expandida do gráfico às vezes exibia gráficos em branco.
Gráficos de barras com campos quantitativos nos eixos X e Y tornam o rótulo de dados mais legível.
Foi corrigido o problema no SQL Editor para que as tabelas com a palavra
stream
no título não entrem mais em conflito com a palavra-chave reservada. Essas tabelas agora aparecem como esperado no navegador de esquemas e não são destacadas como erro.A página da história query agora suporta redimensionamento e seleção de colunas.
A página query história suporta duas novas colunas: query source e query source type.
As opções de BI, como Tableau e Power BI, são mais fáceis de encontrar no Catalog Explorer em páginas qualificadas.
30 de novembro de 2023
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Melhor compatibilidade com modo escuro para rótulo em novos gráficos.
Novos gráficos agora priorizam consistentemente a exibição do rótulo dentro das barras.
Corrigido um bug em que algumas ações do menu do botão direito não funcionavam no Editor SQL.
16 de novembro de 2023
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Databricks SQL Consultas, alerta e dashboards do Databricks possuem um novo programador e interface programar.
9 de novembro de 2023
Mudanças em 2023.50:
Destaques:
Agora você pode usar a invocação de parâmetro nomeado em UDF SQL e Python.
Atualizações da linguagem SQL: As seguintes funções integradas foram adicionadas: - `from_xml`: analisa um XML STRING
em um STRUCT
. - `schema_of_xml`: Deriva um esquema de um XML STRING
. - `session_user`: Retorna o usuário log in . - `try_reflect`: Retorna NULL
em vez da exceção se um método Java falhar.
As seguintes funções internas foram aprimoradas:
invocação de função. Argumentos de tabela para funções suportam particionamento e ordenação: agora você pode usar cláusulas
PARTITION BY
eORDER BY
para controlar como os argumentos de tabela são passados para uma função.`mode`: Suporte para um parâmetro opcional que força um resultado determinístico.
`to_char`: Novo suporte para
DATE
,TIMESTAMP
eBINARY
.`to_varchar`: Novo suporte para
DATE
,TIMESTAMP
eBINARY
.`array_insert()` é baseado em 1 para índices negativos: A função
array_insert
é baseada em 1 para índices positivos e negativos. Agora insere um novo elemento no final das matrizes de entrada para o índice -1.
Atualizações da interface do usuário
Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.
Visualizações:
As dicas de ferramentas para novos gráficos mostram apenas itens pairados para gráficos de alta cardinalidade.
Novos gráficos alinham automaticamente os gráficos de eixo duplo em zero.
Os gráficos alteraram a direção do ângulo do texto do rótulo e do eixo girado de -90 para 90 graus.
Os gráficos agora usam a largura do rótulo para decidir a rotação.
Editor SQL: o preenchimento automático agora é menos agressivo e é descartado automaticamente no final das instruções
26 de outubro de 2023
Mudanças no Databricks SQL versão 2023.45
Destaques:
A E/S preditiva para atualizações agora está disponível para todos. Consulte O que é E/S preditiva?
Os vetores de exclusão agora estão geralmente disponíveis. Consulte O que são vetores de exclusão?
otimizações query :
Removida a join externa se todas forem funções agregadas distintas. FAÍSCA-42583
Otimizou a ordem de filtragem de predicados. FAÍSCA-40045
Atualizações da função SQL:
Adicionado suporte para resolução implícita de alias de coluna lateral em
Aggregate
. FAÍSCA-41631Suporte para alias de coluna lateral implícito em query com Window. FAÍSCA-42217
Suporte para esboços de dados
HLLSketch
. Consulte função agregada hll_sketch_agg.Adicionada a função
try_aes_decrypt()
. Consulte função try_aes_decrypt.Suporte para modo CBC para
aes_encrypt()
eaes_decrypt()
. Veja função aes_decrypt.Adicione aliases de função de 3 argumentos DATE_ADD e DATE_DIFF.
Adicionado suporte para IVs aes_encrypt e AAD. FAÍSCA-43290
Implemente funções de bitmap. FAÍSCA-44154
Adicionado o alias
to_varchar
parato_char
. Consulte função to_varchar.Adicionado suporte
array_compact
. Veja função array_compact.Suporte para udf
luhn_check
. Veja função luhn_check.Adicionado suporte ao analisador de argumentos nomeados para funções integradas. FAÍSCA-44059
Suporte para regra do analisador de argumentos
TABLE
paraTableValuedFunction
. FAÍSCA-44200array_insert
agora falha com índice 0. FAÍSCA-43011Adicionados valores
NULL
paraINSERT
com listas especificadas pelo usuário com menos colunas que a tabela de destino. FAÍSCA-42521DECODE
função retorna resultados errados quando passada NULL. FAÍSCA-41668
Atualizações da interface do usuário
Melhorias:
Os pontos nos nomes dos campos de dados não resultam mais em gráficos em branco.
O navegador de esquema legado agora funciona com o Unity Catalog.
Implementadas melhorias de desempenho para carregar apenas a tab ativa no Editor SQL, diminuindo o tempo de carregamento inicial em até 20%.
Os comentários de tabela gerados por IA no Catalog Explorer agora estão disponíveis para o público geral.
Conserta:
As barras nos gráficos de barras temporais agora estão centralizadas sobre a marca da data.
O rótulo de dados padrão com expressões agregadas agora usa os formatadores numéricos apropriados.
O zoom em novos gráficos agora funciona com uma escala definida como categórica usando dados temporais.
19 de outubro de 2023
Melhorias:
Arrastar e soltar no navegador de esquema já está disponível.
Conserta:
As instruções da dica de ferramenta de seleção de legenda especificam que os usuários do Mac usam
cmd
e os usuários do Windows usamctrl
.
Gráficos com dados truncados exibem cores consistentes conforme vistas no editor.
12 de outubro de 2023
Melhorias:
Novos gráficos suportam rótulo de dados
@@name
no gráfico de dispersão.Formatos de porcentagem personalizados se aplicam a dicas de ferramentas de gráficos agrupados em novos gráficos.
A UI da extensão de vinculação workspace é GA.
A linhagem é GA.
Conserta:
Melhor renderização do rótulo em novos gráficos para evitar que o rótulo se espalhe para fora dos limites do gráfico.
Aumentou o contraste das linhas de escala e grade em novos gráficos para melhorar a visibilidade.
Aumento do espaçamento dos rótulos dos eixos para melhorar a legibilidade em novos gráficos.
5 de outubro de 2023
Melhorias:
Passar o mouse sobre uma série em um gráfico agora escurece a série ao redor na dica de ferramenta para melhorar a legibilidade em novos gráficos.
Novos gráficos que usam valores percentuais agora exibem dicas de ferramentas com valores absolutos.
Adicionado suporte de preenchimento automático para criação de volumes.
Fechar uma tab não ativa não alterna mais tab.
A execução selecionada indica claramente ao destacar o texto.
Conserta:
Melhor redação da mensagem de erro em tabelas dinâmicas quando os dados são truncados.
Corrigido um erro de renderização em tabelas dinâmicas em que as cores não eram exibidas ao usar tipos de dados BigInt.
Ao downloads PNGs em novos gráficos com vários itens de legenda, removeu o símbolo de cor para entradas de legenda excedentes.
As linhas nos novos gráficos manterão uma espessura consistente mesmo no limite superior view .
As Delta Live Tables são detectadas corretamente pelo SQL Parser e não aparecerão como tabelas inválidas no Schema Browser.
Dicas de ferramentas foram adicionadas à barra lateral.
28 de setembro de 2023
Melhorias:
A melhoria da história das tabelas Delta no Catalog Explorer inclui a adição de filtros para intervalo de datas, usuário e tipo de operações, bem como colunas classificáveis e links embutidos para Jobs e Notebook associados.
Suporte ao modo escuro adicionado a legendas, dicas de ferramentas e visualização de tabela.
21 de setembro de 2023
Melhorias:
O desempenho de renderização da tabela dinâmica foi aprimorado.
Novo padrão DuBois para view tabular de linhagem na UI.
14 de setembro de 2023
Melhoria:
Os nomes dos arquivos agora são preservados ao downloads PNGs em novas visualizações de gráficos. Consulte Novas visualizações de gráfico no Databricks.
7 de setembro de 2023
Databricks SQL versão 2023.40 disponível
Rollout programador
Lançamento de visualização para 2023.40: Entre 5 de setembro de 2023 e 11 de setembro de 2023
Implementação atual para 2023.40: Entre 18 de setembro de 2023 e 25 de setembro de 2023
Mudanças em 2023.40:
As tags agora estão disponíveis no Unity Catalog.
O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento query e a invocação.
Suporte ao driver Databricks ODBC/JDBC.
Habilite o rótulo da coluna de série temporal.
Novas funções SQL de bitmap.
Funções de criptografia aprimoradas.
Suporte Unity Catalog para
REFRESH FOREIGN.
INSERT BY NAME
agora é suportado.Compartilhe view materializada com Delta compartilhamento.
Atualizações da interface do usuário
Melhorias:
Novos gráficos estão agora disponíveis, apresentando desempenho de renderização mais rápido, cores bonitas e interatividade aprimorada. Consulte Novas visualizações de gráfico no Databricks.
Na view gráfica do Perfil query , agora é possível view o tipo join em qualquer nó que contenha uma join no plano query .
O Data Explorer foi renomeado para Catalog Explorer para reconhecer o fato de que você pode usá-lo para trabalhar com todos os objetos protegíveis no Unity Catalog, não apenas com objetos de dados. Consulte O que é o Catalog Explorer?.
31 de agosto de 2023
Novo recurso:
As tags para Unity Catalog estão em Public Preview. O senhor pode usar o site tags para simplificar a pesquisa e a descoberta de seus dados ativos. Consulte Aplicar tags a objetos protegíveis do Unity Catalog.
24 de agosto de 2023
Melhoria:
O preenchimento automático para de sugerir recomendações depois que você pressiona a barra de espaço.
O Schema Browser não vê mais
live
Delta Live Tables como tabelas quebradas.
16 de agosto de 2023
Melhoria:
A lista dropdown Catálogo no editor SQL agora fecha quando você alterna tab. Anteriormente, quando você trocava tab, o dropdown permanecia aberto.
10 de agosto de 2023
Melhoria:
O preenchimento automático agora oferece suporte à nova sintaxe para definir as tags Unity Catalog . Para obter informações sobre comandos, consulte Referência de linguagem SQL.
3 de agosto de 2023
Melhorias:
O Monaco Editor subjacente agora usa a versão 37.1.
Suporte de preenchimento automático para comandos Delta
SHOW ARCHIVED FILES FOR
.
27 de julho de 2023
Melhorias:
O editor SQL agora é compatível com os caracteres de nova linha do Windows, garantindo que a formatação query funcione conforme o esperado em todos os casos.
Você pode abrir a navegação do perfil query nos resultados Notebook . Para query, execute sua query com o SQL warehouse.
20 de julho de 2023
Databricks SQL versão 2023.35 disponível
Rollout programador
Lançamento de visualização para 2023.35: Entre 18 de julho de 2023 e 24 de julho de 2023
Lançamento atual para 2023.35: Entre 31 de julho de 2023 e 8 de agosto de 2023
Mudanças em 2023.35:
Confiabilidade aprimorada para
VACUUM
com clone raso no Unity Catalog.Suporte para UDFs Python em SQL.
Delta Lake UniForm para Iceberg está em pré-visualização pública.
clusters líquidos do Delta Lake estão em pré-visualização pública.
Suporte de arquivo para Delta Lake.
Suporte à cláusula IDENTIFIER.
Suporte Unity Catalog para Python e Pandas User-Defined Functions (UDFs).
Melhoria:
A popularidade da tabela no Catalog Explorer está disponível para todos os usuários do Unity Catalog.
13 de julho de 2023
Melhoria:
Os usuários do Unity Catalog agora podem view tabelas adicionais no Catalog Explorer, como tabelas frequentemente unidas, usuários frequentes de uma determinada tabela e Notebook e painéis usados com frequência.
22 de junho de 2023
Visualização pública:
O Databricks SQL agora oferece suporte a modelos de linguagem grandes (LLMs) hospedados no endpoint de serviço de modelo. Ligue para
ai_query()
para acessar seu LLM. Esta função está disponível apenas na visualização pública no Databricks SQL Pro e serverless. Para participar do Public Preview, envie o formulário de inscrição do IA Functions Public Preview.
15 de junho de 2023
Novo recurso:
SQL tarefa in Jobs já estão disponíveis de forma geral. O senhor pode orquestrar consultas, painéis e alertas na página Jobs. Consulte SQL tarefa for Job.
Um novo navegador de esquema está agora em visualização pública, com recurso de UX atualizado,Para você tab e filtros aprimorados. O navegador de esquema está disponível em Databricks SQL, Catalog Explorer e Notebook. Consulte Navegar pelos dados.
8 de junho de 2023
DBSQL versão 2023.30 disponível
Mudanças em 2023.30
Novas funções SQL integradas, como
array_prepend(array, elem)
,try_aes_decrypt(expr, key [, mode [, padding]])
esql_keywords()
.Agora você pode usar o clone superficial para criar novas tabelas de gerenciamento do Catálogo do Unity a partir de tabelas de gerenciamento do Catálogo do Unity existentes. Consulte Clone superficial para tabelas Unity Catalog .
Agora você pode usar
CLONE
eCONVERT TO DELTA
com tabelas Iceberg que possuem partições definidas em colunas truncadas dos tiposint
,long
estring
. Colunas truncadas do tipodecimal
não são suportadas.START VERSION
agora está obsoleto paraALTER SHARE
.
1º de junho de 2023
Melhorias:
Os dados binários agora serão renderizados como strings hexadecimais ao usar o formato de seta.
Na API de instrução SQL, o formato CSV agora é compatível com a disposição
EXTERNAL_LINKS
. Isso permite que os clientes extraiam até 100 GiB de dados no formato CSV com URLs pré-assinados, enquanto o limiteINLINE
para JSON é de 16 MiB.
O Databricks SQL Pro está disponível em todas as regiões. O SQL Pro agora é o warehouse default na UI. O default da API ainda é Clássico.
29 de maio de 2023
Novo recurso:
Agora você pode usar a IU de adição de dados para carregar dados de um caminho de armazenamento de objeto cloud definido como um local externo do Unity Catalog. Para obter mais informações, consulte Carregar uso de dados em um local externo do Unity Catalog.
25 de maio de 2023
Melhorias:
Agora você pode alternar o painel de resultados de preenchimento automático.
Desative a key enter para que ela não aceite mais sugestões de preenchimento automático. Em DBSQL User Settings, clique em Editor Settings e em New Editor settings. Desligue * key Enter aceita sugestões de preenchimento automático*.
Conserta:
Os cabeçalhos das tabelas classificadas agora têm cores.
As linhas do gráfico agora são renderizadas corretamente.
18 de maio de 2023
Melhoria:
Na API de instrução SQL, a disposição
EXTERNAL_LINKS
agora suporta o formatoJSON_ARRAY
. Você pode extrair até 100 GiB de dados no formato JSON com URLs pré-assinados. O limiteINLINE
para JSON é 16 MiB.
11 de maio de 2023
Novo recurso:
O Schema Browser agora está disponível para todos no Catalog Explorer.
Melhorias:
A exibição do painel de detalhes da tabela em foco é menos sensível.
A key de escape agora fecha o painel de preenchimento automático.
as definições view agora têm realce de sintaxe na tab de detalhes do Catalog Explorer.
Conserta:
As tabelas dinâmicas agora são renderizadas corretamente em dispositivos Windows.
As sugestões de conclusão agora seguem corretamente o caso da primeira palavra-chave.
4 de maio de 2023
Databricks SQL versão 2023.26 disponível
Rollout programador
Lançamento de visualização para 2023.26: Entre 19 de abril de 2023 e 25 de abril de 2023
Lançamento atual para 2023.26: Entre 3 de maio de 2023 e 10 de maio de 2023
Mudanças em 2023.26
Photon retorna um erro se um arquivo for modificado entre o planejamento e a execução query .
Novo recurso e suporte estendido para o recurso Predictive I/O. Consulte Databricks Runtime 13.0 (EoS).
Use o conector Databricks para se conectar a outro workspace Databricks.
CREATE TABLE LIKE
recurso para tabelas Delta.Novos campos de coluna de metadados denotando o início e comprimento do bloco de arquivo.
Novas funções geoespaciais H3. Veja funções geoespaciais H3.
Novas funções do SQL integrado. Consulte Databricks Runtime 13.0 (EoS).
Atualizações da interface do usuário
Melhorias:
Os administradores podem alterar os proprietários do depósito usando a interface do usuário ou a API. Consulte gerenciar a SQL warehouse.
O Catalog Explorer agora exibe account entidade de serviço em listas de usuários para ativos no Unity Catalog. Por exemplo, account entidade de serviço fica visível ao editar privilégios ou alterar proprietários no Catalog Explorer.
O rótulo de gráfico personalizado oferece suporte à capacidade de fazer referência a qualquer coluna no dataset.
Os filtros do painel agora carregam os nomes das colunas, mesmo ao usar query que não possuem informações de catálogo ou esquema.
27 de abril de 2023
Melhorias:
O editor SQL agora conta com o editor Monaco para uma experiência de edição mais confiável.
A página da lista de história SQL (query) agora inclui o Dubois Design System.
20 de abril de 2023
Melhorias:
Apresenta novas tabelas dinâmicas que permitem agregar mais de 64 mil resultados.
As tabelas e visualizações Databricks SQL agora oferecem suporte a BigInt, decimais de 38 bits e caracteres não UTF-8. Para números, a configuração default agora é precisão de dígito definida pelo usuário.
O preenchimento automático agora sugere join anterior frequente para tabelas Unity Catalog , com tecnologia de dados de linhagem Unity Catalog no Databricks Runtime 12.0e acima.
13 de abril de 2023
Novo recurso:
O tipo
TIMESTAMP_NTZ
representa valores que compreendem os campos ano, mês, dia, hora, minuto e segundo. Todas as operações são realizadas independentemente do fuso horário. Veja o tipo TIMESTAMP_NTZ.
Melhorias:
Os usuários agora podem enviar resultados formatados em alertas usando as tags
QUERY_RESULT_TABLE
em uma mensagem de alerta personalizada.Os usuários agora podem view o tamanho dos dados do arquivo para tabelas Unity Catalog no Catalog Explorer.
6 de abril de 2023
Databricks SQL versão 2023.20 disponível
Rollout programador
Lançamento de visualização para 2023.20: Entre 15 de março de 2023 e 23 de março de 2023
Lançamento atual para 2023.20: Entre 27 de março de 2023 e 3 de abril de 2023
Mudanças em 2023.20
A evolução do esquema Delta Lake dá suporte à especificação de colunas de origem em instruções merge .
Remova todos os elementos NULL de um array usando array_compact.
Para anexar elementos a um array, use array_append.
Para anonimizar valores strings confidenciais, use a função de máscara.
Condições de erro comuns agora retornam SQLSTATE.
Invoque funções geradoras com valor de tabela na cláusula
FROM
regular de uma query.Use as funções
from_protobuf
eto_protobuf
para trocar dados entre tipos binários e struct. Consulte Ler e gravar buffers de protocolo.Consistência aprimorada para comportamento commit Delta para transações vazias relacionadas aos comandos
update
,delete
emerge
.mudança de comportamento
O recurso de alias da coluna lateral apresenta alterações de comportamento durante a resolução de nomes. Consulte Mudanças de comportamento.
3 de abril de 2023
Novo recurso:
A página Criar ou modificar tabela a partir de arquivo upload agora é compatível com o upload de arquivo JSON. Para obter mais informações, consulte Criar ou modificar uma tabela usando o arquivo upload.
30 de março de 2023
Melhorias:
Na página de monitoramento do depósito, agora o senhor pode acessar view o histórico da consulta para o intervalo de tempo selecionado junto com os gráficos de escala. O senhor também pode acessar view as consultas em execução e em fila, as sessões SQL ativas, o status do depósito e a contagem atual de clusters. Consulte Monitorar um SQL warehouse.
clusters de mapas agora estão desativados por default nos mapas de marcadores.
Dicas de ferramentas para truncamento de visualização e limites de renderização foram adicionadas.
Conserta:
Os gráficos agora respeitam a ordem original quando a classificação está desabilitada para os valores dos eixos e o gráfico possui o agrupamento por coluna.
23 de março de 2023
Melhorias:
As visualizações agora oferecem suporte à divisão de tempo por semana.
Total
agora calcula todos os dados além de 100 X 100 células até 64k resultados em tabelas dinâmicas Notebook .Os usuários agora podem formatar valores de células na nova tabela dinâmica Notebook .
Arquivo, query e linhagem de repositório de recursos estão disponíveis.
9 de março de 2023
Novo recurso:
A API de Execução de Instrução Databricks SQL agora está disponível em Visualização Pública. Execução de instrução fornece endpoint que está executando instruções SQL em um Databricks SQL warehouse. Ele também pode verificar o status, buscar resultados e cancelar uma instrução SQL em execução.
Melhoria:
O console de administração do SQL foi combinado com as configurações gerais de administração para criar uma experiência unificada para os usuários administradores. Todas as configurações de administração do SQL agora são acessadas no console de administração.
destino de alerta agora são chamados de destinos de notificação.
Conserta:
As tabelas não exibem mais duas barras de rolagem.
Os títulos de widgets em branco não são mais substituídos nos painéis.
23 de fevereiro de 2023
Melhoria:
TINYINT
agora é suportado em tabelas de resultados no Notebook.
Consertar:
Correção de um bug em que a rolagem no modal de filtro do painel de criação resultava em um erro.
16 de fevereiro de 2023
Melhorias:
Os rótulos de dados nos gráficos agora mostram mais caracteres para evitar descrições truncadas.
O preenchimento automático agora reconhece as funções
range()
e Python UDFcreate
.O preenchimento automático agora evita iniciar snippets em decimais e nos comentários do código.
Conserta:
Os usuários agora podem ampliar os mapas.
No Notebook, as cores agora são atribuídas corretamente aos gráficos.
2 de fevereiro de 2023
Melhorias:
Suporte para
DESCRIBE DETAILS
no editor.Velocidade de carregamento do navegador de esquema aprimorada.
Agora você pode view uma lista de colunas possíveis no painel lateral de um
SELECT *
.
26 de janeiro de 2023
Melhoria:
As mensagens de erro da sua queryagora incluem links para o tópico de documentação relacionado que descreve o erro.
19 de janeiro de 2023
Melhorias:
Agora você pode encontrar um painel O que há de novo que destaca key aprimoramentos. Você pode abrir e fechar este painel clicando no ícone de presente.
Os administradores agora podem alterar a propriedade do SQL warehouse.
Agora você pode filtrar várias visualizações em um painel clicando em Adicionar > Filtro e selecionando a query e as colunas para filtragem.
12 de janeiro de 2023
Melhorias:
Os títulos de widgets de visualização nos painéis agora são formatados como Nome da visualização - nome query por default.
Funções geoespaciais H3 adicionadas à referência do painel embutido.
Referências embutidas adicionadas para sintaxe SQL como
CREATE TABLE
eOVER
.
Conserta:
A classificação e alternância reversa agora estão disponíveis quando a escala do eixo X é definida como automática.
Mapas de calor e tabelas dinâmicas agora respondem a certos casos extremos.
As marcas de escala categóricas do eixo Y agora são classificadas por default.
rascunhos query não são mais perdidos depois de refresh o navegador.
8 de dezembro de 2022
Os alertas Databricks SQL agora oferecem suporte a alertas para agregações de colunas de resultados query , como
SUM
,COUNT
eAVG
.O título de visualização default agora é 'VisualizationName - QueryName' ao criar novos widgets em painéis.
17 de novembro de 2022
alerta:
Chatworks, Mattermost e Google Hangouts Chat não são mais destinos de notificação.
Melhoria:
O eixo y agora exibe números como porcentagens ao verificar valores percentuais.
A configuração do administrador do espaço de trabalho para desativar a UI de dados de upload agora se aplica à nova UI de dados de upload. Essa configuração se aplica a ciência de dados e engenharia, Databricks Mosaic AI e Databricks SQL personas.
Conserta:
Correção de um problema nos alertas Databricks SQL em que a comparação com valores nulos era avaliada incorretamente.
Correção de um problema em que as barras de rolagem nas tabelas dinâmicas desapareciam.
Correção de um problema em que o navegador de esquema não podia ser redimensionado com tab transbordada.
10 de novembro de 2022
Melhoria:
Agora você pode criar um filtro de painel que funcione em várias query ao mesmo tempo. No modo Editar painel, escolha Adicionar, Filtro e Novo filtro de painel.
O preenchimento automático agora suporta
CREATE MATERIALIZED VIEW
.
Consertar:
Correção de um problema em que a rolagem até o final de um conjunto de resultados paginados do painel enviava um erro.
Correção de um problema em que alternar de um gráfico de barras empilhadas para um gráfico de linhas mantinha a propriedade de empilhamento.
Chamadas de busca duplicadas corrigidas.
3 de novembro de 2022
Melhoria:
Ao solicitar acesso no Databricks SQL, a permissão default agora é “can execução”.
Conserta:
Correção de um problema em que a classificação por
created_at
usando a API query e painéis não retornava a ordem de classificação correta.Corrigido um problema em que as colunas contendo URLs com formatação HTML tinham larguras de coluna excessivamente largas.
Corrigido um problema em que a palavra-chave
WHERE
não era destacada.
27 de outubro de 2022
Melhorias:
O limite de linhas para downloads de resultados query para o Excel foi aumentado de 64.000 linhas para 100.000 linhas. Os limites downloads de CSV e TSV permanecem inalterados (cerca de 1 GB de dados).
O preenchimento automático agora oferece suporte à sintaxe, URLs e credenciais
LIST
.Painéis de sugestões Fix-me consolidados e modernizados.
Conserta:
Correção de um problema em que o banner de aviso no editor se sobrepunha às visualizações de altura total.
Corrigido um problema em que a largura da coluna da tabela não era preservada quando as colunas da tabela eram movidas.
Corrigido um problema em que o link para o painel em notificações pop-up era interrompido se uma visualização fosse adicionada do editor SQL.
20 de outubro de 2022
Melhorias:
Agora você pode encontrar a barra de progresso query no rodapé e editar uma ação de visualização no menu kebab.
O preenchimento automático agora suporta Delta viagem do tempo e fornece preenchimento automático de coluna ao definir uma key estrangeira.
Consertar:
Correção de um problema em que adicionar várias visualizações a um painel em rápida sucessão resultaria em visualizações que não apareceriam no painel.
13 de outubro de 2022
Melhorias:
Agora você pode remover as mensagens de erro relatadas.
COMMENT ON
instrução agora é suportada no editor.Agora você pode usar Cmd+P ou Ctr+P (para PC) como um atalho para a pesquisa principal. Use Cmd+I ou Ctr+I (para PC) para Adicionar parâmetros.
11 de outubro de 2022
Melhorias:
A UI de adição de dados fornece acesso a configurações comuns de fontes de dados e a UIs de arquivos upload. Consulte Upload de arquivos para a Databricks.
O senhor pode fazer upload de pequenos arquivos para o Delta Lake usando uma interface de usuário. Consulte Criar ou modificar uma tabela usando o upload de arquivos.
6 de outubro de 2022
Melhorias:
EXTERNAL
agora é uma propriedade de tabela reservada. Os comandosCREATE TABLE ... TBLPROPERTIES
eALTER TABLE ... SET TBLPROPERTIES
falharão seEXTERNAL
for especificado nas propriedades.O
strfmt
emformat_string(strfmt, obj, ...)
eprintf(strfmt, obj, ...)
não suporta mais o uso de0$
como o primeiro argumento. O primeiro argumento deve ser referenciado por1$
ao usar um índice de argumento para indicar a posição do argumento na lista de argumentos.segmentos de gráfico pie agora têm uma borda fina para delinear segmentos diferentes.
Agora você pode usar Cmd+I (para Mac) ou Ctr+I (para PC) como um atalho para Adicionar parâmetro. Use Cmd+P ou Ctr+P (para PC) como um atalho para pesquisa global.
Um botão de feedback está disponível para mensagens de erro query boas ou ruins.
As sugestões de correção agora estão disponíveis como Correção rápida.
Conserta:
lpad
e as funçõesrpad
agora funcionam corretamente com entradas stringsBINARY
. A saída delpad
erpad
paraBINARY
strings de entrada agora é umBINARY
strings.Corrigido um problema em que refresh de alerta manual não estava funcionando.
Alterações revertidas no dimensionamento automático do contador para corrigir problemas de formatação.
29 de setembro de 2022
Melhorias:
Agora você pode solicitar acesso à query Databricks SQL, alertas e painéis dos proprietários desses ativos.
Agora você pode filtrar por duração query e tipo de instrução na página de história query .
Para usar o filtro de duração query , insira um período de tempo e escolha uma unidade de tempo. O resultado da história retorna query com execução mais longa que o tempo especificado.
Para usar o filtro de tipo de instrução, escolha um tipo de instrução no dropdown. O resultado da história retorna query contendo essa instrução.
Consertar:
Corrigido um problema em que nem todas as tags HTML suportadas funcionavam no padrão de alerta personalizado. Todas as tags estão disponíveis conforme documentado.
Corrigido um problema em que a notificação de visualização é exibida. Por exemplo, clicar duas vezes para diminuir o zoom em uma visualização não era exibido anteriormente.
Correção de um problema em que a troca de eixos em um gráfico não era refletida no nome do gráfico.
22 de setembro de 2022
Melhorias:
Widgets de contador do mesmo tamanho terão o mesmo tamanho de fonte quando vários widgets de contador forem exibidos em um painel.
Gráficos de combinação atualizados para que, ao usar eixo duplo, apenas o mesmo tipo de gráfico (por exemplo, linha, barra) possa ser usado no mesmo eixo. Aliases de série também são aplicados ao eixo.
Adicionado suporte de preenchimento automático para key substituta e operações
LIST
.
Consertar:
Corrigido o problema em que os parâmetros de texto não aceitavam
Null
como um valor válido.
15 de setembro de 2022
Consertar:
Correção de um problema em que a exibição do histórico query na página de listagem SQL warehouse não funcionava.
8 de setembro de 2022
Melhoria:
Apresentando o novo cartão 'Open Source Integrations' nas páginas iniciais DSE/SQL que exibe opções de integração de código aberto, como Delta Live Tables e dbt core.
Consertar:
Corrigido um problema em que os menus dropdown de parâmetros eram bloqueados pela tab de visualização.
1º de setembro de 2022
Melhorias:
Apresentando uma nova IU simplificada para adicionar parâmetros e filtros. Escolha <button>+</button> e escolha adicionar um filtro ou parâmetro.
Os parênteses de tokens SQL, como 'OVER()' agora são preenchidos automaticamente.
Conserta:
Correção de um problema em que a exibição do painel em tela inteira ignorava a paleta de cores.
Correção de um problema em que digitar rapidamente e, em seguida, usar o atalho <span texecuçãoslate="no">1execução <span texecuçãoslate="no">2executar o texto query anterior, em vez do texto query recém-digitado.
Corrigido o problema em que, ao usar o comando do teclado, ctrl+enter para executar query , query era duplicada.
25 de agosto de 2022
Consertar:
Correção de um problema em que os filtros do painel não eram atualizados quando os parâmetros query eram alterados.
18 de agosto de 2022
Documentação: A documentação da API de alertas foi lançada.
Visualizações: os usuários agora podem definir valores default para filtros de data. Sempre que o filtro é atualizado em uma query ou painel, o valor default é aplicado.
Conserta:
Correção de um problema em que aplicar alterações não funcionava se um painel ainda estivesse sendo recarregado.
Corrigido um problema em que as colunas eram muito estreitas quando uma query não retorna resultados.
11 de agosto de 2022
Melhorias:
Os usuários podem receber email quando a refresh falha. Para ativar essas notificações, navegue até a tab de configurações SQL do console administrativo. Em emailde falha, escolha o tipo de objeto (query, Dashboard ou alerta) para o qual deseja receber notificações de falha. Os relatórios de falha são enviados a cada hora.
Visualizações
Apresentando uma paleta de cores nova e moderna para visualizações e painéis. Para alterar um painel para a nova paleta de cores, vá para o seu painel, clique em <button>Editar</button> -> <button>Cores</button> -> <button>Importar</button> e selecione a Cor do Databricks Paleta. Os administradores SQL também podem definir a nova paleta de cores como a opção default para um workspace acessando <button>Configurações</button> -> <button>QL Admin Console</button> -> <button>coresworkspace </button> -> <button>Importar</button> e selecionando a nova paleta.
Conserta:
Correção de um problema em que a seleção anterior de <button>Aplicar alterações</button> para aplicar um filtro não funcionava se uma query já estava sendo executada.
4 de agosto de 2022
Melhorias:
Ao clonar um painel, agora existe a opção de clonar ou não query .
o conteúdo tab é sincronizado na tab do navegador. O estado da sua query agora estará sincronizado em todas tab do navegador. Isso significa que, se você estiver trabalhando na consulta1 na tab 1 do navegador e, em seguida, alternar para tab 2 do navegador, verá a consulta1 no estado em que a deixou na tab original do navegador .
Consertar:
Os rótulos para strings vazias no gráfico pie agora refletem que a string está vazia em vez do índice do valor.
28 de julho de 2022
alerta
O email padrão de alerta personalizado foi atualizado para não permitir certas tags HTML que podem representar um risco à segurança. tags e atributos HTML não permitidos são automaticamente limpos. Por exemplo, <button> é uma tags HTML não permitida , portanto, em vez de renderizar um botão, o texto “button” é exibido. Consulte alerta para obter a lista de tags e atributos HTML permitidos.
Os usuários agora podem inscrever outros usuários em alertas sem precisar criar um destino de notificação, o que requer permissões de administrador.
downloadss: os usuários agora podem downloads até aproximadamente 1 GB de dados de resultados do Databricks SQL no formato CSV e TSV, acima das 64.000 linhas anteriormente.
Visualizações
Agora você pode editar as visualizações diretamente no painel. No modo de edição, clique no menu kebab e selecione Editar visualização para começar a editar a visualização.
Quando os resultados downloads estão associados a uma visualização que utiliza agregações, os resultados downloads também são agregados. A opção de downloads está passando do kebab inferior para o kebab associado à tab. Os resultados dos downloads são da execução mais recente da query que criou a visualização.
Editor SQL: As tabelas de resultados agora exibem uma mensagem quando os dados exibidos pela tabela no navegador são limitados a 64.000 linhas. downloads de TSV e CSV ainda terão aproximadamente 1 GB de dados.
filtros query :
Os filtros de consulta foram atualizados para funcionar dinamicamente no lado do cliente ou do servidor para otimizar o desempenho. Os filtros query anteriores (agora herdados) operavam apenas no lado do cliente. Os usuários ainda podem usar filtros herdados com a sintaxe
::
, se desejarem.Os filtros atualizados são mais simples: os usuários clicam em um botão +Adicionar filtro e selecionam uma coluna em um dropdown. Anteriormente, os usuários precisavam modificar o texto query diretamente.
Os valores relevantes são realçados para facilitar a visualização de quais seleções dentro de um filtro retornarão resultados de acordo com outras seleções de filtro.
histórico query : os detalhes query na história query agora mostram a Origem query , que é a origem da query executada .
21 de julho de 2022
Notificações ao compartilhar: os usuários agora serão notificados por email sempre que um painel, query ou alerta for compartilhado com eles.
Experiência aprimorada do editor SQL por meio do novo kit de ferramentas do editor incorporado
Realce de erro de sintaxe ao vivo (por exemplo, palavra-chave errada, tabela inexistente e sugestões para corrigir o erro)
Na ajuda de contexto: ao passar o mouse (por exemplo, nome completo da tabela, painel de função detalhado) e mensagens de erro de execução em linha (por exemplo, destacar linha com erro após a execução)
Classificação inteligente de sugestões (por exemplo, preenchimento automático de parâmetros, fórmula de classificação, correspondência menos ruidosa)
14 de julho de 2022
Agora você pode fazer upload de arquivos TSV usando a IU
Create Table
, além de arquivos CSV.Databricks SQL agora oferece a opção de notificar os usuários por e-mail sempre que um painel, query ou alerta for compartilhado com eles.
As tabelas de visualização agora incluem opcionalmente números de linha exibidos ao lado dos resultados.
Ao selecionar uma região geográfica para a visualização Cloropleth, agora você obtém dicas em linha para os valores aceitos.
23 de junho de 2022
Alteração do nome SQL endpoint : Databricks mudou o nome do SQL endpoint para SQL warehouse porque é mais do que apenas um ponto de entrada da API para executar o comando SQL. Um SQL warehouse é um recurso de computação para todas as suas necessidades data warehousing , parte integrante da plataforma Databricks. recurso compute são recursos de infraestrutura que fornecem capacidades de processamento na nuvem.
Para visualizações Choropleth, as seleções de coluna key e campo de destino no editor de visualização foram renomeadas para Coluna geográfica e Tipo geográfico. Essa renomeação para facilitar a compreensão não introduz nenhuma alteração de comportamento em Choropleths novos ou existentes.
A opção query limit 1000 foi movida de uma caixa de seleção no editor query SQL para uma caixa de seleção no botão de execução.
query em cache na tabela de histórico query agora são marcadas com tags de cache.
A atualização manual de um painel usa o warehouse do painel (se disponível) em vez do warehouse de cada queryindividual.
Atualizar um alerta sempre usa o warehouse do alerta, independentemente da configuração de execução como Viewer/Owner.
9 de junho de 2022
Ao passar o mouse sobre o seletor endpoint , o nome completo endpoint é exibido como uma dica de ferramenta.
Ao filtrar no navegador de esquema do editor SQL, o termo de pesquisa agora é realçado nos resultados da pesquisa.
A caixa de diálogo Fechar tudo no editor SQL agora exibe uma lista de query não salvas.
Para reabrir a última tab fechada no editor SQL, use este novo atalho de teclado:
<Cmd> + <Shift> + <Option> + T
Agora você pode adicionar rótulos de dados a gráficos de combinação.
A lista de operações de agregação de visualização agora inclui variância e desvio padrão.
26 de maio de 2022
Melhorias de autoria:
Agora você pode ignorar agregações ao criar visualizações. Isso é particularmente útil quando sua query já inclui uma agregação. Por exemplo, se sua query for
SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio
, o editor de gráficos exigia anteriormente a especificação explícita de outra camada de agregação.Ao criar painéis, agora você pode:
Duplicar widgets de caixa de texto
Expanda o tamanho do painel da caixa de texto de edição
A agregação default para a coluna de erro ao criar visualizações é o desvio padrão.
Conserta:
As ações de edição para visualizações estão disponíveis apenas quando o painel está no modo de edição. As ações de edição não estão mais disponíveis como uma ação do modo view .
Quando você cria uma nova query, ela é aberta em uma tab imediatamente à direita da tab em foco, e não no final da lista.
O modal query aberta mostra qual query já está aberta e oferece a opção de alternar o foco para essa tab query.
Os gráficos Sankey & Sunburst não tratam mais 0 como nulo.
19 de maio de 2022
Problema corrigido: Quando você tem o foco do editor SQL aberto em uma tab de visualização específica e compartilha o link com outro usuário, o usuário terá o mesmo foco no editor SQL ao clicar no link compartilhado.
Melhorias:
O Microsoft Teams agora é um destino de notificação com suporte.
Os parâmetros Intervalo de data, Intervalo de data e hora e Intervalo de data e hora (com segundos) agora suportam a opção de designar o dia inicial da semana, com domingo como default.
12 de maio de 2022
As visualizações agora oferecem suporte à divisão de tempo diretamente na interface do usuário. Agora você pode alternar facilmente entre compartimentos anuais, mensais, diários ou horários de seus dados alterando um valor dropdown em vez de adicionar e modificar uma função
date_trunc()
no próprio texto query .Os painéis agora têm consistência de cores por default. Se você tiver a mesma série em vários gráficos, a série sempre terá a mesma cor em todos os gráficos – sem exigir nenhuma configuração manual.
3 de maio de 2022
Ao compartilhar um painel com um usuário ou grupo, agora também fornecemos a capacidade de compartilhar todas query upstream usadas por visualizações e parâmetros.
Quando você não tem permissão para compartilhar uma ou mais query upstream, você receberá uma mensagem de aviso informando que nem todas query podem ser compartilhadas.
As permissões concedidas ao compartilhar um painel não substituem, negam ou expandem as permissões existentes nas consultas upstream. Por exemplo, se um usuário ou grupo tiver permissões de execução CAN como Proprietário no painel compartilhado, mas tiver apenas permissões de execução como Visualizador em uma consulta upstream, as permissões efetivas nessa consulta upstream serão de execução como Visualizador.
Problemas conhecidos
As leituras da fonte de dados que não sejam Delta Lake no SQL endpoint com balanceamento de carga de vários clusters podem ser inconsistentes.
As tabelas Delta acessadas no Databricks SQL upload seu esquema e as propriedades da tabela para o metastore configurado. Se você estiver usando um metastore externo, poderá ver as informações do Delta Lake no metastore. Delta Lake tenta manter esta informação o mais atualizada possível com base no melhor esforço. Você também pode usar o comando
DESCRIBE <table>
para garantir que as informações sejam atualizadas em seu metastore.Databricks SQL não oferece suporte a deslocamentos de zona como 'GMT+8' como fusos horários de sessão. A solução alternativa é usar um fuso horário baseado na região https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) como 'Etc/GMT+8'. Consulte DEFINIR FUSO HORÁRIO para obter mais informações sobre como definir fusos horários.
Perguntas frequentes (FAQ)
Como as cargas de trabalho do Databricks SQL são cobradas?
As cargas de trabalho Databricks SQL são cobradas de acordo com o SKU compute de trabalhos Premium.
Onde o senhor encontra o SQL endpoint execution?
Assim como os clusters Databricks, SQL endpoint são criados e gerenciados em sua clouds account do Google. SQL endpoint gerencia clusters otimizados para SQL automaticamente em sua account e escala para atender à demanda do usuário final.
Posso usar o endpoint SQL da ciência de dados & engenharia workspace SQL Notebook?
Não. Você pode usar o endpoint SQL de Databricks SQL consultas, ferramentas de BI e outros clientes JDBC e ODBC.
O senhor me concedeu acesso à credencial do provedor de uso de dados a cloud. Por que não consigo acessar esses dados em Databricks SQL?
No Databricks SQL, todo o acesso aos dados está sujeito ao controle de acesso a dados, e um administrador ou proprietário de dados deve primeiro conceder a você os privilégios apropriados.