Databricks SQL notas sobre a versão 2021

A seguir, o senhor descreve as melhorias e atualizações no Databricks SQL de janeiro a dezembro de 2021.

15 de dezembro de 2021

  • O Databricks SQL está disponível de forma geral. Isso representa um marco importante para oferecer aos senhores a primeira plataforma lakehouse que unifica cargas de trabalho de dados, AI e BI em um só lugar. Com o GA, o senhor pode esperar o mais alto nível de estabilidade, suporte e prontidão empresarial da Databricks para cargas de trabalho de missão crítica. Leia os blogs de anúncio da GA para saber mais.

  • alerta agora são agendados independentemente das consultas. Quando o senhor cria um novo alerta e cria uma consulta, é solicitado a criar também um programar para o alerta. Se o senhor já tinha um alerta, duplicamos o programa da consulta original. Essa alteração também permite que o senhor defina o alerta para as consultas de execução como Owner e execução como Viewer. execução como Proprietário consulta a execução no alerta programar designado com a credencial do proprietário da consulta. execução como Viewer consulta a execução no alerta designado programar com a credencial do criador do alerta. Veja o que é Databricks SQL alerta? e programar uma consulta.

  • Agora o senhor pode reordenar os parâmetros no editor SQL e nos painéis.

  • A documentação para criar visualizações de mapas de calor foi expandida. Consulte as opções do mapa de calor.

9 de dezembro de 2021

  • Ao criar uma visualização de tabela, agora você pode definir a cor da fonte de uma coluna como um valor estático ou um intervalo de valores com base nos valores do campo da coluna. O valor literal é comparado ao limite. Por exemplo, para colorir os resultados cujos valores excedem 500000, crie o limite > 500000, em vez de > 500,000. Consulte Formatar condicionalmente as cores das colunas.

  • Os ícones na guia SQL do navegador de esquemas do editor agora permitem que o senhor faça a distinção entre tabelas e visualizações.

1 de dezembro de 2021

  • Agora, o senhor pode aplicar os parâmetros de configuração do site SQL no nível workspace. Esses parâmetros se aplicam automaticamente a todos os pontos de extremidade existentes e novos do SQL no workspace. Consulte Configurar parâmetros SQL.

18 de novembro de 2021

4 de novembro de 2021

  • Em uma visualização de mapa (coropleta), o número máximo de etapas de gradiente para cores na legenda foi aumentado de 11 para 20. O site default tem 5 etapas de gradiente, incluindo a cor mínima e a cor máxima.

  • O editor da guia SQL agora oferece suporte ao gerenciamento de tab em massa. Se o senhor clicar com o botão direito do mouse em tab, verá a opção Fechar outros, Fechar à esquerda, Fechar à direita e Fechar tudo. Observe que se o senhor clicar com o botão direito do mouse no primeiro ou no último tab, não verá as opções Fechar à esquerda ou Fechar à direita.

28 de outubro de 2021

  • Ao acessar view uma tabela no Catalog Explorer, o senhor tem duas opções para simplificar a interação com a tabela:

  • Clique em Criar consulta > para criar uma consulta que selecione todas as colunas e retorne as primeiras 1000 linhas.

  • Clique em Create > Quick Dashboard para abrir uma página de configuração na qual o senhor pode selecionar colunas de interesse e criar um painel e consultas de suporte que forneçam algumas informações básicas usando essas colunas e apresentem parâmetros no nível do painel e outros recursos.

19 de outubro de 2021

  • Novos atalhos de teclado agora estão disponíveis no editor de guias:

  • Abrir novo tab:

    • Windows: Cmd+Alt+T

    • Mac: Cmd+Option+T

  • Fechar aba atual

    • Windows: Cmd+Alt+W

    • Mac: Cmd+Option+W

  • Abrir caixa de diálogo de consultas

    • Windows: Cmd+Alt+O

    • Mac: Cmd+Option+O

23 de setembro de 2021

  • Agora é possível criar um novo painel clonando um painel existente, desde que o senhor tenha as permissões CAN RUN, CAN EDIT e CAN MANAGE no painel e em todas as consultas upstream. Consulte Clonar um painel legado.

  • Agora você pode usar GROUP BY em uma visualização com várias colunas do eixo Y. Consulte o gráfico de dispersão.

  • Agora o senhor pode usar {{ @@yPercent}} para formatar o rótulo dos dados em um gráfico de barras empilhadas não normalizado. Consulte Gráfico de barras.

  • Se o senhor usar a autenticação SAML e sua credencial SAML expirar em alguns minutos, agora será solicitado proativamente a acessar log in novamente antes de executar uma consulta ou atualizar um painel. Isso ajuda a evitar a interrupção devido a uma credencial que expira durante a execução da consulta.

20 de setembro de 2021

  • Agora, o senhor pode transferir a propriedade de dashboards, consultas e alertas usando o site Permissions REST API. Consulte ACLs de consulta.

16 de setembro de 2021

  • Nos resultados da consulta, os resultados BIGINT agora são serializados como strings quando maiores que 9007199254740991. Isso corrige um problema em que os resultados do BIGINT poderiam ser truncados nos resultados da consulta. Outros resultados inteiros ainda são serializados como números. A formatação de números no rótulo do eixo e nas dicas de ferramentas não se aplica aos resultados BIGINT que são serializados como strings. Para obter mais informações sobre tipos de dados em Databricks SQL, consulte o tipo BIGINT.

7 de setembro de 2021

A Databricks está implementando as alterações que se seguem ao longo de uma semana. Seu workspace pode não estar habilitado para essas alterações até depois de 7 de setembro.

  • Databricks SQL está agora em Public Preview e ativado para todos os usuários no novo espaço de trabalho.

Observação

Se o seu workspace foi habilitado para Databricks SQL durante a Public Preview - ou seja, antes da semana que começa em 7 de setembro de 2021 - os usuários mantêm o direito atribuído antes dessa data, a menos que o senhor o altere. Em outras palavras, se um usuário não teve acesso ao Databricks SQL durante a visualização pública, ele não o terá agora, a menos que um administrador o conceda.

  • Os administradores podem gerenciar quais usuários têm acesso ao Databricks SQL atribuindo o direito de acesso ao Databricks SQL (databricks-sql-access na API) a usuários ou grupos. Em default, os novos usuários têm esse direito.

Os administradores podem limitar um usuário ou grupo a acessar somente Databricks SQL e impedir que eles acessem ciência de dados & engenharia ou Databricks Mosaic AI removendo o direito de acesso ao espaço de trabalho (workspace-access no API) do usuário ou grupo. Em default, os novos usuários têm esse direito.

Importante

Para acessar log in e Databricks, o usuário deve ter o direito de acessoDatabricks SQL ou de acesso ao espaço de trabalho (ou ambos).

  • Um pequeno endpoint clássico SQL endpoint chamado Starter é pré-configurado em todos os espaços de trabalho, para que o senhor possa começar a criar dashboards, visualizações e consultas imediatamente. Para lidar com cargas de trabalho mais complexas, é possível aumentar facilmente seu tamanho (para reduzir a latência) ou o número de clusters subjacentes (para lidar com mais usuários concorrentes). Para gerenciar os custos, o starter endpoint está configurado para ser encerrado após 120 minutos parado.

2 de setembro de 2021

  • Os usuários com a permissão CAN EDIT em um dashboard agora podem gerenciar a lista de programação e inscrição do dashboard refresh. Anteriormente, era necessária a permissão CAN MANAGE. Para obter mais informações, consulte Automaticamente refresh a dashboard.

  • Em default, as visualizações não são mais redimensionadas dinamicamente com base no número de resultados retornados, mas mantêm a mesma altura independentemente do número de resultados. Para retornar ao comportamento anterior e configurar uma visualização para redimensionar dinamicamente, ative Redimensionar dinamicamente a altura do painel nas configurações da visualização no painel. Para obter mais informações, consulte Opções de tabela.

  • Se o senhor tiver acesso a mais de um workspace no mesmo account, poderá alternar o espaço de trabalho em Databricks SQL. Clique em Ícone da conta no canto inferior esquerdo de seu Databricks workspace e selecione um workspace para alternar para ele.

01 de julho de 2021

  • O novo Catalog Explorer permite que o senhor explore e gerencie facilmente as permissões em bancos de dados e tabelas. Os usuários podem view detalhes do esquema, visualizar dados de amostra e ver detalhes e propriedades da tabela. Os administradores podem view e alterar os proprietários de objetos de dados, e os proprietários de objetos de dados podem conceder e revogar permissões. Para obter detalhes, consulte O que é o Catalog Explorer?.

  • Os eixos Y nos gráficos horizontais foram atualizados para refletir a mesma ordem das tabelas. Se o senhor tiver selecionado anteriormente a ordem inversa, poderá usar a opção Reverse Order (Ordem inversa ) no eixo Y tab para inverter a nova ordem.

23 de junho de 2021

17 de junho de 2021

  • PhotonO novo mecanismo de execução vetorizada do Databricksestá agora ativado pelo default para o recém-criado endpoint SQL (tanto a UI quanto o REST API). O Photon acelera de forma transparente

    • Grava nas tabelas Parquet e Delta.

    • Muitas consultas SQL. Consulte Limitações.

  • Gerencie facilmente usuários e grupos com CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS e SHOW USERS comandos. Para obter detalhes, consulte Declarações de segurança e Mostrar declarações.

  • O navegador de esquemas do editor de consultas é mais rápido e rápido em esquemas com mais de 100 tabelas. Nesses esquemas, o navegador de esquemas não carregará todas as colunas automaticamente; a lista de tabelas ainda é exibida normalmente, mas as colunas são carregadas somente quando você clica em uma tabela. Essa alteração afeta o autocompletar de consultas no editor de consultas, pois ele depende dessas informações para mostrar sugestões. Até que você expanda uma tabela e carregue suas colunas, essas sugestões não estarão disponíveis.

03 de junho de 2021

  • Os administradores do espaço de trabalho Databricks recém-ativado agora recebem o direito Databricks SQL por default e não precisam mais conceder a si mesmos o direito de acesso Databricks SQL usando o console de administração.

  • Photon está agora em visualização pública e ativado por default para o novo endpointSQL .

  • O balanceamento de carga com vários clusters está agora em visualização pública.

  • Agora o senhor pode permitir a colaboração em dashboards e consultas com outros membros da sua organização usando a permissão CAN EDIT. Consulte Listas de controle de acesso.

26 de maio de 2021

  • SQL analítica é renomeada para Databricks SQL. Essa mudança tem os seguintes impactos voltados para o cliente:

    • As referências na interface do usuário da web foram atualizadas.

    • O direito de conceder acesso ao Databricks SQL foi renomeado:

      • UI: Databricks SQL access (anteriormente SQL analítica access)

      • API SCIM: databricks-sql-access (anteriormente sql-analytics-access)

      Os usuários, grupos e entidades de serviço com o direito anterior foram migrados para o novo direito.

    • As tags dos eventos de auditoria log relacionados a Databricks SQL foram alteradas:

      • O prefixo dos eventos Databricks SQL agora é databrickssql.

      • changeSqlAnalyticsAcl agora é changeDatabricksSqlAcl.

  • Atualizações do painel

13 de maio de 2021

  • O Databricks SQL não tenta mais adivinhar os tipos de coluna. Anteriormente, uma coluna com o formato xxxx-yy-dd era tratada automaticamente como uma data, mesmo que fosse um código de identificação. Agora, essa coluna não é mais tratada automaticamente como uma data. Você deve especificar isso na consulta, se desejar. Essa alteração pode fazer com que algumas visualizações que dependiam do comportamento anterior não funcionem mais. Nesta versão, você pode alterar a opção Ícone de configurações do usuário > Configurações > Compatibilidade com versões anteriores para retornar ao comportamento anterior. Em uma versão futura, removeremos esse recurso.

  • O editor de consultas agora tem um indicador de progresso da consulta. As mudanças de estado agora estão visíveis em uma barra de progresso continuamente atualizada.

    Barra de progresso