O que são tabelas e visualizações?

Tabelas e visualizações são conceitos fundamentais em Databricks para organizar e acessar dados.

Uma tabela é um dataset estruturado armazenado em um local específico, normalmente no formato Delta Lake. As tabelas armazenam dados reais no storage e podem ser consultadas e manipuladas usando SQL comando ou DataFrame APIs, suportando operações como insert, update, delete e merge. Consulte O que é uma mesa?.

A view é uma tabela virtual definida por uma consulta SQL. O site view não armazena dados por si só. Em vez disso, o site view oferece uma maneira de apresentar dados de uma ou mais tabelas em um formato ou abstração específicos. são úteis para simplificar consultas complexas, encapsular a lógica comercial e fornecer uma interface consistente para os dados subjacentes sem duplicar o armazenamento. Consulte O que é um view?

Tabelas e visualização em Unity Catalog

Tabelas e visualizações são controladas usando Unity Catalog. Em Unity Catalog, as tabelas e visualizações estão no terceiro nível do namespace de três níveis (catalog.schema.table), conforme mostrado no diagrama a seguir.

Diagrama do modelo de objeto do Unity Catalog, com foco na tabela

Diferenças entre as tabelas Delta, as tabelas de transmissão e a visualização materializada

A tabela a seguir responde a perguntas frequentes sobre as diferenças entre as tabelas Delta, as tabelas de transmissão e a visualização materializada.

Pergunta

Mesa Delta

ST

MV

O que é isso?

Tabelas padrão armazenadas no formato Delta Lake, suportando transações ACID, imposição de esquema e outros Delta Lake recursos.

Uma tabela Delta regular que foi estendida para casos de uso de transmissão e processamento incremental.

O resultado de uma consulta cujo resultado é sempre pré-computado e correto.

Para quais casos de uso ele é recomendado?

Código processual que faz o seguinte:

  • Ingestão

  • transformações

Código declarativo que faz o seguinte:

  • Ingestão de fontes somente para anexos

  • Transformações de baixa latência

Código declarativo que faz o seguinte:

  • Transformações incrementais

  • lotes transformações

Como é povoado?

Código processual (INSERT, UPDATE, MERGE, substituição de partição usando replaceWhere)

Código declarativo, incluindo:

  • Append transmissão

  • APLICAR MUDANÇAS transmissão

  • Uma vez flui

Consultas declarativas

O que é o tipo de objeto no Unity Catalog?

Tabela

Tabela

View

Quem pode atualizá-lo?

Qualquer escritor que possa atualizar uma tabela Delta.

Somente o site pipeline que define a tabela de transmissão pode atualizá-la.

Somente o site pipeline que define o site materializado view pode atualizá-lo.

Com qual recurso Delta Lake ele é compatível?

Suporta todos os Delta Lake recurso.

Não suporta:

  • Particionamento de líquidos

  • Otimização preditiva

Não suporta:

  • Particionamento de líquidos

  • Otimização preditiva