Google
Cloud Platform
Amazon Web Services
Microsoft AzureEsquema LIVE (legado)
Este artigo fornece uma visão geral da sintaxe e do comportamento herdados do esquema virtual LIVE.
O esquema virtual LIVE é um recurso legado do pipeline Delta Live Tables e é considerado obsoleto. O senhor ainda pode usar o modo de publicação herdado e o esquema virtual LIVE para o pipeline que foi criado com esse modo. Databricks recomenda a migração de todos os pipelines para o novo modo de publicação. O suporte ao esquema virtual LIVE legado e ao modo de publicação legado será removido em uma versão futura do Databricks.
Observação
O senhor não pode usar a UI de configuração do pipeline para criar um novo pipeline com o modo de publicação herdado. Se o senhor precisar implantar um novo pipeline usando a sintaxe LIVE legada, entre em contato com o representante do Databricks account .
O que é o esquema virtual LIVE?
Observação
O esquema virtual LIVE não é mais necessário para analisar a dependência de dataset no modo de publicação default para Delta Live Tables.
O esquema LIVE é um conceito de programação em Delta Live Tables que define um limite virtual para todos os conjuntos de dados criados ou atualizados em um pipeline. Por definição, o esquema LIVE não está vinculado diretamente ao conjunto de dados em um esquema publicado. Em vez disso, o esquema LIVE permite que a lógica em um pipeline seja planejada e executada mesmo que um usuário não queira publicar o conjunto de dados em um esquema.
No modo de publicação legado do pipeline, o senhor pode usar a palavra-chave LIVE para fazer referência a outro conjunto de dados no pipeline atual para leituras, por exemplo, SELECT * FROM LIVE.bronze_table. No modo de publicação default para o novo pipeline Delta Live Tables, essa sintaxe é silenciosamente ignorada, o que significa que os identificadores não qualificados usam o esquema atual. Consulte Definir o catálogo e o esquema de destino.
Modo de publicação de pipeline legado
O esquema virtual LIVE é usado com o modo de publicação do pipeline Delta Live Tables herdado. Todas as tabelas criadas antes de 5 de fevereiro de 2025 usam o modo de publicação legado pelo site default.
A tabela a seguir descreve o comportamento de todas as visualizações materializadas e tabelas de transmissão criadas ou atualizadas em um site pipeline no modo de publicação herdado:
Opção de armazenamento |
Local de armazenamento ou catálogo |
Esquema de destino |
Comportamento |
|---|---|---|---|
Hive metastore |
Nenhum especificado |
Nenhum especificado |
Os metadados e dados do conjunto de dados são armazenados no site DBFS root. Nenhum objeto de banco de dados está registrado no site Hive metastore. |
Hive metastore |
Um URI ou caminho de arquivo para o armazenamento de objetos na nuvem. |
Nenhum especificado |
Os metadados e dados do conjunto de dados são armazenados no local de armazenamento especificado. Nenhum objeto de banco de dados está registrado no site Hive metastore. |
Hive metastore |
Nenhum especificado |
Um esquema existente ou novo no site Hive metastore. |
Os metadados e dados do conjunto de dados são armazenados no site DBFS root. Todas as visualizações materializadas e tabelas de transmissão no site pipeline são publicadas no esquema especificado em Hive metastore. |
Hive metastore |
Um URI ou caminho de arquivo para o armazenamento de objetos na nuvem. |
Um esquema existente ou novo no site Hive metastore. |
Os metadados e dados do conjunto de dados são armazenados no local de armazenamento especificado. Todas as visualizações materializadas e tabelas de transmissão no site pipeline são publicadas no esquema especificado em Hive metastore. |
Unity Catalog |
Um catálogo existente do Unity Catalog. |
Nenhum especificado |
Os metadados e dados do conjunto de dados são armazenados no local de armazenamento default associado ao catálogo de destino. Nenhum objeto de banco de dados está registrado no Unity Catalog. |
Unity Catalog |
Um catálogo existente do Unity Catalog. |
Um esquema existente ou novo no Unity Catalog. |
Os metadados e dados do conjunto de dados são armazenados no local de armazenamento default associado ao esquema ou catálogo de destino. Todas as tabelas de visualização e transmissão materializadas no site pipeline são publicadas no esquema especificado em Unity Catalog. |
Alternar entre os modos de publicação
O pipeline criado no modo de publicação herdado pode optar pelo novo modo de publicação default atualizando a configuração JSON para o pipeline. O senhor pode reverter o pipeline para o modo de publicação herdado depois de ativar o novo comportamento do default, se necessário.
Propriedade |
Comportamento |
|---|---|
|
Configura o pipeline para usar o modo de publicação herdado. Especifique o nome do esquema de destino como uma cadeia de caracteres. |
|
Configura o site pipeline para usar o modo de publicação default, que oferece suporte à atualização da visualização materializada e das tabelas de transmissão em vários esquemas. Especifique o nome do esquema default como uma cadeia de caracteres. |
Consulte a referência das propriedades do Delta Live Tables.
Observação
O senhor não precisa atualizar as propriedades catalog ou storage usadas respectivamente pelos pipelines Unity Catalog e Hive metastore.
Atualize o código-fonte do esquema LIVE
O pipeline configurado para execução com o novo modo de publicação default ignora silenciosamente a sintaxe do esquema LIVE. Em default, todas as leituras de tabela usam o catálogo e o esquema especificados na configuração pipeline.
Para a maioria dos pipelines existentes, essa alteração de comportamento não tem impacto, pois o comportamento do esquema virtual LIVE legado também direciona as leituras para o catálogo e o esquema especificados na configuração pipeline.
Importante
O código legado com leituras que utilizam o catálogo e o esquema workspace default exige atualizações de código. Considere a seguinte definição de view materializado:
CREATE MATERIALIZED VIEW silver_table
AS SELECT * FROM raw_data
No modo de publicação herdado, uma leitura não qualificada da tabela raw_data usa o catálogo e o esquema workspace default , por exemplo, main.default.raw_data. No novo modo default pipeline , o catálogo e o esquema usados pelo default são aqueles configurados na configuração pipeline. Para garantir que esse código continue funcionando conforme o esperado, atualize a referência para usar o identificador totalmente qualificado para a tabela, como no exemplo a seguir:
CREATE MATERIALIZED VIEW silver_table
AS SELECT * FROM main.default.raw_data