Uso do Unity Catalog com Transmissão Estruturada

Use Transmissão Estruturada com o Unity Catalog para gerenciar a governança de dados para suas cargas de trabalho incrementais e de transmissão no Databricks. Este documento descreve as funcionalidades suportadas e sugere as melhores práticas para usar o Unity Catalog e a Transmissão Estruturada juntos.

Qual funcionalidade de Transmissão Estruturada é compatível com o Unity Catalog?

O Unity Catalog não adiciona limites explícitos para fontes e coletores estruturados de transmissão disponíveis no Databricks. O modelo de governança de dados do Unity Catalog permite a transmissão de dados de tabelas gerenciadas e externas no Unity Catalog. Você também pode usar locais externos gerenciados pelo Unity Catalog para interagir com URIs de armazenamento de objeto de uso de dados. Você pode gravar em tabelas externas usando nomes de tabela ou caminhos de arquivo. Você deve interagir com tabelas gerenciadas no Unity Catalog usando o nome da tabela.

Use locais externos controlados pelo Unity Catalog ao especificar caminhos para pontos de verificação de transmissão estruturada. Para saber mais sobre como conectar o armazenamento com segurança com o Unity Catalog, consulte Conectar-se ao armazenamento de objetos clouds usando o Unity Catalog.

O suporte ao recurso de transmissão estruturada difere dependendo da versão do Databricks Runtime que você está executando e se você está usando o modo de acesso clusters atribuídos ou compartilhados. Para obter detalhes, consulte limitações de transmissão para o Unity Catalog.

Para obter uma demonstração completa usando a Transmissão Estruturada no Unity Catalog, consulte Tutorial: Execute um pipeline de análise de lakehouse de ponta a ponta.

Qual funcionalidade de Transmissão estruturada não é suportada no Unity Catalog?

Para obter uma lista de recursos de transmissão estruturados que não são suportados no Unity Catalog, consulte limitações de transmissão para o Unity Catalog.