Configurar transmissão fonte de dados

O Databricks pode se integrar com o serviço de transmissão de mensagens para ingestão quase em tempo real no Databricks lakehouse. O Databricks também pode sincronizar dados enriquecidos e transformados no lakehouse com outros sistemas de transmissão.

A transmissão estruturada fornece acesso nativo aos formatos de arquivo suportados pelo Apache Spark, mas o Databricks recomenda o Auto Loader para a maioria das operações de transmissão estruturada que leem dados do armazenamento de objetos do cloud. Consulte O que é o Auto Loader?

A ingestão de mensagens de transmissão para Delta Lake permite reter mensagens indefinidamente, permitindo reproduzir a transmissão de dados sem medo de perder dados devido ao limite de retenção.

Para saber mais sobre configurações específicas para transmissão de filas de mensagens, consulte: