Configurar transmissão fonte de dados

O Databricks pode se integrar com o serviço de transmissão de mensagens para ingestão quase em tempo real no Databricks lakehouse. O Databricks também pode sincronizar dados enriquecidos e transformados no lakehouse com outros sistemas de transmissão.

A transmissão estruturada fornece acesso de transmissão nativo aos formatos de arquivo suportados pelo Apache Spark, mas a Databricks recomenda o Auto Loader para a maioria das operações de transmissão estruturada que leem dados do armazenamento de objetos clouds . Consulte O que é Auto Loader?.

A ingestão de mensagens de transmissão para Delta Lake permite reter mensagens indefinidamente, permitindo reproduzir a transmissão de dados sem medo de perder dados devido ao limite de retenção.

Para saber mais sobre configurações específicas para transmissão de filas de mensagens, consulte:

• Kafka
• Pub/Sub
• Pulsar