ストリーミングデータソースの構成

Databricks は、Databricks レイクハウスへの直近のデータ取り込みのためにストリームメッセージングサービスと統合できます。 Databricks は、レイクハウス内の強化および変換されたデータを他のストリーミングシステムと同期することもできます。

構造化ストリーミングは、Apache Spark でサポートされているファイル形式へのネイティブストリーミングアクセスを提供しますが、Databricks では、クラウドオブジェクトストレージからデータを読み取るほとんどの構造化ストリーミング操作で Auto Loader をお勧めします。「Auto Loaderとは」を参照してください。

ストリーミングメッセージを Delta Lake に取り込むと、メッセージを無期限に保持できるため、保持しきい値によるデータ損失を恐れることなくデータストリームを再生できます。