構造化ストリーミングで Unity Catalog を使用する

Unity Catalogを使用した構造化ストリーミングを使用して、Databricks上の増分およびストリーミングワークロードのデータガバナンスを管理します。このドキュメントでは、サポートされる機能の概要を説明し、Unity Catalogと構造化ストリーミングを併用するためのベストプラクティスを提案します。

Unity Catalogはどのような構造化ストリーミング機能をサポートしていますか？

Unity Catalog では、Databricks で使用できる構造化ストリーミング ソースとシンクに明示的な制限は追加されません。Unity Catalog データ ガバナンス モデルを使用すると、 Unity Catalogのマネージド テーブルと外部テーブルからデータをストリーミングできます。Unity Catalog によって管理される外部ロケーションを使用して、オブジェクト・ストレージURIを使用してデータを操作することもできます。外部テーブルに書き込むには、テーブル名またはファイル パスを使用します。テーブル名を使用して、 Unity Catalog 上のマネージ テーブルを操作する必要があります。

構造化ストリーミング チェックポイントのパスを指定する場合は、Unity Catalog によって管理される外部ロケーションを使用します。 ストレージを Unity Catalog に安全に接続する方法の詳細については、「 Unity Catalog を使用してクラウド オブジェクト ストレージに接続する」を参照してください。

構造化ストリーミング機能のサポートは、実行している Databricks Runtime のバージョンと、割り当て済みクラスター アクセス モードと共有クラスター アクセス モードのどちらを使用しているかによって異なります。 詳細については、「 Unity Catalog のストリーミングの制限事項」を参照してください。

Unity CatalogでStructured Streamingを使用するエンドツーエンドのデモについては、「チュートリアル：エンドツーエンドのレイクハウスアナリティクスパイプラインを実行する」を参照してください。

Unity Catalogでサポートされていない構造化ストリーミング機能はどれですか？

Unity Catalog でサポートされていない構造化ストリーミング機能の一覧については、「 Unity Catalog のストリーミングの制限事項」を参照してください。