Google
Cloud Platform
Amazon Web Services
Microsoft Azureノートブックで Delta Live Tables パイプラインを開発およびデバッグする
プレビュー
Delta Live Tables 開発のノートブック エクスペリエンスはパブリック プレビュー段階です。
この記事では、Delta Live Tables コードの開発とデバッグを支援する Databricks ノートブックの機能について説明します。
機能の概要
既存の Delta Live Tables パイプラインのソース コードである Python または SQL ノートブックで作業する場合、ノートブックをパイプラインに直接接続できます。 ノートブックがパイプラインに接続されると、次の機能が利用できるようになります。
ノートブックからパイプラインを開始して検証します。
ノートブックの最新の更新については、パイプラインのデータフロー グラフとイベント ログを表示します。
ノートブック エディターでパイプライン診断を表示します。
ノートブックでパイプラインのクラスターのステータスを表示します。
ノートブックから Delta Live Tables UI にアクセスします。
前提条件
ソース コードとして Python または SQL ノートブックを含む既存の Delta Live Tables パイプラインが必要です。
パイプラインの所有者であるか、
CAN_MANAGE権限を持っている必要があります。
制限事項
この記事で説明する機能は、Databricks ノートブックでのみ使用できます。 ワークスペース ファイルはサポートされていません。
Web ターミナルは、パイプラインに接続されている場合には使用できません。 その結果、下部パネルのタブとしては表示されません。
ノートブックを Delta Live Tables パイプラインに接続する
デル内で、コンピュートを選択するためのドロップダウン メニューをクリックします。 ドロップダウン メニューには、このノートブックをソース コードとして含むすべての Delta Live Tables パイプラインが表示されます。 ノートブックをパイプラインに接続するには、リストからノートブックを選択します。
パイプラインのクラスターステータスを表示する
パイプラインの クラスター の状態を簡単に理解できるように、そのステータスは、 クラスターが実行中であることを示す緑色で [コンピュート] ドロップダウン メニューに表示されます。
パイプラインコードを検証する
パイプラインを検証して、データを処理せずにソース コードの構文エラーをチェックできます。
パイプラインを検証するには、次のいずれかを実行します。
ノートブックの右上隅にある[検証]をクリックします。
任意のノートブックのセルで
Shift+Enterを押します。セルのドロップダウン メニューで、 [パイプラインの検証] をクリックします。
注：
既存の更新プログラムが既に実行されている間にパイプラインを検証しようとすると、既存の更新プログラムを終了するかどうかを確認するダイアログ ボックスが表示されます。 [はい] をクリックすると、既存の更新が停止し、有効な更新が自動的に開始されます。
パイプラインを開始する
パイプライン更新では、クラスターを開始し、定義されているすべてのテーブルとビューを検出して検証し、利用可能な最新のデータを使用してテーブルとビューを作成または更新します。
パイプラインの更新を開始するには、ノートブックの右上隅にある[開始]ボタンをクリックします。
