sync コマンド グループ

この情報は、Databricks CLI バージョン 0.205 以降に適用されます。 Databricks CLI は パブリック プレビュー段階です。

Databricks CLI 使用には、 Databricks ライセンス および Databricks プライバシー通知(使用データのプロビジョニングを含む)が適用されます。

Databricks CLI 内の sync コマンド グループを使用すると、ローカル ファイル システム ディレクトリ内のファイル変更をリモート Databricks ワークスペース内のディレクトリに一方向で同期できます。

  • sync コマンドは、リモートの Databricks ワークスペース内のディレクトリからローカル ファイル システム内のディレクトリにファイルの変更を同期することはできません。

  • sync コマンドでは、ローカル開発マシンからのファイル変更を Databricks ワークスペース内のワークスペース ユーザー (/Users) ファイルにのみ同期できます。 DBFS(dbfs:/)ファイルには同期できません。ローカル開発マシンから Databricks ワークスペースの DBFS (dbfs:/) にファイルの変更を同期するには、 dbx sync ユーティリティを使用します。

sync コマンドを実行するには、コマンドを databricks syncに追加します。sync コマンドのヘルプを表示するには、 databricks sync -hを実行します。

ローカルファイルの変更をリモートディレクトリに増分同期する

ローカル ファイル システム ディレクトリ内のファイル変更をリモート Databricks ワークスペース内のディレクトリに 1 回の増分一方向同期を実行するには、次のように sync コマンドを実行します。

databricks sync <local-directory-path> <remote-directory-path>

たとえば、ローカルの現在の作業ディレクトリ内の my-folder という名前のフォルダー内のすべてのファイル変更を、リモート ワークスペース内の特定のパスに 1 回限りの一方向の増分同期を実行するには、次のコマンドを実行します。

databricks sync ./my-folder/ /Users/someone@example.com/

この例では、 sync コマンドの最後の実行以降のファイル変更のみが /Users/someone@example.com/に同期されます。 デフォルトでは、呼び出し元の DEFAULT プロファイル内のワークスペース URL を使用して、同期先のリモート ワークスペースが決定されます。

ローカルファイルの変更をリモートディレクトリに完全に同期する

最後の sync コマンドがいつ実行されたかに関係なく、ローカル ファイル システム ディレクトリ内のファイル変更をリモート Databricks ワークスペース内のディレクトリに 1 回の完全一方向同期を実行するには、次のように --full オプションを使用します。

databricks sync ./my-folder/ /Users/someone@example.com/ --full

ローカルファイルの変更をリモートディレクトリに継続的に同期する

ローカル ファイル システム ディレクトリ内のファイル変更をリモート Databricks ワークスペース内のディレクトリに継続的に一方向で同期するには、次のように --watch オプションを使用します。

databricks sync ./my-folder/ /Users/someone@example.com/ --watch

一方向同期は、コマンドが端末から停止されるまで (通常は Ctrl + c または Ctrl + zキーを押して続行されます。

同期イベントのポーリングは、デフォルトで 1 秒に 1 回行われます。 この間隔を変更するには、 --interval オプションを使用し、ポーリングする秒数の後に文字 s(たとえば 5 秒間) を付けます。

databricks sync ./my-folder/ /Users/someone@example.com/ --watch --interval 5s

同期の進行状況の出力形式を変更する

同期の進行状況情報は、デフォルトでテキスト形式で端末に出力されます。 同期の進行状況の出力形式を指定するには、 --output オプションを使用して、 text ( --output が指定されていない場合はデフォルト) または jsonのいずれかを指定します。

databricks sync ./my-folder/ /Users/someone@example.com/ --output json