開発者ツール

Databricks は、Databricks と統合し、Databricks のリソースとデータをプログラムで管理するアプリケーションとソリューションの開発に役立つツールのエコシステムを提供します。

この記事では、これらのツールの概要と、一般的な開発者シナリオに最適なツールに関する推奨事項について説明します。

Databricks は開発者にどのようなツールを提供していますか?

次の表に、Databricks が提供する開発者ツールの一覧を示します。

ツール

説明

認証と承認

ツール、スクリプト、アプリが Databricks と連携するように認証と承認を構成します。

Databricks Connect

DatabricksIDEsPyCharmIntelliJ IDEA、 、Eclipse 、RStudio 、JupyterLabなどの一般的な統合開発環境()を使用して に接続します。

Visual Studio Code を使用している場合、Databricks では、構成を容易にする追加機能を提供するため、Databricks Connect の上に構築された Visual Studio Code 用の Databricks 拡張機能をお勧めします。

Visual Studio Code 用の Databricks 拡張機能

Visual Studio Code 統合開発環境 (IDE) からリモート Databricks ワークスペースに接続します。

PyCharm Databricksプラグイン

リモートの Databricks ワークスペースへの接続を構成し、PyCharm から Databricks クラスターでファイルを実行します。 このプラグインは、JetBrains が Databricks と提携して開発および提供しています。

Databricks SDK

Python、Java、Go、R などの一般的な言語用に記述されたコードライブラリから Databricks を自動化します。curl/Postman を使用して REST API 呼び出しを直接送信する代わりに、SDK を使用して、選択したプログラミング言語で Databricks と対話できます。

SQL ドライバーとツール

Databricks に接続して、SQL コマンドやスクリプトを実行したり、Databricks とプログラムで対話したり、Python、Go、JavaScript、TypeScript などの一般的な言語で記述されたアプリケーションに Databricks SQL 機能を統合したりできます。

Databricks CLI

Databricks コマンドライン インターフェイス (CLI) を使用して、Databricks 機能にアクセスします。 CLI は Databricks REST API をラップするため、curl または Postman を使用して REST API 呼び出しを直接送信する代わりに、Databricks CLI を使用して Databricks と対話できます。

Databricksアセットバンドル

Databricks アセットバンドル (DAB) を使用して、Databricks データプロジェクトと AI プロジェクトに業界標準の開発、テスト、デプロイ (CI/CD) のベストプラクティスを実装します。

Databricks Terraform プロバイダーDatabricks の Terraform CDKTF

Databricks のインフラストラクチャとリソースを Terraform を使用してプロビジョニングします。

Pulumi Databricksリソースプロバイダー

プロビジョニング Databricks インフラストラクチャとリソース using Pulumi Infrastructure-as-Code (IaC).

CI/CD ツール

GitHub ActionsJenkinsApache Airflow などの一般的な CI/CD システムとフレームワークを統合します。

ヒント

その他多くの一般的なサードパーティツールをクラスターやSQLウェアハウスに接続してDatabricksのデータにアクセスすることもできます。技術パートナーを参照してください。

どの開発者ツールを使用すべきですか?

次の表は、一般的な開発者シナリオに対する Databricks ツールの推奨事項の概要を示しています。

シナリオ

推奨事項

  • ローカル IDE からの対話型開発とデバッグ

Visual Studio Code 用の Databricks 拡張機能

PyCharm Databricksプラグイン

その他のIDEs については、 と一緒に を使用してくださいDatabricksCLIDatabricks Connect

  • コマンドラインからDatabricksと直接対話

  • シェルスクリプト

  • 実験

  • REST API を直接呼び出す

  • ローカル認証プロファイルの管理

  • IDE から Databricks ワークスペースへのコードの同期

Databricks CLI

  • ワークフローを管理し、プロジェクトを Databricks にデプロイする

  • CI/CD のベスト プラクティスを適用する

  • リソースとアセットを 1 つのユニットとして共同バージョン、共同作成、共同デプロイ

  • 最も一般的なリソースをサポート

Databricks アセット バンドル (CLI の機能)

  • Infrastructure as Code、CI/CD

  • ワークスペース、カタログ、メタストアを管理および作成し、アクセス許可を適用する

  • 環境の移植性とディザスタリカバリを保証

  • サポートされている多くのリソース

Databricks Terraformプロバイダー

  • アプリケーション開発

  • 既存のデプロイメントシステムとの統合

  • カスタム Databricks ワークフローと新しい Web サービスを作成する

Databricks Python SDK

Databricks Java SDK

Databricks Go SDK

Databricks R SDK

  • 高度なシナリオのみ

  • ほぼすべての Databricks リソースが利用可能です

Databricks REST API