Databricks統合の概要

ここに記載されている記事は、Databricksと併せて使用できる様々なデータソース、BIツール、開発者ツールに接続する方法についての情報を提供するものです。これらの多くは、パートナーのシステムを通じて利用できます。

データソース

Databricksでは、CSV、Delta Lake、JSON、Parquet、XMLなどの様々なデータ形式でデータの読み込みや書き込みができます。また、Amazon S3、Google BigQuery、Cloud Storage、Snowflakeなどのデータストレージプロバイダーとのデータの読み書きも可能です。

総合的なリストと接続手順については、データソースへの接続およびデータ形式オプションを参照してください。

BIツール

Databricksは、Power BIやTableauなどの、ユーザーに人気のあるBIツールとの統合を検証済みです。DatabricksのクラスターやSQLウェアハウスを介し、多くの場合ローコードまたはノーコードでデータを操作できます。

接続の手順を含む総合的な情報一覧については、「BI と可視化」を参照してください。

その他のETLツール

Databricks は、あらゆる種類のデータソースへのアクセスに加えて、dbt、Prophecy、Azure Data Factory などの ETL/ELT ツール、Airflow などのデータパイプライン オーケストレーションツール、DataGrip、DBeaver、SQL Workbench/J などの SQL データベースツールとの統合機能を提供しています。

接続手順については、以下を参照してください。

• ETL ツール: データの準備と変換

• Airflow：Apache AirflowによるDatabricksジョブのオーケストレーション

• SQL データベース ツール: SQL コネクタ、ライブラリ、ドライバー、APIs、およびツール。

IDEおよびその他の開発者ツール

Databricksは、DataGrip、IntelliJ、PyCharm、Visual Studio Codeなどの開発者ツールをサポートしており、Databricksコンピュートにプログラムでアクセスすることができます。

開発者をサポートするツールの包括的なリストについては、「Databricks上での開発」を参照してください。

Git

Databricks Git フォルダーは、お気に入りの Git プロバイダーとリポジトリレベルの統合を提供するため、Databricks ノートブックでコードを開発し、それをリモート Git リポジトリと同期できます。 「Databricks Git フォルダーの Git 統合」を参照してください。