Databricksによるデータエンジニアリング

Databricks は、 data scientists、エンジニア、アナリスト間のコラボレーションのための堅牢な環境を含む、豊富なデータ エンジニアリング機能のセットを提供します。 その中心には、データを 取り込み変換 するパイプラインがあります。 最も効率的なパイプラインのエンジニアリングを容易にするために、 Databricks は構造化ストリーミングと Delta Live Tablesを提供しています。 「Databricks でのストリーミング」および「Delta Live Tables とは」を参照してください。

構造化ストリーミングと Delta Live Tables によって提供されるデータの増分ストリーム処理がデータ パイプラインの最適なオプションである理由の概要については 、「シンプルで効率的で待機時間の短いデータ パイプラインを構築する方法」を参照してください。

その他のデータエンジニアリングリソース

Databricks には、多くの追加シナリオに対応するデータエンジニアリング タスクの機能があります。

注:

主に SQL クエリと BI ツールを使用する場合は、「 Databricks SQL」を参照してください。

入門チュートリアルと入門情報については、「 Databricks の概要 」と「 Databricks とは」を参照してください。

名前

こんな場合に利用できます

Delta Live Tables

Databricks Delta Live Tablesを使用して取り込みと変換のためのデータパイプラインを構築する方法を学びます。

構造化ストリーミング

Databricks の構造化ストリーミングを利用したストリーミング、インクリメンタル、リアルタイムのワークロードについて説明します。