レイクハウスのリファレンスアーキテクチャをダウンロードする

この記事では、データソース、取り込み、変換、クエリと処理、提供、分析/出力、ストレージに関するレイクハウスのアーキテクチャガイダンスについて説明します。

各リファレンス・アーキテクチャには、11 x 17 (A3) 形式のダウンロード可能な PDF があります。

汎用リファレンス・アーキテクチャ

ダウンロード: Databricks の汎用レイクハウスリファレンスアーキテクチャ (PDF)

参照アーキテクチャの構成

リファレンスアーキテクチャは、ソース、取り込み、変換、クエリと処理、提供、分析、およびストレージのスイムレーンに沿って構造化されています。

ソース

このアーキテクチャでは、半構造化データと非構造化データ (センサーと IoT、メディア、ファイル/ログ) と構造化データ (RDBMS、ビジネスアプリケーション) が区別されます。 SQL ソース (RDBMS) は、レイクハウスフェデレーション Unity Catalog を通じて ETL なしでレイクハウスとに統合することもできます。さらに、データは他のクラウドプロバイダーからロードされる場合があります。
取り込み

データはバッチまたはストリーミング経由でレイクハウスに取り込むことができます。
- クラウドストレージに配信されたファイルは、Databricks Auto Loaderを使用して直接ロードできます。
- エンタープライズアプリケーションからDelta Lakeへのデータのバッチ取り込みの場合、 Databricks レイクハウスは、これらの記録システム用の特定のアダプターを備えたパートナー取り込みツールに依存しています。
- ストリーミングイベントは、Databricks構造化ストリーミングを使用して、Kafka などのイベントストリーミングシステムから直接取り込むことができます。ストリーミングソースは、センサー、IoT、または変更データキャプチャプロセスです。
ストレージ

通常、データはクラウド上のストレージシステムに保存されます。ETL パイプラインはメダリオンアーキテクチャを使用して、データをDeltaファイル/テーブルとして厳選された方法で保存します。
変換と クエリと処理

Databricks レイクハウスは、すべての変換とクエリにエンジンApache SparkとPhotonを使用します。

宣言型フレームワーク DLT ( Delta Live Tables ) はそのシンプルさにより、信頼性が高く、保守可能で、テスト可能なデータ処理パイプラインを構築するのに適しています。

Apache Spark と Photon を活用した Databricks Data Intelligence Platform は、 SQL ウェアハウスを介した SQL クエリと、ワークスペースクラスターを介した SQL、Python、Scala ワークロードの両方のタイプのワークロードをサポートします。

データサイエンス (機械学習モデリングとGen AI ) の場合、Databricks AI および機械学習プラットフォームは、 AutoMLと機械学習ジョブのコーディングに特化した機械学習ランタイムを提供します。すべてのデータサイエンスおよびMLOps ワークフローは、 MLflowによって最適にサポートされます。
提供

DWH および BI のユースケースでは、Databricks Lakehouse がDatabricks SQL SQL ウェアハウスを利用したデータウェアハウスであるを提供します。

運用データベース: 運用データベースなどの外部システムを使用して、最終データ製品を保存し、ユーザーアプリケーションに配信できます。

コラボレーション: ビジネスパートナーは、 Delta Sharingを通じて必要なデータに安全にアクセスできます。 Delta Sharingに基づいたDatabricks Marketplace 、データ製品を交換するためのオープンフォーラムです。
分析

最終的なビジネスアプリケーションは、このスイムレーンにあります。例には、レイクハウスから運用データベースにプッシュされたデータにアクセスするカスタムクライアントが含まれます。

BI のユースケースでは、アナリストは通常、 BI ツールを使用してデータウェアハウスにアクセスします。 SQL 開発者は、クエリとダッシュボードにDatabricks SQL エディター(図には示されていません) をさらに使用できます。

ワークロードの機能

さらに、Databricks レイクハウスには、すべてのワークロードをサポートする管理機能が付属しています。

データとAIのガバナンス

Databricks Data Intelligence Platform の中心となるデータおよび AI ガバナンスシステムはUnity Catalogです。 Unity Catalogすべてのワークスペースに適用されるデータアクセスポリシーを管理する単一の場所を提供し、テーブル、ボリューム、機能 (Feature Store )、モデル (モデルレジストリ) など、レイクハウスで作成または使用されるすべてのアセットをサポートします。 Unity Catalog を使用して、Databricks で実行されるクエリ全体でランタイムデータリネージをキャプチャすることもできます。
データインテリジェンスエンジン

Databricks Data Intelligence Platform を使用すると、組織全体でデータと AI を使用できるようになります。 DatabricksIQを利用しており、生成 AI とレイクハウスの統合メリットを組み合わせて、データの固有のセマンティクスを理解します。

Databricks アシスタントは、開発者向けのコンテキスト認識 AI アシスタントとして、Databricks ノートブック、SQL エディター、およびファイルエディターで利用できます。

オーケストレーション

Databricks Workflows Databricks Data Intelligence Platform のデータ処理、機械学習、アナリティクスパイプラインを調整します。ワークフローには、Databricks ワークスペースで非対話型コードを実行するDatabricks ジョブや、信頼性が高く保守可能な ETL パイプラインを構築するDelta Live Tablesなど、Databricks プラットフォームに統合されたフルマネージドオーケストレーションサービスがあります。

Google クラウド上のデータインテリジェンスプラットフォームのリファレンスアーキテクチャ

GCP リファレンスアーキテクチャは、ソース、取り込み、提供、分析/出力、ストレージ要素に対する GCP 固有のサービスを追加することにより、汎用リファレンスアーキテクチャから派生しています。

Google クラウド上の Databricks レイクハウスのリファレンスアーキテクチャ

ダウンロード: GCP 上の Databricks レイクハウスのリファレンスアーキテクチャ

GCP リファレンスアーキテクチャには、取り込み、ストレージ、提供、分析/出力のための次の GCP 固有のサービスが示されています。

レイクハウスフェデレーションのソースシステムとしての BigQuery
ストリーミング取り込みのための Pub/Sub とデータストリーム
バッチ取り込みのための Cloud Fusion および Storage Transfer サービス
オブジェクトストレージとしてのクラウドストレージ
運用データベースとしてのクラウド Big Table、クラウド SQL、およびデータストア
BI ツールとしての Looker

注：

このリファレンスアーキテクチャのビューは、Google クラウドサービスと Databricks レイクハウスのみに焦点を当てています。 Databricks のレイクハウスは、パートナーツールの大規模なエコシステムと統合されるオープンプラットフォームです。
示されているクラウドプロバイダーサービスはすべてを網羅しているわけではありません。これらは、概念を説明するために選択されます。

使用例: バッチ ETL

GCP 上の Databricks でのバッチ ETL のリファレンスアーキテクチャ

ダウンロード: Databricks on Google Cloudのバッチ ETL リファレンスアーキテクチャ

取り込みツールは、ソース固有のアダプターを使用してソースからデータを読み取り、Auto Loader がそれを読み取ることができるクラウド上のストレージに保存するか、Databricks を直接呼び出します (たとえば、Databricks レイクハウスに統合されたパートナー取り込みツールを使用します)。データをロードするために、Databricks ETL と処理エンジンが DLT 経由でクエリを実行します。単一タスクまたはマルチタスクのジョブは、Databricks ワークフローによって調整され、 Unity Catalog (アクセス制御、監査、リネージなど) によって管理できます。低レイテンシーの運用システムが特定のゴールデンテーブルにアクセスする必要がある場合、ETL パイプラインの最後にある RDBMS やキー/値ストアなどの運用データベースにエクスポートできます。

使用例: ストリーミングと変更データキャプチャ (CDC)

Databricks on Google Cloud向けの Spark 構造化ストリーミングアーキテクチャ

ダウンロード: Databricks on Google Cloud用の Spark 構造化ストリーミングアーキテクチャ

Databricks ETL エンジンは、Spark 構造化ストリーミングを使用して、Apache Kafka や Pub/Sub などのイベントキューから読み取ります。下流のステップは、上記のバッチ使用例のアプローチに従います。

リアルタイムチェンジデータキャプチャ (CDC) は通常、イベントキューを使用して、抽出されたイベントを保存します。そこから、ユースケースはストリーミングのユースケースに従います。

CDC がバッチで実行され、抽出されたレコードが最初にクラウドストレージに保存される場合、Databricks Autoloader はそれらを読み取ることができ、ユースケースはバッチ ETL に従います。

ユースケース: 機械学習と AI

ダウンロード: Databricks on Google Cloudの機械学習と AI リファレンスアーキテクチャ

機械学習用に、Databricks Data Intelligence Platform は、最先端のマシンとディープラーニングライブラリを備えた Mosaic AI を提供します。これは、Feature Store やモデルレジストリ (両方とも Unity Catalog に統合)、AutoML によるローコード機能、データサイエンスライフサイクルへの MLflow 統合などの機能を提供します。

すべてのデータサイエンス関連の資産 (テーブル、機能、モデル) は Unity Catalog によって管理され、データサイエンティストはDatabricks Workflowsを使用してジョブを調整できます。

ユースケース: BI と SQL アナリティクス

ダウンロード: Databricks on Google Cloudの BI および SQL アナリティクスリファレンスアーキテクチャ

BI のユースケースの場合、ビジネスアナリストは Databricks SQL エディターまたは Tableau や Looker などの特定の BI ツールを使用できます。どちらの場合も、エンジンは Databricks SQL (サーバーレスまたは非サーバーレス) であり、データベース、探索、およびアクセス制御は Unity Catalog によって提供されます。

使用例: レイクハウスフェデレーション

Databricks on Google Cloudのレイクハウスフェデレーションリファレンスアーキテクチャ

ダウンロード: Databricks on Google Cloud向けレイクハウスフェデレーションリファレンスアーキテクチャ

レイクハウスフェデレーションを使用すると、外部データ SQL データベース (MySQL や Postgres など) を Databricks と統合できます。

最初にデータをオブジェクトストレージに ETL する必要がなく、すべてのワークロード (AI、DWH、BI) がこのメリットを享受できます。外部ソースカタログは Unity Catalogにマッピングされ、Databricks プラットフォーム経由のアクセスにきめ細かいアクセス制御を適用できます。

レイクハウスのリファレンス アーキテクチャをダウンロードする