Databricksでのデータウェアハウジングとは

データウェアハウジングとは、複数のソースからデータを収集して保存し、ビジネス上の知見やレポート作成のためにすばやくアクセスできるようにすることを指します。この記事では、データレイクハウスにデータウェアハウスを構築するための重要な概念について説明します。

レイクハウス内のデータウェアハウジング

レイクハウスのアーキテクチャとDatabricks SQLにより、クラウドデータウェアハウジングの機能がデータレイクに導入されます。使い慣れたデータ構造、リレーション、管理ツールを使用して、データレイク上で直接実行される、高性能で費用対効果の高いデータウェアハウスをモデル化できます。詳細についてはデータレイクハウスとはを参照してください。

データウェアハウジング、データエンジニアリング、データストリーミング、データサイエンスと機械学習を含む最上位層を持つレイクハウスアーキテクチャ

従来のデータウェアハウスと同様に、ビジネス要件に従ってデータをモデル化し、アナリティクスやレポートのためにエンドユーザーに提供します。従来のデータウェアハウスとは異なり、ビジネスアナリティクスデータのサイロ化や、すぐに陳腐化する冗長なコピーの作成を回避できます。

レイクハウス内にデータウェアハウスを構築すると、すべてのデータを 1 つのシステムに取り込み、Unity Catalog や Delta Lake などの機能を活用できます。

Unity Catalog では、データアクセスをセキュアに保護し、監査を行い、ダウンストリームテーブルに関するリネージ情報を提供するために、統一されたガバナンスモデルが追加されています。Delta Lake は、データの信頼性、拡張性、高品質を維持するための強力なツールとして、ACIDトランザクションとスキーマ進化を追加します。

Databricks SQLとは

Databricks SQL は、既存のデータレイクにデータウェアハウジングの機能とパフォーマンスをもたらすサービスのコレクションです。 Databricks SQL では、オープン形式と標準の ANSI SQL がサポートされています。プラットフォーム内のSQLエディターとダッシュボードツールにより、チームメンバーはワークスペースで他のDatabricksユーザーと直接共同作業を行うことができます。また、Databricks SQL はさまざまなツールと統合されているため、アナリストは新しいプラットフォームに適応することなく、お気に入りの環境でクエリーやダッシュボードを作成できます。

Databricks SQL は、レイクハウスのテーブルに対して実行される一般的なコンピュートリソースを提供します。 Databricks SQL は SQLウェアハウス (旧称 SQLエンドポイント) を利用しており、ストレージから分離されたスケーラブルなSQLコンピュートリソースを提供します。

SQLウェアハウスのデフォルトとオプションの詳細については、「 SQLウェアハウスへの接続」を参照してください。

Databricks SQL は Unity Catalog と統合されているため、データ資産を 1 か所から検出、監査、管理できます。 Unity Catalog の詳細については、 Unity Catalog とはを参照してください。

Databricksでのデータモデリング

レイクハウスは、さまざまなモデリングスタイルをサポートしています。次の図は、データがレイクハウスのさまざまなレイヤーを通過するときに、データがどのようにキュレーションされ、モデル化されるかを示しています。

メダリオンレイクハウスのアーキテクチャの各レベルでのさまざまなデータモデルを示す図。

メダリオンアーキテクチャ

メダリオンアーキテクチャは、レイクハウスの基本構造を提供する一連の段階的に調整されたデータレイヤーを記述するデータデザインパターンです。ブロンズ、シルバー、ゴールドのレイヤーは、各レベルでのデータ品質の向上を意味し、ゴールドは最高品質を表します。詳細については、「メダリオンレイクハウスのアーキテクチャとは」を参照してください。

レイクハウス内では、各レイヤーに 1 つ以上のテーブルを含めることができます。データウェアハウスはシルバーレイヤーでモデル化され、ゴールドレイヤーで特殊なデータマートにフィードされます。

ブロンズレイヤー

データは、任意の形式で、バッチトランザクションまたは蒸しトランザクションの任意の組み合わせを通じてレイクハウスに入ることができます。ブロンズレイヤーは、元の形式のすべての生データのためのランディングスペースを提供します。そのデータは Delta テーブルに変換されます。

シルバーレイヤー

シルバーレイヤーは、さまざまなソースからのデータをまとめたものです。データサイエンスと機械学習のアプリケーションに重点を置いたビジネスでは、ここから有意義なデータ資産のキュレーションを開始します。このプロセスでは、多くの場合、スピードと敏捷性に重点が置かれています。

また、シルバーレイヤーでは、異なるソースからのデータを慎重に統合し、既存のビジネスプロセスに沿ったデータウェアハウスを構築できます。多くの場合、このデータは第 3 正規形 (3NF) または Data Vault モデルに従います。主キーと外部キーの制約を指定すると、エンドユーザーは Unity Catalog を使用するときにテーブルのリレーションシップを理解できます。データウェアハウスは、データマートの信頼できる唯一の情報源として機能する必要があります。

データウェアハウス自体は、スキーマオンライトであり、アトミックです。データウェアハウスは変更に合わせて最適化されているため、ビジネスプロセスが変化または進化したときに、現在のニーズに合わせてデータウェアハウスをすばやく変更できます。

ゴールドレイヤー

ゴールドレイヤーはプレゼンテーション層で、1 つ以上のデータマートを含めることができます。多くの場合、データマートは、特定のビジネスパースペクティブをキャプチャする一連の関連テーブル形式のディメンションモデルです。

ゴールドレイヤーには、部門とデータサイエンスのサンドボックスも格納されており、企業全体でセルフサービスのアナリティクスとデータサイエンスを可能にします。これらのサンドボックスと独自の個別のコンピュートクラスターを提供することで、ビジネスチームがレイクハウスの外部にデータのコピーを作成するのを防ぐことができます。

次のステップ

Databricks を使用してレイクハウスを実装および運用するための原則とベストプラクティスの詳細については、 well-architectedデータレイクハウスの紹介」を参照してください。