Snowflake でフェデレーション クエリを実行する

この記事では、 によって管理されていない データに対してフェデレーション クエリを実行するためにレイクハウスフェデレーションを設定する方法について説明します。SnowflakeDatabricksレイクハウスフェデレーションの詳細については、 「レイクハウスフェデレーションとは何ですか?」を参照してください。 。

レイクハウスフェデレーションを使用してSnowflakeデータベースに接続するには、Databricks Unity Catalogメタストアに以下を作成する必要があります。

• Snowflake データベース への接続 。

• Unity Catalog 内のSnowflakeデータベースをミラーリングする フォーリンカタログ で、 Unity Catalog クエリー構文およびデータガバナンスツールを使用して、データベースへのDatabricksユーザーアクセスを管理できます。

始める前に

ワークスペースの要件:

• ワークスペースで Unity Catalogが有効になっています。

コンピュート 要件:

• コンピュート・リソースからターゲット・データベース・システムへのネットワーク接続。 「レイクハウスフェデレーションのネットワーキングに関する推奨事項」を参照してください。

• Databricks コンピュートは、Databricks Runtime 13.3 LTS 以上、および共有またはシングル ユーザー アクセス モードを使用する必要があります。

• SQLウェアハウスはProまたはServerlessで、2023.40以上を使用している必要があります。

必要な権限:

• 接続を作成するには、メタストア管理者であるか、ワークスペースにアタッチされている Unity Catalog メタストアに対する CREATE CONNECTION 権限を持つユーザーである必要があります。

• フォーリンカタログを作成するには、メタストアに対する CREATE CATALOG 権限を持ち、接続の所有者であるか、接続に対する CREATE FOREIGN CATALOG 権限を持っている必要があります。

追加のアクセス許可要件は、以降の各タスクベースのセクションで指定されています。

• OAuth を使用して認証する予定の場合は、Snowflakeコンソールでセキュリティ統合を作成します。

• OAuth アクセストークンを使用して認証する場合は、アクセストークンもリクエストする必要があります。

（オプション）Snowflakeコンソールでセキュリティ統合を作成する

OAuthを使用して認証する場合は、 Snowflake接続を作成する前にこの手順に従ってください。 代わりにユーザー名とパスワードを使用して認証する場合は、このセクションをスキップしてください。

注：

Snowflakeの組み込みOAuthインテグレーションのみがサポートされています。Okta や Microsoft Entra ID などの外部 OAuth 統合はサポートされていません。

Snowflake コンソールで、 CREATE SECURITY INTEGRATION実行します。 次の値を置き換えます。

• <integration-name>: OAuth 統合の一意の名前。

• <workspace-url>: Databricks ワークスペースの URL。 OAUTH_REDIRECT_URIをhttps://<workspace-url>/login/oauth/snowflake.htmlに設定する必要があります。ここで、 <workspace-url> 、Snowflake 接続を作成する Databricks ワークスペースの一意の URL です。

• <duration-in-seconds>: トークンの更新にかかる時間の長さ。

  重要

  OAUTH_REFRESH_TOKEN_VALIDITY デフォルトで 90 日に設定されているカスタム フィールドです。 更新トークンの有効期限が切れた後は、接続を再認証する必要があります。 フィールドを妥当な時間の長さに設定します。

CREATE SECURITY INTEGRATION <integration-name>
TYPE = oauth
ENABLED = true
OAUTH_CLIENT = custom
OAUTH_CLIENT_TYPE = 'CONFIDENTIAL'
OAUTH_REDIRECT_URI = 'https://<workspace-url>/login/oauth/snowflake.html'
OAUTH_ISSUE_REFRESH_TOKENS = TRUE
OAUTH_REFRESH_TOKEN_VALIDITY = <duration-in-seconds>
OAUTH_ENFORCE_PKCE = TRUE;

(オプション)OAuth アクセストークンをリクエストする

「 OAuthナレッジSnowflakeOAuth Snowflakeベース」の「 How To: Generate and use an token using for custom clients 」を参照してください。

接続を作成する

接続では、外部データベース システムにアクセスするためのパスと資格情報を指定します。 接続を作成するには、カタログ エクスプローラーを使用するか、Databricks ノートブックまたは Databricks SQL クエリー エディターで CREATE CONNECTION SQL コマンドを使用できます。

注：

Databricks REST API または Databricks CLI を使用して接続を作成することもできます。 POST /api/2.1/unity-catalog/connections を参照してください。 および Unity Catalog コマンド。

必要な権限: メタストア管理者または CREATE CONNECTION 権限を持つユーザー。

1. Databricks ワークスペースで、[ カタログ] をクリックします 。

2. [ カタログ ] ウィンドウの上部にある [ 追加 ] アイコンをクリックし、メニューから [ 接続の追加 ] を選択します。

   または、クイック アクセスページで[外部データ >]ボタンをクリックし、 [接続]タブに移動して[接続の作成] をクリックします。

3. わかりやすい 接続名を入力します。

4. [接続タイプ] として [Snowflake] を選択します。

5. Snowflakeウェアハウスの次の接続プロパティを入力します。

   • 認証タイプ: OAuth、 OAuth access token、または Username and password

   • ホスト: たとえば、 snowflake-demo.east-us-2.azure.snowflakecomputing.com

   • ポート: たとえば、 443

   • ウェアハウスSnowflake : たとえば、 my-snowflake-warehouse

   • ユーザー: たとえば、 snowflake-user

   • (OAuth) クライアント ID: Snowflakeコンソールで、 SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security-integration-name>') を実行して、セキュリティ統合のクライアント ID を取得します。

   • (OAuth): クライアントシークレット: Snowflakeコンソールで、 SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security-integration-name>') を実行して、セキュリティ統合のクライアントシークレットを取得します。

   • (OAuth) クライアントスコープ: refresh_token session:role:<role-name>. 使用するSnowflakeロールを <role-name>で指定します。

   • (Username and password) パスワード: たとえば、 password123

   • (OAuth access token) アクセストークン: (オプション) Request an OAuth アクセストークン.

   • (OAuth access token) Expires in secs: (オプション) Request an OAuth アクセストークン (expires_in) からのアクセストークンの有効期限 (秒単位)。

   (OAuth) OAuth 資格情報を使用して Snowflake にサインインするように求められます。

6. (オプション)[ 接続のテスト ] をクリックして、動作することを確認します。

7. (オプション)コメントを追加します。

8. [作成]をクリックします。

ノートブックまたは Databricks SQL クエリー エディターで次のコマンドを実行します。

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user '<user>',
  password '<password>'
);

資格情報などの機密性の高い値には、プレーンテキスト文字列の代わりに Databricks シークレット を使用することをお勧めします。 例えば：

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

シークレットの設定に関する情報については、「 シークレット管理」を参照してください。

フォーリンカタログの作成

フォーリンカタログは、外部データ システム内のデータベースをミラーリングするため、Databricks と Unity Catalogを使用して、そのデータベース内のデータへのアクセスを管理できます。 フォーリンカタログを作成するには、すでに定義されている DATA への接続を使用します。

フォーリンカタログを作成するには、カタログ エクスプローラー、または Databricks ノートブックまたは SQL クエリ エディターのCREATE FOREIGN CATALOG SQL コマンドを使用できます。

注：

Databricks REST API または Databricks CLI を使用してカタログを作成することもできます。 POST /api/2.1/unity-catalog/catalogs を参照してください。 および Unity Catalog コマンド。

必要なアクセス許可: メタストアに対する CREATE CATALOG アクセス許可と、接続の所有権または接続に対する CREATE FOREIGN CATALOG 特権。

1. Databricks ワークスペースで、[カタログ]をクリックしてカタログ・エクスプローラーを開きます。

2. [ カタログ ] ウィンドウの上部にある [ 追加 ] アイコンをクリックし、メニューから [ カタログの追加 ] を選択します。

   または、[ クイック アクセス ] ページで [ カタログ ] ボタンをクリックし、[ カタログの作成 ] ボタンをクリックします。

3. 「カタログの作成」のフォーリンカタログの作成手順に従ってください。

ノートブックまたは SQL クエリ エディターで次の SQL コマンドを実行します。 括弧内の項目はオプションです。 プレースホルダーの値を置き換えます。

• <catalog-name>: Databricksのカタログの名前。

• <connection-name>: データソース、パス、およびアクセス資格情報を指定する 接続オブジェクト 。

• <database-name>: Databricks でカタログとしてミラー化するデータベースの名前。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

大文字と小文字を区別するデータベース識別子

フォーリンカタログのdatabaseフィールドは、Snowflake データベース識別子にマップされます。 Snowflake データベース識別子が大文字と小文字を区別しない場合は、フォーリンカタログ<database-name>で使用する大文字と小文字が保持されます。 ただし、Snowflake データベース識別子が大文字と小文字を区別する場合は、大文字と小文字を保持するためにフォーリンカタログ<database-name>を二重引用符で囲む必要があります。

例：

• database は DATABASE

• "database" は database

• "database""" は database"

  二重引用符をエスケープするには、別の二重引用符を使用します。

• "database"" 二重引用符が正しくエスケープされていないため、エラーが発生します。

詳細については、 ドキュメントの 識別子の要件 Snowflakeを参照してください。

サポートされているプッシュダウン

次のプッシュダウンがサポートされています。

• フィルター

• 予測

• 極限

• 結合

• 集計 (Average, Corr, CovPopulation, CovSample, Count, Max, Min, StddevPop, StddevSamp, Sum, VariancePop, VarianceSamp)

• 関数 (文字列関数、数学関数、データ、時刻、タイムスタンプ関数、およびエイリアス、キャスト、並べ替え順序などの他の関数)

• Windows の機能 (密度ランク、ランク、行番号)

• 分別

データ型マッピング

Snowflake から Spark に読み取ると、データ型は次のようにマップされます。

Snowflake タイプ	Spark タイプ
decimal, number, numeric	DecimalType
bigint, byteint, int, integer, smallint, tinyint	IntegerType
float, float4, float8	FloatType
double, double precision, real	DoubleType
char, character, string, text, time, varchar	StringType
binary	BinaryType
Boolean	BooleanType
date	DateType
datetime, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz	TimestampType

OAuth の制限

OAuth サポートの制限は次のとおりです。

• Snowflake OAuth エンドポイントは、Databricks コントロール プレーン IP からアクセスできる必要があります。 Databricks サービスとアセットの IP アドレスとドメインを参照してください。 Snowflake 、セキュリティ統合レベルでのネットワーク ポリシーの構成をサポートしており、これにより、 Databricksコントロール プレーンからOAuthエンドポイントへの直接接続を可能にして認証を可能にする別のネットワーク ポリシーが可能になります。

• プロキシの使用、プロキシ ホスト、プロキシ ポート、および Snowflake ロール構成オプションはサポートされていません。 OAuth スコープの一部としてSnowflake ロールを指定します。

関連リソース

Snowflakeドキュメンテーションの次の記事をご参照ください。

• カスタムクライアント用のSnowflake OAuth の構成

• SQL リファレンス: CREATE SECURITY INTEGRATION (Snowflake OAuth)