execução de consultas federadas no Google BigQuery

Visualização

Esse recurso está em visualização pública.

Este artigo descreve como configurar o lakehouse Federation para executar consultas federadas nos dados do BigQuery que não são gerenciados pelo Databricks. Para saber mais sobre a lakehouse Federation, consulte O que é a lakehouse Federation.

Para se conectar ao banco de dados do BigQuery usando lakehouse Federation, você deve criar o seguinte no metastore do Catálogo do Databricks Unity:

  • Uma conexão com seu banco de dados do BigQuery.

  • Um catálogo externo que espelha seu banco de dados do BigQuery no Unity Catalog para que você possa usar a sintaxe query do Unity Catalog e as ferramentas de governança de dados para gerenciar o acesso do usuário do Databricks ao banco de dados.

Antes de começar

requisitos workspace :

  • workspace habilitado para o Unity Catalog.

requisitos compute :

  • Conectividade de rede dos clusters Databricks Runtime ou SQL warehouse para os sistemas de banco de dados de destino. Consulte Recomendações de rede para a Federação lakehouse .

  • Os clusters do Databricks devem usar o Databricks Runtime 13.3 LTS ou acima e o modo de acesso compartilhado ou de usuário único.

  • SQL warehouse deve ser Pro ou serverless.

Permissões necessárias:

  • Para criar uma conexão, você deve ser um administrador do metastore ou um usuário com o privilégio CREATE CONNECTION no metastore do Unity Catalog anexado ao workspace.

  • Para criar um catálogo externo, você deve ter a permissão CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio CREATE FOREIGN CATALOG na conexão.

Requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Crie uma conexão

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Catalog Explorer ou o CREATE CONNECTION comando SQL em um do Databricks Notebook ou no Databricks SQL query editor .

Permissões necessárias: administrador do metastore ou usuário com privilégio CREATE CONNECTION .

  1. No seu workspace do Databricks, clique em Ícone de catálogo Catálogo.

  2. No painel esquerdo, expanda o menu Dados Externos e selecione Conexões.

  3. Clique em Criar conexão.

  4. Insira um nome de conexão amigável.

  5. Selecione um tipo de conexão do BigQuery.

  6. Insira a seguinte propriedade de conexão para sua instância do BigQuery.

    GoogleServiceAccountKeyJson: um objeto JSON bruto usado para especificar o projeto do BigQuery e fornecer autenticação. Você pode gerar esse objeto JSON e downloads -lo na página de detalhes account de serviço nas clouds do Google em ' key'. A account de serviço precisa ter as permissões adequadas concedidas no BigQuery, incluindo BigQuery User e BigQuery Data Viewer. O seguinte é um exemplo.

    {
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "-----BEGIN PRIVATE KEY-----\nPRIVATE_KEY\n-----END PRIVATE KEY-----\n",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

  7. (Opcional) Clique em Testar conexão para confirmar a conectividade de rede. Esta ação não testa a autenticação.

  8. (Opcional) Adicione um comentário.

  9. Clique em Criar.

execute o seguinte comando em um Notebook ou no Databricks SQL query editor . Substitua <GoogleServiceAccountKeyJson> por um objeto JSON bruto que especifique o projeto do BigQuery e forneça autenticação. Você pode gerar esse objeto JSON e downloads -lo na página de detalhes account de serviço nas clouds do Google em ' key'. A account de serviço precisa ter as permissões adequadas concedidas no BigQuery, incluindo BigQuery User e BigQuery Data Viewer. Para obter um exemploview de objeto JSON, a Catalog Explorer tab nesta página.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

Recomendamos que utilize segredos do Databricks em vez de strings caracteres de texto simples para valores sensíveis como credenciais. Por exemplo:

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Para obter informações sobre como configurar segredos, consulte Gerenciamento de segredos.

Crie um catálogo estrangeiro

Um catálogo externo espelha um banco de dados em um sistema de dados externo para que você possa query e gerenciar o acesso aos dados nesse banco de dados usando Databricks e Unity Catalog. Para criar um catálogo externo, utilize uma conexão com a fonte de dados já definida.

Para criar um catálogo externo, você pode usar o Catalog Explorer ou CREATE FOREIGN CATALOG em um do Databricks Notebook ou no Databricks SQL query editor .

Permissões necessárias: permissão CREATE CATALOG no metastore e propriedade da conexão ou privilégio CREATE FOREIGN CATALOG na conexão.

  1. No seu workspace do Databricks, clique em Ícone de catálogo Catálogo.

  2. Clique no botão Criar Catálogo .

  3. Na caixa de diálogo Criar um novo catálogo , insira um nome para o catálogo e selecione um Tipo de Estrangeiro.

  4. Selecione a conexão que fornece acesso ao banco de dados que você deseja espelhar como um catálogo do Unity Catalog.

  5. Clique em Criar.

execute o seguinte comando SQL em um Notebook ou no editor Databricks SQL . Os itens entre colchetes são opcionais. Substitua os valores do espaço reservado.

  • <catalog-name>: nome do catálogo no Databricks.

  • <connection-name>: o objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdowns suportados

Os seguintes pushdowns são suportados:

  • Filtros

  • Projeções

  • Limite

  • Funções: parciais, apenas para expressões de filtro. funções strings , funções matemáticas, funções de dados, hora e carimbo de data/hora e outras funções diversas, como Alias, Cast, SortOrder)

  • Agregados

  • Classificação, quando usada com limite

Os seguintes pushdowns não são suportados:

  • join

  • Funções do Windows

Mapeamentos de tipo de dados

A tabela a seguir mostra o mapeamento de tipos de dados do BigQuery para Spark.

Tipo do BigQuery

Tipo Spark

grande numérico, numérico

Tipo Decimal

int64

LongType

float64

Tipo Duplo

array, geografia, intervalo, JSON, strings, struct

VarcharType

bytes

TipoBinário

bool

BooleanType

Data

Tipo de data

data e hora, hora, carimbo de data/hora

TimestampType/TimestampNTZType

Quando você lê no BigQuery, o BigQuery Timestamp é mapeado para Spark TimestampType se preferTimestampNTZ = false (default). O BigQuery Timestamp será mapeado para TimestampNTZType se preferTimestampNTZ = true.