execução de consultas federadas no Google BigQuery

Este artigo descreve como configurar o Lakehouse Federation para executar consultas federadas nos dados do site BigQuery que não são gerenciados pelo site Databricks. Para saber mais sobre a lakehouse Federation, consulte O que é a lakehouse Federation?

Para se conectar ao banco de dados do BigQuery usando lakehouse Federation, você deve criar o seguinte no metastore do Catálogo do Databricks Unity:

Uma conexão com seu banco de dados do BigQuery.
Um catálogo externo que espelha seu banco de dados do BigQuery no Unity Catalog para que você possa usar a sintaxe query do Unity Catalog e as ferramentas de governança de dados para gerenciar o acesso do usuário do Databricks ao banco de dados.

Antes de começar

requisitos workspace :

workspace habilitado para o Unity Catalog.

requisitos compute :

Conectividade de rede dos clusters Databricks Runtime ou SQL warehouse para os sistemas de banco de dados de destino. Consulte Recomendações de rede para a Federação lakehouse .
Databricks O clustering deve usar Databricks Runtime 16.1 ou acima e o modo de acesso compartilhado ou de usuário único.
SQL warehouse deve ser Pro ou serverless.

Permissões necessárias:

Para criar uma conexão, você deve ser um administrador do metastore ou um usuário com o privilégio CREATE CONNECTION no metastore do Unity Catalog anexado ao workspace.
Para criar um catálogo externo, você deve ter a permissão CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio CREATE FOREIGN CATALOG na conexão.

Requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Crie uma conexão

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Catalog Explorer ou o CREATE CONNECTION comando SQL em um do Databricks Notebook ou no Databricks SQL query editor .

Observação

O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar uma conexão. Veja POST /api/2.1/unity-catalog/connections e Unity Catalog comando.

Permissões necessárias: administrador do metastore ou usuário com privilégio CREATE CONNECTION .

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone Add e selecione Add a connection (Adicionar uma conexão ) no menu.

Como alternativa, na página Quick access (Acesso rápido ), clique no botão External data (Dados externos) >, acesse Connections (Conexões ) tab e clique em Create connection (Criar conexão).
Na página Noções básicas de conexão do assistente de configuração de conexão, insira um nome de conexão fácil de usar.
Selecione um tipo de conexão do Google BigQuery e clique em Next (Avançar).

Na página Authentication (Autenticação ), digite o serviço do Google account key JSONpara sua instância BigQuery.

Esse é um objeto JSON bruto usado para especificar o projeto BigQuery e fornecer autenticação. O senhor pode gerar esse objeto JSON e download a partir da página de detalhes do serviço account no Google Cloud em "key". O serviço account deve ter as permissões adequadas concedidas em BigQuery, incluindo BigQuery User e BigQuery Data Viewer. Veja a seguir um exemplo.

{
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "PRIVATE_KEY",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

(Opcional) Insira o ID do projeto para sua instância do BigQuery:

Esse é um nome para o projeto BigQuery usado para o faturamento de todas as consultas executadas sob essa conexão. padrão para o ID do projeto de seu serviço account.
(Opcional) Adicione um comentário.
Clique em Criar conexão.
Na página Noções básicas do catálogo, insira um nome para o catálogo estrangeiro. Um catálogo externo espelha um banco de dados em um sistema de dados externo para que o senhor possa consultar e gerenciar o acesso aos dados desse banco de dados usando o Databricks e o Unity Catalog.
(Opcional) Clique em Testar conexão para confirmar se está funcionando.
Clique em Criar catálogo.
Na página Access (Acesso), selecione o espaço de trabalho no qual os usuários podem acessar o catálogo que o senhor criou. O senhor pode selecionar All workspace have access (Todos os espaços de trabalho têm acesso) ou clicar em Assign to workspace (Atribuir ao espaço de trabalho), selecionar o espaço de trabalho e clicar em Assign (Atribuir).
Altere o proprietário que poderá gerenciar o acesso a todos os objetos no catálogo. comece a digitar um diretor na caixa de texto e, em seguida, clique no diretor nos resultados retornados.
Conceda privilégios no catálogo. Clique em Conceder:
1. Especifique os diretores que terão acesso aos objetos no catálogo. comece a digitar um diretor na caixa de texto e, em seguida, clique no diretor nos resultados retornados.
2. Selecione as predefinições de privilégios a serem concedidas a cada diretor. Todos os usuários de account recebem BROWSE de default.
  - Selecione Leitor de dados no menu suspenso para conceder privilégios read em objetos no catálogo.
  - Selecione Editor de dados no menu suspenso para conceder os privilégios read e modify aos objetos no catálogo.
  - Selecione manualmente os privilégios a serem concedidos.
3. Clique em Conceder.
Clique em Avançar.
Na página Metadata (Metadados ), especifique as tags em key-value. Para obter mais informações, consulte Apply tags to Unity Catalog securable objects.
(Opcional) Adicione um comentário.
Clique em Salvar.

execute o seguinte comando em um Notebook ou no Databricks SQL query editor . Substitua <GoogleServiceAccountKeyJson> por um objeto JSON bruto que especifique o projeto do BigQuery e forneça autenticação. Você pode gerar esse objeto JSON e downloads -lo na página de detalhes account de serviço nas clouds do Google em ' key'. A account de serviço precisa ter as permissões adequadas concedidas no BigQuery, incluindo BigQuery User e BigQuery Data Viewer. Para obter um exemploview de objeto JSON, a Catalog Explorer tab nesta página.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

Recomendamos que utilize segredos do Databricks em vez de strings caracteres de texto simples para valores sensíveis como credenciais. Por exemplo:

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Para obter informações sobre como configurar segredos, consulte Gerenciamento de segredos.

Crie um catálogo estrangeiro

Observação

Se o senhor usar a interface do usuário para criar uma conexão com a fonte de dados, a criação do catálogo externo estará incluída e o senhor poderá ignorar essa etapa.

Um catálogo externo espelha um banco de dados em um sistema de dados externo para que você possa query e gerenciar o acesso aos dados nesse banco de dados usando Databricks e Unity Catalog. Para criar um catálogo externo, utilize uma conexão com a fonte de dados já definida.

Para criar um catálogo externo, o senhor pode usar o Catalog Explorer ou CREATE FOREIGN CATALOG em um Notebook Databricks ou o editor de consultas Databricks SQL. O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar um catálogo. Veja POST /api/2.1/unity-catalog/catalogs ou Unity Catalog comando.

Permissões necessárias: permissão CREATE CATALOG no metastore e propriedade da conexão ou privilégio CREATE FOREIGN CATALOG na conexão.

Em seu site Databricks workspace, clique em Catalog para abrir o Catalog Explorer.
Na parte superior do painel Catalog (Catálogo ), clique no ícone Add (Adicionar ) e selecione Add a catalog (Adicionar um catálogo ) no menu.

Como alternativa, na página de acesso rápido, clique no botão Catalogs (Catálogos ) e, em seguida, clique no botão Create catalog (Criar catálogo ).
(Opcional) Insira a seguinte propriedade do catálogo:

Id do projeto de dados: Um nome para o projeto do BigQuery que contém dados que serão mapeados para esse catálogo. padrão para o ID do projeto de faturamento definido no nível da conexão.
Siga as instruções para criar catálogos estrangeiros em Criar catálogos.

execute o seguinte comando SQL em um Notebook ou no editor Databricks SQL . Os itens entre colchetes são opcionais. Substitua os valores do espaço reservado.

<catalog-name>: nome do catálogo no Databricks.
<connection-name>: o objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdowns suportados

Os seguintes pushdowns são suportados:

Filtros
Projeções
Limite
Funções: parciais, apenas para expressões de filtro. funções strings , funções matemáticas, funções de dados, hora e carimbo de data/hora e outras funções diversas, como Alias, Cast, SortOrder)
Agregados
Classificação, quando usada com limite
join (Databricks Runtime 16.1 ou acima)

Os seguintes pushdowns não são suportados:

Funções do Windows

Mapeamentos de tipo de dados

A tabela a seguir mostra o mapeamento de tipos de dados do BigQuery para Spark.

Tipo do BigQuery	Tipo Spark
grande numérico, numérico	Tipo Decimal
int64	LongType
float64	Tipo Duplo
array, geografia, intervalo, JSON, strings, struct	VarcharType
bytes	TipoBinário
bool	BooleanType
Data	Tipo de data
data e hora, hora, carimbo de data/hora	TimestampType/TimestampNTZType

Quando você lê no BigQuery, o BigQuery Timestamp é mapeado para Spark TimestampType se preferTimestampNTZ = false (default). O BigQuery Timestamp será mapeado para TimestampNTZType se preferTimestampNTZ = true.