Federação Lakehouse: Migrar conexões de federação de consultas legadas
Se o senhor tiver configurado conexões de federação de consulta herdadas, o site Databricks recomenda que as migre para usar a Federaçãolakehouse .
A federação query herdada envolvia a criação de tabelas em Databricks que faziam referência a uma fonte de dados externa. Para “mover” essas tabelas para o Unity Catalog usando a federação lakehouse , você deve criar uma conexão de federação lakehouse e um catálogo externo para o banco de dados que inclui a tabela. Você pode conceder acesso de usuário ao catálogo ou a esquemas e tabelas no catálogo usando o Unity Catalog.
Um único catálogo externo pode abranger várias tabelas que você configurou para a federação query herdada.
No seguinte exemplo:
A guia “Sintaxe herdada” mostra a sintaxe que foi usada para criar uma tabela chamada
postgresql_table
no Databricks que faz referência amy-postgres-table
no banco de dadosmy-postgres-database
no servidorpostgres-demo.lb123.us-west-2.rds.amazonaws.com:5432
.A tab “ lakehouse Federation” mostra a criação de uma conexão com o servidor
postgres-demo.lb123.us-west-2.rds.amazonaws.com:5432
, seguida pela criação de um catálogo estrangeiro,my-postgres-catalog
que mapeia para atabmy-postgres-database
da ase.
CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
dbtable 'my-postgres-table',
host 'postgres-demo.lb123.us-west-2.rds.amazonaws.com',
port '5432',
database 'my-postgres-database',
user 'postgres_user',
password 'password123'
);
--Create a connection:
CREATE CONNECTION postgres-connection TYPE postgresql
OPTIONS (
host 'postgres-demo.lb123.us-west-2.rds.amazonaws.com',
port '5432',
user 'postgres_user',
password 'password123'
);
--Create a foreign catalog that mirrors the database:
CREATE FOREIGN CATALOG my-postgres-catalog USING CONNECTION postgres-connection
OPTIONS (database 'my-postgres-database');
O catálogo externo exibirá my-postgres-table
e todas as outras tabelas em my-postgres-database
, e você pode usar o Unity Catalog para gerenciar o acesso a essas tabelas de seu workspace do Databricks.
Observação
Sua configuração de federação query original pode incluir opções que não estão disponíveis na federação lakehouse . Você pode não precisar dessas opções ao mudar para a federação lakehouse , mas se precisar delas, poderá continuar a usar a conexão de federação query herdada em vez de migrar.
Instruções detalhadas para criar conexões e catálogos estrangeiros estão disponíveis para cada tipo de conexão com suporte. Consulte os artigos para o seu tipo de conexão, listados no sumário no painel de navegação esquerdo deste site de documentação.