Conecte-se ao Fivetran

A integração automatizada de dados Fivetran se adapta conforme os esquemas e as APIs mudam, garantindo acesso confiável aos dados e análise simplificada com esquemas prontos paraquery .

Você pode integrar seu databricks SQL warehouse (anteriormente Databricks SQL endpoints) e clusters Databricks com Fivetran. A integração do Fivetran com o Databricks ajuda você a centralizar dados de diferentes fontes de dados no Delta Lake.

Conecte-se ao Fivetran usando Partner Connect

Esta seção descreve como se conectar ao Fivetran usando Partner Connect. Cada usuário cria sua própria conexão.

Observação

A experiência de conexão por usuário está em Public Preview. Você pode desabilitar a capacidade de criar conexões por usuário entrando em contato com sua equipe account do Databricks.

Antes de se conectar usando Partner Connect

Antes de se conectar ao Fivetran usando Partner Connect, certifique-se de ter o seguinte:

  • A função de usuário administrador workspace ou as seguintes permissões:

    • A permissão CAN USE para um SQL warehouse

    • A permissão CAN USE para uso do token

  • Para dados gerenciados pelo Unity Catalog, os seguintes privilégios de objeto metastore para o catálogo que você deseja que o Fivetran grave:

    • USE CATALOG e`CREATE SCHEMA` no catálogo.

    • (Opcional) Para especificar um local de destino, CREATE EXTERNAL TABLE no local externo e acesso aos dados no armazenamento de objetos cloud .

  • Para dados gerenciados pelo Hive metastore, os seguintes privilégios de objeto metastore para o catálogo no qual você deseja que o Fivetran grave:

    • USAGE e CREATE no catálogo

    • (Opcional) Para especificar um local de destino, acesse os dados no armazenamento de objetos cloud .

Privilégios para objetos de metastore Unity Catalog podem ser concedidos por um administrador de metastore, o proprietário do objeto ou o proprietário do catálogo ou esquema que contém o objeto. Para obter mais informações, consulte Privilégios do Unity Catalog e objetos protegíveis.

Privilégios para objetos legados Hive metastore podem ser concedidos por um administrador workspace ou pelo proprietário do objeto. Para obter mais informações, consulte Hive metastore Privilégios e objetos protegíveis (legado).

O acesso aos dados no armazenamento de objetos na nuvem deve ser configurado por um administrador do workspace com permissões suficientes no armazenamento de objetos na nuvem account. Para obter mais informações, consulte Habilitar configuração de acesso a dados.

parceiros Conectar passos

Para conectar seu workspace do Databricks ao Fivetran usando Partner Connect, faça o seguinte:

  1. Na barra lateral, clique em parceiros Conectar.

  2. Clique no bloco Fivetran .

    As passos nesta seção criam uma account de teste Fivetran em nível de usuário. Para entrar em uma accountde avaliação Fivetran existente no nível workspace, clique em Usar conexão existente, conclua as instruções na tela para entrar no Fivetran e pule o restante das passos nestes artigos.

  3. Selecione um SQL warehouse. Se o SQL warehouse estiver parado, clique em começar.

  4. Se o seu workspace estiver habilitado para Unity Catalog, selecione um catálogo para o Fivetran gravar e clique em Avançar.

    O Partner Connect gera um access tokenpessoal do Databricks associado ao seu usuário.

  5. Clique em Conectar ao Fivetran.

    Uma nova tab é aberta em seu navegador da Web que exibe o site Fivetran.

  6. Conclua as instruções na tela no site da Fivetran para criar sua account de parceiros de avaliação.

Conecte-se ao Fivetran manualmente

Para obter uma visão geral do procedimento de conexão manual, assista a este vídeo do YouTube (2 minutos).

Antes de conectar manualmente

Antes de se conectar ao Fivetran manualmente, você deve ter o seguinte:

Dica

Se o bloco Fivetran em Partner Connect em seu workspace tiver um ícone de marca de seleção dentro dele, você poderá obter os detalhes da conexão para o SQL warehouse conectado clicando no bloco e expandindo Detalhes da conexão. Os access tokenspessoal estão ocultos; você deve criar access tokenspessoal substitutos e inserir esses novos tokens quando o Fivetran solicitar.

passos manuais

Para se conectar ao Fivetran manualmente, faça o seguinte:

  1. Entre na sua account Fivetran ou crie uma nova account Fivetran em https://fivetran.com/login.

    Importante

    Se o senhor entrar no Fivetran da sua organização account, poderá ser exibida uma página Choose Destination (Escolher destino ), listando uma ou mais entradas de destino existentes com o logotipo da Databricks. Essas entradas podem conter detalhes de conexão para compute recurso em um espaço de trabalho separado do seu. Se o senhor ainda quiser reutilizar uma dessas conexões e confiar no recurso compute e tiver acesso a ele, escolha esse destino e passe para os próximos passos. Caso contrário, escolha qualquer destino disponível para passar por essa página.

  2. Em sua página Dashboard no Fivetran, clique em Destinations tab.

  3. Clique em Adicionar destino.

  4. Digite um nome de destino e clique em Adicionar.

  5. Na página Fivetran is modern ELT , clique em Configurar um conector.

  6. Clique em uma fonte de dados e, em seguida, clique em Avançar.

  7. Siga as instruções na tela no Guia de configuração no Fivetran para concluir a configuração do conector.

  8. Clique em Salvar e testar.

  9. Depois que o teste for bem-sucedido, clique em Continuar.

  10. Na página Selecione o destino dos seus dados , clique em Databricks on Google Cloud.

  11. Clique em Continuar configuração.

  12. Conclua as instruções na tela no Fivetran para inserir os detalhes de conexão para seu recurso compute Databricks existente, especificamente os valores de campo hostnamedo servidor e Caminho HTTP e os tokens que você gerou anteriormente.

  13. Clique em Salvar e testar.

  14. Depois que o teste for bem-sucedido, clique em Continuar.

  15. Continue para os próximos passos.

Recursos adicionais

Explore um ou mais dos seguintes recursos no site Fivetran: