Recomendações de rede para Lakehouse Federation

Este artigo fornece orientação para configurar um caminho de rede viável entre seus clusters Databricks ou SQL warehouse e o sistema de banco de dados externo ao qual você está se conectando usando lakehouse Federation.

Tenha em mente as seguintes informações importantes:

  • Todo o tráfego de rede ocorre diretamente entre clusters Databricks (ou SQL warehouse) e o sistema de banco de dados externo. Nem Unity Catalog nem o plano de controle do Databricks estão no caminho da rede.

  • Databricks compute (ou seja, clusters e SQL warehouse) sempre aprimorados na cloud, mas o sistema de banco de dados externo pode ser on-premises ou hospedado em qualquer provedor cloud , desde que haja um caminho de rede viável entre sua compute Databricks e o banco de dados externo.

  • Se você tiver restrições de rede de entrada ou saída na compute do Databricks ou no sistema de banco de dados externo, consulte as seções a seguir para obter orientações gerais para ajudá-lo a criar um caminho de rede viável.

Para obter mais informações sobre o trabalho em rede no espaço de trabalho do Databricks, consulte Trabalho em rede.

Sistema de banco de dados e Databricks computam ambos acessíveis pela internet

A conexão deve funcionar sem nenhuma configuração.

O sistema de banco de dados tem restrições de acesso à rede

Se o sistema de banco de dados externo tiver restrições de acesso à rede de entrada ou saída e os clusters Databricks ou SQL warehouse estiverem acessíveis pela Internet, execute as seguintes configurações, dependendo do tipo de compute:

Clássico compute recurso:

Configure uma das seguintes soluções de rede:

  • IP de saída estável na compute Databricks.

    Configure um endereço IP estável junto com um balanceador de carga, gateway NAT, gateway de Internet ou equivalente e conecte-o à sub-rede em que o Databricks compute está implantado. Isso permite que o compute compartilhe um endereço IP público estável que pode ser incluído na lista de permissões do banco de dados externo.

    O sistema de banco de dados externo deve permitir o IP estável compute do Databricks para o tráfego de entrada e saída.

    • Serviço privado Connect (somente quando o banco de dados externo estiver nas mesmas nuvens que o Databricks compute)

      Configure uma conexão Private Serviço Connect entre a rede em que o banco de dados está implantado e a rede em que o Databricks compute está implantado.

    serverless compute recurso:

    Entre em contato com sua account equipe do Databricks para saber mais sobre os planos para oferecer suporte ao acesso seguro à rede a bancos de dados externos a partir de serverless compute.

A computação Databricks tem restrições de acesso à rede

Se o sistema de banco de dados externo estiver acessível pela Internet e a compute do Databricks tiver restrições de acesso à rede de entrada ou saída (o que só é possível se você estiver em uma rede de geração de clientes), execute uma das seguintes configurações:

  • Lista de permissões o hostname do banco de dados externo nas regras de firewall da sub-rede onde compute do Databricks é aprimorada.

    Se você optar por permitir o endereço IP do banco de dados externo em vez do hostname, certifique-se de que o banco de dados externo tenha um endereço IP estável.

  • Serviço privado Connect (somente quando o banco de dados externo estiver nas mesmas nuvens que o Databricks compute)

    Configure uma conexão Private Serviço Connect entre a rede em que o banco de dados está implantado e a rede em que o Databricks compute está implantado.

A computação do Databricks tem um servidor DNS personalizado

Se o sistema de banco de dados externo estiver acessível pela Internet e a compute do Databricks tiver um servidor DNS personalizado (o que só é possível se você estiver em uma rede de geração de clientes), adicione o hostname do sistema de banco de dados ao seu servidor DNS personalizado para que possa ser resolvido.