Monitore o uso com tabelas do sistema

Visualização

Esse recurso está em Public Preview. Atualmente, não há cobranças para usar esse recurso. No futuro, parte desse uso poderá ser cobrado.

Este artigo explica o conceito de tabelas do sistema no Databricks e destaca os recursos que você pode usar para aproveitar ao máximo os dados das tabelas do sistema.

O que são tabelas de sistema?

As tabelas do sistema são um armazenamento analítico hospedado pelo Databricks dos dados operacionais da sua account , encontrados no catálogo system. As tabelas do sistema podem ser usadas para observação histórica em sua account.

Observação

Para documentação sobre system.information_schema, consulte esquema de informação.

Requisitos

Para acessar as tabelas do sistema, o site workspace deve estar habilitado para o Unity Catalog. Para obter mais informações, consulte Habilitar esquemas de tabelas do sistema.

Quais tabelas de sistema estão disponíveis?

Atualmente, Databricks hospeda tabelas de sistema para:

Tabela

Descrição

Localização

Suporta transmissão

Retenção

Incluir dados globais ou regionais

Logs de auditoria

Inclui registros de todos os eventos de auditoria em sua account do Databricks. Para obter uma lista de eventos de auditoria disponíveis, consulte Referência do log de auditoria.

system.access.audit

Sim

365 dias

Regional para eventos de nível workspace. Global para eventos de nível account.

Linhagem de mesa

Inclui um registro para cada evento de leitura ou gravação em uma tabela ou caminho Unity Catalog .

system.access.table_lineage

Sim

365 dias

Regional

Linhagem da coluna

Inclui um registro para cada evento de leitura ou gravação em uma coluna Unity Catalog (mas não inclui eventos que não possuem uma origem).

system.access.column_lineage

Sim

365 dias

Regional

Uso faturável

Inclui registros de todo o uso faturável em sua account. Cada registro de uso é um agregado por hora do uso faturável de um recurso.

system.billing.usage

Sim

365 dias

Globais

Preços

logs históricos de preços de SKU. Um registro é adicionado sempre que há uma alteração no preço do SKU.

system.billing.list_prices

Não

N/A

Globais

marketplace funnel eventos

Inclui impressões do consumidor e dados funnel para suas listagens.

system.marketplace.listing_funnel_events

Sim

365 dias

Regional

acesso à listagem marketplace

Inclui informações do consumidor para dados de solicitação concluída ou eventos de dados em suas listagens.

system.marketplace.listing_access_events

Sim

365 dias

Regional

Observação

Você poderá ver outras tabelas do sistema em sua account além das listadas acima. Essas tabelas estão atualmente em Visualização Privada e estão vazias por default. Se você estiver interessado em usar alguma dessas tabelas, entre em contato com sua equipe account do Databricks.

Habilitar esquemas de tabela do sistema

Como as tabelas do sistema são regidas pelo Unity Catalog, você precisa ter pelo menos um workspace habilitado para Unity Catalog em sua account para habilitar e acessar as tabelas do sistema. As tabelas do sistema incluem dados de todo workspace em sua account, mas elas só podem ser acessadas de um workspace habilitado para Unity Catalog.

As tabelas de sistema são ativadas no nível do esquema. Se o senhor habilitar um esquema de sistema, habilitará todas as tabelas desse esquema. Quando novos esquemas são lançados, um administrador do account precisa ativar manualmente o esquema.

As tabelas do sistema devem ser ativadas por um administrador do account. O senhor pode ativar as tabelas do sistema usando a API SystemSchemas.

Conceder acesso às tabelas do sistema

O acesso à tabela do sistema é regido pelo Unity Catalog. Por default, nenhum usuário tem acesso às tabelas do sistema. Para conceder acesso, um administrador do metastore ou outro usuário privilegiado deve conceder permissões USE e SELECT nos esquemas do sistema. Consulte gerenciar privilégios no Catálogo do Unity.

As tabelas do sistema são somente leitura e não podem ser modificadas.

Observação

Se o seu account foi criado depois de 6 de março de 2024, talvez o senhor não tenha um administrador de metastore em default. Para obter mais informações, consulte Configurar e gerenciar o Unity Catalog.

As tabelas do sistema contêm dados para todos os espaços de trabalho em sua conta?

Os logs de auditoria e as tabelas de linhagem contêm dados operacionais para todos os workspace em sua account implantados na mesma região cloud . A tabela do sistema de cobrança (system.billing.usage) contém dados para todos os workspace em sua account, independentemente da região em que estão implantados.

Embora as tabelas do sistema só possam ser acessadas por meio de um workspace do Unity Catalog, as tabelas também incluem dados operacionais para workspace do Unity Catalog em sua account.

Onde estão localizadas as tabelas do sistema?

As tabelas do sistema em sua account estão localizadas em um catálogo chamado system, que está incluído em cada metastore Unity Catalog . No catálogo system , você verá esquemas como access e billing que contêm as tabelas do sistema.

Observação

Durante a visualização pública das tabelas do sistema, o Databricks manterá todos os dados das tabelas do sistema.

Considerações sobre tabelas do sistema de transmissão

O acesso às tabelas do sistema é suportado pelo Delta Sharing. Esteja ciente das seguintes considerações ao transmitir com Delta Sharing:

  • Se você estiver usando transmissão com tabelas do sistema, defina a opção skipChangeCommit como true. Isso garante que o Job de transmissão não seja interrompido por exclusões nas tabelas do sistema. Consulte Ignorar atualizações e exclusões.

  • Trigger.AvailableNow não é compatível com a transmissão Delta Sharing. Ele será convertido para Trigger.Once.

  • Se utilizar um gatilho no seu Job de transmissão e descobrir que o Job não está a acompanhar a versão mais recente da tabela do sistema, a Databricks recomenda aumentar a frequência agendada do Job.

Problemas conhecidos

  • Atualmente não há suporte para monitoramento em tempo real. Os dados são atualizados ao longo do dia. Se você não vir os logs de um evento recente, verifique novamente mais tarde.