API do Python

Esta página fornece links para a documentação da API Python do Databricks recurso engenharia e do Databricks Workspace repositório de recursos e informações sobre o pacote do cliente databricks-feature-engineering e databricks-feature-store.

Observação

A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineering versão 0.2.0 e posterior. Para informações sobre a migração para databricks-feature-engineering, consulte Migrar para databricks-recurso-engenharia.

Matriz de compatibilidade

O pacote e o cliente que você deve usar dependem de onde suas tabelas de recursos estão localizadas e qual versão do Databricks Runtime ML você está executando, conforme mostrado na tabela a seguir.

Para identificar a versão do pacote que está integrada à sua versão do Databricks Runtime ML, consulte a matriz de compatibilidade do recurso engenharia.

Versão Databricks Runtime	Para tabelas de recursos em	Usar pacote	Usar cliente Python
Databricks Runtime 14.3 ML e acima	Unity Catalog	databricks-feature-engineering	FeatureEngineeringClient
Databricks Runtime 14.3 ML e acima	Workspace	databricks-feature-engineering	FeatureStoreClient
Databricks Runtime 14.2 ML e abaixo	Unity Catalog	databricks-feature-engineering	FeatureEngineeringClient
Databricks Runtime 14.2 ML e abaixo	Workspace	databricks-feature-store	FeatureStoreClient

referência de API Python de engenharia de recurso

Veja a referência da API Python do recurso Engineering.

Referência da API Python do repositório de recursos do espaço de trabalho (obsoleto)

Observação

• A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineering versão 0.2.0 e posterior.

Para databricks-feature-store v0.17.0, consulte Databricks FeatureStoreClient em recurso engenharia Python API reference para obter a referência mais recente da API de repositório de recursos workspace .

Para v0.16.3 e abaixo, utilize os links da tabela para downloads ou exiba o repositório de recursos referência da API Python. Para determinar a versão pré-instalada da versão do Databricks Runtime ML, consulte a matriz de compatibilidade.

Versão	downloads PDF	Referência de API on-line
v0.3.5 a v0.16.3	repositório de recursos Python API 0.16.3 referência PDF	Referência de API on-line
v0.3.5 e abaixo	recurso Store Python API 0.3.5 referência PDF	Referência de API online não disponível

pacote Python

Esta seção descreve como instalar o pacote Python para usar o recurso engenharia do Databricks e o repositório de recursos do Databricks Workspace.

recursos engenharia

Observação

• A partir da versão 0.2.0, databricks-feature-engineering contém módulos para trabalhar com tabelas de recursos no Catálogo do Unity e no repositório de recursos workspace . databricks-feature-engineering abaixo da versão 0.2.0 só funciona com tabelas de recursos no Unity Catalog.

O Databricks recurso engenharia APIs está disponível por meio do Python cliente pacote databricks-feature-engineering. O cliente está disponível em PyPI e está pré-instalado em Databricks Runtime 13.3 LTS ML e acima.

Para obter uma referência de qual versão do cliente corresponde a qual versão do tempo de execução, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-engineering

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-engineering

Repositório de recursos do espaço de trabalho (obsoleto)

Observação

• A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes deste pacote estão agora disponíveis em databricks-feature-engineering, versão 0.2.0 e posterior.

• Veja Migrar para databricks-recurso-engenharia para mais informações.

As APIs de repositório de recursos do Databricks estão disponíveis por meio do pacote do cliente Python databricks-feature-store. O cliente está disponível no PyPI e pré-instalado no Databricks Runtime for Machine Learning. Para obter uma referência de qual tempo de execução inclui qual versão do cliente, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-store

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-store

Migrar para databricks-feature-engineering

Para instalar o pacote databricks-feature-engineering , use pip install databricks-feature-engineering em vez de pip install databricks-feature-store. Todos os módulos em databricks-feature-store foram movidos para databricks-feature-engineering, portanto você não precisa alterar nenhum código. Instruções de importação como from databricks.feature_store import FeatureStoreClient continuarão funcionando após a instalação de databricks-feature-engineering.

Para trabalhar com tabelas de recursos no Unity Catalog, use FeatureEngineeringClient. Para usar o repositório de recursos workspace , você deve usar FeatureStoreClient.

Cenários suportados

No Databricks, incluindo Databricks Runtime e Databricks Runtime para Machine Learning, você pode:

• Criar, ler e gravar tabelas de recursos.

• Treinar modelos e pontuação em dados de recursos.

• Publique tabelas de recursos em lojas online para atendimento em tempo real.

De um ambiente local ou externo ao Databricks, você pode:

• Desenvolva código com suporte de IDE local.

• Teste de unidade usando frameworks simulados.

• Escreva testes de integração para serem executados no Databricks.

Limitações

A biblioteca cliente só pode ser executada em Databricks, incluindo Databricks Runtime e Databricks Runtime para Machine Learning. Ele não oferece suporte à chamada de recurso engenharia no Unity Catalog ou APIs de armazenamento de recursos de um ambiente local ou de um ambiente diferente do Databricks.

Use os clientes para testes unitários

Você pode instalar o recurso engenharia no cliente Unity Catalog ou no cliente recurso Store localmente para auxiliar na execução de testes unitários.

Por exemplo, para validar que um método update_customer_features chama FeatureEngineeringClient.write_table corretamente (ou para recurso Store workspace , FeatureStoreClient.write_table), você poderia escrever:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Use os clientes para testes de integração

Você pode executar testes de integração com o cliente recurso engenharia no cliente Unity Catalog ou com o cliente recurso Store no Databricks. Para obter detalhes, consulte Ferramentas e orientações para desenvolvedores: usar CI/CD.

Use os clientes em um ambiente de desenvolvimento integrado (IDE)

Você pode usar o cliente recurso engenharia no Unity Catalog ou o cliente recurso Store com um IDE para desenvolvimento de software com Databricks. Para obter detalhes, consulte Usar dbx com Visual Studio Code.