recurso engenharia e workspace repositório de recursos Python API

Esta página fornece links para a documentação Python API do Databricks recurso engenharia e Databricks do espaço de trabalho legado recurso Store, além de informações sobre o pacote cliente databricks-feature-engineering e databricks-feature-store.

Observação

A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineering versão 0.2.0 e posterior. Para informações sobre a migração para databricks-feature-engineering, consulte Migrar para databricks-recurso-engenharia.

Matriz de compatibilidade

O pacote e o cliente que você deve usar dependem de onde suas tabelas de recursos estão localizadas e qual versão do Databricks Runtime ML você está executando, conforme mostrado na tabela a seguir.

Para identificar a versão do pacote que está integrada à sua versão do Databricks Runtime ML, consulte a matriz de compatibilidade do recurso engenharia.

Versão Databricks Runtime

Para tabelas de recursos em

Usar pacote

Usar cliente Python

Databricks Runtime 14.3 ML e acima

Unity Catalog

databricks-feature-engineering

FeatureEngineeringClient

Databricks Runtime 14.3 ML e acima

Workspace

databricks-feature-engineering

FeatureStoreClient

Databricks Runtime 14.2 ML e abaixo

Unity Catalog

databricks-feature-engineering

FeatureEngineeringClient

Databricks Runtime 14.2 ML e abaixo

Workspace

databricks-feature-store

FeatureStoreClient

Observação

  • databricks-feature-engineering<=0.7.0 não é compatível com mlflow>=2.18.0. Para usar databricks-feature-engineering com MLflow 2.18.0 e acima, atualize para databricks-feature-engineering versão 0.8.0 ou acima.

referência de API Python de engenharia de recurso

Veja a referência da API Python do recurso Engineering.

Referência da API Python do repositório de recursos do espaço de trabalho (obsoleto)

Observação

  • A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineering versão 0.2.0 e posterior.

Para databricks-feature-store v0.17.0, consulte Databricks FeatureStoreClient em recurso engenharia Python API reference para obter a referência mais recente da API de repositório de recursos workspace .

Para v0.16.3 e abaixo, utilize os links da tabela para downloads ou exiba o repositório de recursos referência da API Python. Para determinar a versão pré-instalada da versão do Databricks Runtime ML, consulte a matriz de compatibilidade.

Versão

downloads PDF

Referência de API on-line

v0.3.5 a v0.16.3

repositório de recursos Python API 0.16.3 referência PDF

Referência de API on-line

v0.3.5 e abaixo

recurso Store Python API 0.3.5 referência PDF

Referência de API online não disponível

pacote Python

Esta seção descreve como instalar o pacote Python para usar o recurso engenharia do Databricks e o repositório de recursos do Databricks Workspace.

recursos engenharia

Observação

  • A partir da versão 0.2.0, databricks-feature-engineering contém módulos para trabalhar com tabelas de recursos no Catálogo do Unity e no repositório de recursos workspace . databricks-feature-engineering abaixo da versão 0.2.0 só funciona com tabelas de recursos no Unity Catalog.

O Databricks recurso engenharia APIs está disponível por meio do Python cliente pacote databricks-feature-engineering. O cliente está disponível em PyPI e está pré-instalado em Databricks Runtime 13.3 LTS ML e acima.

Para obter uma referência de qual versão do cliente corresponde a qual versão do tempo de execução, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-engineering

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-engineering

Repositório de recursos do espaço de trabalho (obsoleto)

Observação

  • A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes deste pacote estão agora disponíveis em databricks-feature-engineering, versão 0.2.0 e posterior.

  • Veja Migrar para databricks-recurso-engenharia para mais informações.

As APIs de repositório de recursos do Databricks estão disponíveis por meio do pacote do cliente Python databricks-feature-store. O cliente está disponível no PyPI e pré-instalado no Databricks Runtime for Machine Learning. Para obter uma referência de qual tempo de execução inclui qual versão do cliente, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-store

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-store

Migrar para databricks-feature-engineering

Para instalar o pacote databricks-feature-engineering , use pip install databricks-feature-engineering em vez de pip install databricks-feature-store. Todos os módulos em databricks-feature-store foram movidos para databricks-feature-engineering, portanto você não precisa alterar nenhum código. Instruções de importação como from databricks.feature_store import FeatureStoreClient continuarão funcionando após a instalação de databricks-feature-engineering.

Para trabalhar com tabelas de recursos no Unity Catalog, use FeatureEngineeringClient. Para usar o repositório de recursos workspace , você deve usar FeatureStoreClient.

Cenários suportados

No Databricks, incluindo Databricks Runtime e Databricks Runtime para Machine Learning, você pode:

  • Criar, ler e gravar tabelas de recursos.

  • Treinar modelos e pontuação em dados de recursos.

  • Publique tabelas de recursos em lojas online para atendimento em tempo real.

De um ambiente local ou externo ao Databricks, você pode:

  • Desenvolva código com suporte de IDE local.

  • Teste de unidade usando frameworks simulados.

  • Escreva testes de integração para serem executados no Databricks.

Limitações

A biblioteca cliente só pode ser executada em Databricks, incluindo Databricks Runtime e Databricks Runtime para Machine Learning. Ele não oferece suporte à chamada de recurso engenharia no Unity Catalog ou APIs de armazenamento de recursos de um ambiente local ou de um ambiente diferente do Databricks.

Use os clientes para testes unitários

Você pode instalar o recurso engenharia no cliente Unity Catalog ou no cliente recurso Store localmente para auxiliar na execução de testes unitários.

Por exemplo, para validar que um método update_customer_features chama FeatureEngineeringClient.write_table corretamente (ou para recurso Store workspace , FeatureStoreClient.write_table), você poderia escrever:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Use os clientes para testes de integração

O senhor pode executar testes de integração com o recurso engenharia no cliente Unity Catalog ou no cliente do repositório de recursos em Databricks. Para obter detalhes, consulte Ferramentas e orientações para desenvolvedores: Use CI/CD.