IA generativa e modelos de linguagem grande (LLMs) em Databricks
Este artigo fornece uma visão geral da IA generativa no Databricks e inclui links para exemplos Notebook e demonstrações.
O que é IA generativa?
IA generativa é um tipo de inteligência artificial focada na capacidade do computador de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos.
Os aplicativos de IA generativa são construídos com base em grandes modelos de linguagem (LLMs) e modelos básicos.
LLMs são modelos de aprendizagem profunda que consomem e ensinam um grande dataset para se destacar nas tarefas de processamento de linguagem. Eles criam novas combinações de texto que imitam a linguagem natural com base em seus dados de treinamento.
Os modelos básicos são grandes modelos de ML pré-treinados com a intenção de serem ajustados para uma compreensão de linguagem mais específica e tarefas de geração. Esses modelos são utilizados para discernir padrões nos dados de entrada.
Depois que esses modelos concluírem seus processos de aprendizagem, juntos eles geram resultados estatisticamente prováveis quando solicitados e podem ser empregados para realizar diversas tarefas, incluindo:
Geração de imagens com base nas existentes ou utilizando o estilo de uma imagem para modificar ou criar uma nova.
Tarefas de fala, como transcrição, tradução, geração de perguntas/respostas e interpretação da intenção ou significado do texto.
Importante
Embora muitos LLMs ou outros modelos generativos de IA tenham salvaguardas, ainda podem gerar informações prejudiciais ou imprecisas.
A IA generativa tem os seguintes padrões de design:
Prompt engenharia: Elaboração de prompts especializados para guiar o comportamento do LLM
Geração Aumentada de Recuperação (RAG): Combinando um LLM com recuperação de conhecimento externo
Ajuste fino: Adaptando um LLM pré-treinado a conjuntos de dados específicos de domínios
Pré-treinamento: treinando um LLM do zero
Desenvolva IA generativa e LLMs em Databricks
Databricks unifica o ciclo de vida da IA, desde a coleta e preparação de dados até o desenvolvimento de modelos e LLMOps, até o atendimento e monitoramento. Os seguintes recursos são otimizados especificamente para facilitar o desenvolvimento de aplicações generativas de IA:
Unity Catalog para governança, descoberta, controle de versão e controle de acesso para dados, recursos, modelos e funções.
MLflow para acompanhamento de desenvolvimento de modelo e avaliação LLM.
Recursos adicionais
Consulte Geração Aumentada de Recuperação (RAG) no Databricks.
Para obter informações sobre como usar modelos Hugging Face em Databricks, consulte Hugging Face Transformers.
O databricks-ml-examples repo no Github contém exemplos de implementações de LLMs de última geração (SOTA).