IA generativa e modelos de linguagem grande (LLMs) em Databricks

Este artigo fornece uma visão geral da IA generativa no Databricks e inclui links para exemplos Notebook e demonstrações.

O que é IA generativa?

IA generativa é um tipo de inteligência artificial focada na capacidade do computador de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos.

Os aplicativos de IA generativa são construídos com base em grandes modelos de linguagem (LLMs) e modelos básicos.

  • LLMs são modelos de aprendizagem profunda que consomem e ensinam um grande dataset para se destacar nas tarefas de processamento de linguagem. Eles criam novas combinações de texto que imitam a linguagem natural com base em seus dados de treinamento.

  • Os modelos básicos são grandes modelos de ML pré-treinados com a intenção de serem ajustados para uma compreensão de linguagem mais específica e tarefas de geração. Esses modelos são utilizados para discernir padrões nos dados de entrada.

Depois que esses modelos concluírem seus processos de aprendizagem, juntos eles geram resultados estatisticamente prováveis quando solicitados e podem ser empregados para realizar diversas tarefas, incluindo:

  • Geração de imagens com base nas existentes ou utilizando o estilo de uma imagem para modificar ou criar uma nova.

  • Tarefas de fala, como transcrição, tradução, geração de perguntas/respostas e interpretação da intenção ou significado do texto.

Importante

Embora muitos LLMs ou outros modelos generativos de IA tenham salvaguardas, ainda podem gerar informações prejudiciais ou imprecisas.

A IA generativa tem os seguintes padrões de design:

  • Prompt engenharia: Elaboração de prompts especializados para guiar o comportamento do LLM

  • Geração Aumentada de Recuperação (RAG): Combinando um LLM com recuperação de conhecimento externo

  • Ajuste fino: Adaptando um LLM pré-treinado a conjuntos de dados específicos de domínios

  • Pré-treinamento: treinando um LLM do zero

Desenvolva IA generativa e LLMs em Databricks

Databricks unifica o ciclo de vida da IA, desde a coleta e preparação de dados até o desenvolvimento de modelos e LLMOps, até o atendimento e monitoramento. Os seguintes recursos são otimizados especificamente para facilitar o desenvolvimento de aplicações generativas de IA:

Recursos adicionais