AI compostos: o futuro da inteligência especializada

Desde seu surgimento explosivo em meados de 2022, AI generativa rapidamente AI a atenção do mundo inteiro. O que inicialmente se concentrava na modalidade de linguagem expandiu-se desde então para novos e empolgantes caminhos, incluindo modelos de imagem, áudio e vídeo. No início de 2023, cresceram as especulações sobre o impacto potencial da tecnologia nas empresas de diversos setores, acompanhadas por empolgantes casos de adoção precoce. À medida que mais desenvolvedores começaram a criar soluções com esses modelos, a percepção geral mudou para o surgimento contínuo de versões mais novas, maiores e, espera-se, melhores dos modelos mais amplamente utilizados.

Ao entrarmos em 2024, uma constatação fundamental veio à tona: a implantação AI simplesmente a adotar o modelo mais recente e de maior porte disponível no mercado. Embora seja comum supor que AI sejam prontas para uso ou que aumentar o tamanho do modelo leve automaticamente a melhores resultados, essa abordagem raramente atende às necessidades específicas da maioria das empresas. Na realidade, aplicações bem-sucedidas exigem AI personalizadas, flexíveis e eficientes.

Para alcançar esse objetivo, recorremos aos AI Compostos. Ao contrário dos modelos únicos e monolíticos, AI compostos integram múltiplos AI especializados, cada um otimizado para uma função específica. Essa estrutura garante alta personalização, adaptabilidade e precisão, transformando AI uma ferramenta genérica em uma solução desenvolvida sob medida. Ao combinar AI menores e interconectados, as empresas podem alcançar um desempenho e resultados muito além do alcance dos modelos prontos para uso. Portanto, para obter o impacto comercial ideal em todos os setores, defendemos que uma visão estratégica deve priorizar projetos de sistemas mais inteligentes em vez de simplesmente construir modelos maiores e mais exigentes em termos computacionais.

O Laboratório Artificial Intelligence de Berkeley (BAIR) define um AI composto como um sistema “que realiza AI utilizando múltiplos componentes que interagem entre si, incluindo múltiplas chamadas a modelos, mecanismos de recuperação de informações ou ferramentas externas”. Por exemplo, o sistema de Geração Aumentada por Recuperação (RAG) é um sistema composto que combina um Modelo de Linguagem de Grande Escala (LLM), um mecanismo de recuperação de informações e um banco de dados vetorizado. Em contrapartida, um AI generativa é um modelo estatístico; por exemplo, um LLM prevê o próximo token no texto com base em data de treinamento.

Nesse contexto, um modelo pode ser visto como um único bloco, enquanto um AI composto se assemelha mais a uma máquina formada por vários blocos de construção, cada um desempenhando uma função específica para alcançar o objetivo geral do sistema.

Modelos versus sistemas AI . Fonte

Ao lidar com aplicações específicas ou necessidades setoriais, recorrer a um AI de uso geral como o GPT-4 pode não ser suficiente. Embora sejam poderosos, esses modelos são projetados para lidar com uma ampla gama de tarefas e podem carecer do conhecimento especializado necessário para aplicações específicas, levando a um retorno decrescente a partir de um certo ponto.

Por exemplo, uma instituição financeira que pretenda desenvolver um chatbot para análise de investimentos ou gestão de patrimônio precisa de um sistema que incorpore tanto conhecimento especializado quanto experiência específica da empresa. Dada a natureza do setor, haveria preocupações em relação à privacidade (a empresa pode exigir soluções locais e o uso exclusivo de modelos abertos), precisão (as soluções devem ser impecavelmente precisas) e eficiência. Utilizar mesmo os modelos de linguagem mais poderosos como solução autônoma definitivamente não seria a escolha ideal. Em vez disso, um AI composto poderia ser altamente eficaz ao integrar múltiplos componentes especializados, como sistemas de Geração Aumentada por Recuperação (RAG) e AI personalizados. Essa abordagem garante que cada parte do sistema seja otimizada para sua função específica.

Quando um sistema é construído com componentes modulares, a substituição ou atualização de peças individuais torna-se muito mais simples. O mesmo princípio se aplica aos AI compostos, que são construídos a partir de vários blocos. Se um componente dentro de uma AI composta ficar desatualizado ou deixar de atender a novos requisitos de conformidade, ele pode ser substituído sem a necessidade de uma reformulação completa de todo o sistema. Por exemplo, se um modelo novo e mais adequado se tornar disponível, ele pode ser integrado ao sistema para substituir a versão mais antiga. Da mesma forma, se um mecanismo de recuperação de informações mais eficiente for desenvolvido, ele pode ser incorporado sem interromper toda a configuração. Essa flexibilidade se estende além dos modelos e sistemas de recuperação para outros componentes, como unidades data , mecanismos de análise ou módulos de conformidade.

A natureza modular dos AI compostos oferece vantagens significativas em termos de escalabilidade. Ao permitir que os componentes individuais sejam dimensionados de forma independente, esses sistemas podem gerenciar com eficiência data crescentes data e maior complexidade sem a necessidade de uma reformulação completa.

Um sistema pode ser escalonado por meio de sua replicação em uma rede de sistemas, o que, em teoria, permite uma escalabilidade infinita. É por isso que um único modelo de linguagem, por maior ou mais poderoso que seja (atualmente), não consegue pesquisar com eficácia uma base de dados muito grande em busca de uma informação específica. Para ampliar as capacidades de pesquisa de um modelo, será inevitavelmente necessário criar um sistema multicomponente para aprimorar a função de pesquisa. Se mesmo as tarefas mais simples, como a recuperação de informações, não podem ser efetivamente escalonadas por um único modelo, fica claro que componentes individuais, por si só, não podem suportar aplicações complexas em grande escala.

Do ponto de vista empresarial, a adoção AI compostos vai além da sofisticação técnica – ela oferece vantagens estratégicas que se alinham diretamente com os objetivos da empresa. Pode-se até argumentar que, se uma empresa deseja aproveitar AI generativa, não tem outra escolha a não ser construir (ou adquirir) um sistema composto. Embora isso possa parecer simples, desafia a suposição comum no mundo dos negócios de que modelos independentes e prontos para uso são suficientes para atender a demandas especializadas.

AI mais avançados, por si só, não conseguem criar uma experiência personalizada. Isso só pode ser alcançado por meio de um sistema integrado que permita oferecer experiências ao cliente altamente personalizadas e contextualmente relevantes. Por exemplo, o Custom Neural Voice da Microsoft combina LLMs gerais com treinamento de voz personalizado, permitindo que as marcas criem assistentes digitais que se alinhem precisamente com seu tom e estilo únicos. Esse nível de personalização é particularmente poderoso em setores voltados para o cliente, como a publicidade, onde os clientes respondem positivamente ao se sentirem especiais e compreendidos. Do ponto de vista empresarial, combinar essa tecnologia com a capacidade de adicionar contexto resulta em resultados personalizados, impulsionando, em última instância, a satisfação do cliente.

Ao contrário dos modelos individuais, que oferecem um nível fixo de qualidade a um custo fixo, AI composta AI configurações flexíveis de custo-qualidade. Por exemplo, as empresas podem integrar um modelo menor, otimizado para tarefas específicas, com componentes especializados, como heurísticas de pesquisa, para obter resultados de alta qualidade a um custo menor em comparação com modelos maiores e independentes. Essa flexibilidade permite o uso de modelos menores, potencialmente de código aberto, que, com engenharia direcionada, podem oferecer resultados comparáveis aos de soluções mais caras.

Para as empresas, a confiabilidade e a credibilidade AI são fundamentais. Depender exclusivamente de modelos individuais pode dificultar a obtenção de resultados consistentemente precisos e bem formatados. Por exemplo, um cliente anterior do setor educacional solicitou certa vez uma solução para preencher automaticamente formulários de inscrição com base data informações de sua escola. Inicialmente, passei meses desenvolvendo um sistema sequencial baseado em engenharia avançada de prompts, sem utilizar uma abordagem combinada. Os resultados melhoraram, mas nunca chegaram perto o suficiente do que poderíamos apresentar como formulários totalmente preenchidos. Foi somente quando o conceito de RAG foi introduzido que resultados totalmente controlados começaram a surgir. No entanto, mesmo o RAG por si só não foi suficiente; componentes adicionais foram necessários para categorizar informações, manter a coerência do contexto e lidar com outras nuances. Somente então alcançamos a confiabilidade e a precisão de que o cliente precisava.

Uma análise do panorama atual da AI aplicações industriais revela uma tendência clara: confiar em um único modelo para executar funções complexas muitas vezes se mostra pouco confiável. À medida que os casos de uso se tornam mais complexos e a adoção pelas empresas cresce, a demanda por AI altamente especializadas e capazes tende a aumentar. Para atender a essa demanda, é necessário orquestrar uma arquitetura de solução que incorpore modelos aprimorados e especializados, evitando a armadilha de um escopo restrito e unilateral.

A comunidade de desenvolvedores está em polvorosa com aplicativos empolgantes que abrangem áreas que vão da medicina ao varejo, todos criados a partir da combinação de componentes menores e especializados em soluções poderosas e personalizadas.

Mesmo AI, por si só, não é suficientemente inteligente para atingir objetivos estratégicos de negócios. Ela deve ser complementada por uma forma superior de inteligência coordenada.

A seguir, apresentamos uma seleção de AI compostos impactantes e interessantes que destacam a utilidade desse conceito. Independentemente da infraestrutura que os desenvolvedores estejam utilizando, o objetivo é observar como a combinação de vários AI com outras ferramentas pode alcançar um objetivo muito específico.

O RAG aprimora a saída de um LLM ao fornecer um contexto específico obtido de um banco de dados vetorizado que está fora dos data de treinamento originais do modelo. Embora os LLMs sejam treinados em vastos conjuntos de dados e utilizem bilhões de parâmetros para gerar respostas, o RAG vai um passo além. Ele permite que o LLM acesse e consulte informações específicas e atualizadas, sejam elas específicas de um determinado domínio ou extraídas da base de conhecimento interna de uma organização. Esse processo melhora significativamente a relevância, a precisão e a utilidade do conteúdo gerado, tudo sem a necessidade de retreinar o modelo.

Empresas com grandes conjuntos de dados que necessitam de um método eficiente para organizar o conhecimento interno podem implementar essa solução no local, utilizando o modelo de sua preferência, para recuperar informações específicas. Por exemplo, analistas financeiros podem localizar rapidamente data relevantes data reports históricos reports a necessidade de examinar manualmente cada um deles. O modelo, aprimorado por essas informações contextuais, também gera respostas mais precisas e úteis, agilizando todo o processo de recuperação de informações.

A seguir, apresentamos uma arquitetura RAG típica:

Arquitetura geral do RAG

A seguir, apresentamos uma tabela com alguns AI compostos comuns (fonte):