Compound AI Systems: O futuro da inteligência especializada

Desde o seu surgimento explosivo em meados de 2022, o site generativo AI conquistou rapidamente a atenção mundial. O que inicialmente se concentrava na modalidade de linguagem, desde então se expandiu para novos caminhos interessantes, incluindo modelos de imagem, áudio e vídeo. No início de 2023, cresceram as especulações sobre o possível impacto da tecnologia nas empresas de vários setores, acompanhadas de casos interessantes de adoção inicial. À medida que mais desenvolvedores começaram a criar soluções com esses modelos, a percepção geral mudou para o surgimento contínuo de versões mais novas, maiores e, espera-se, melhores dos modelos mais amplamente usados.

À medida que entramos em 2024, surgiu um insight importante: a implementação do AI não se trata apenas de adotar o modelo mais recente e maior da prateleira. Embora seja comum supor que as soluções AI já estejam prontas ou que o aumento do tamanho do modelo leva automaticamente a melhores resultados, essa abordagem raramente atende às necessidades especializadas da maioria das empresas. Na realidade, os aplicativos bem-sucedidos exigem soluções AI que sejam personalizadas, flexíveis e eficientes.

Para isso, recorremos aos sistemas compostos AI . Diferentemente dos modelos únicos e monolíticos, os sistemas compostos AI integram vários componentes especializados AI , cada um otimizado para uma função específica. Essa estrutura garante alta capacidade de personalização, adaptabilidade e precisão, transformando o AI de uma ferramenta geral em uma solução específica. Ao combinar componentes menores e interconectados AI , as empresas podem obter desempenho e resultados muito além do escopo de modelos prontos para uso. Portanto, para obter um impacto comercial ideal em todos os setores, argumentamos que uma visão estratégica deve priorizar projetos de sistemas mais inteligentes em vez de simplesmente criar modelos maiores e mais exigentes em termos de computação.

O Berkeley Artificial Intelligence Research lab (BAIR) define um sistema composto de AI como um sistema "que lida com AI tarefas usando vários componentes que interagem, incluindo várias chamadas para modelos, recuperadores ou ferramentas externas". Por exemplo, o sistema Retrieval Augmented Generation (RAG) é um sistema composto que combina um modelo de linguagem grande (LLM), um mecanismo de recuperação de informações e um banco de dados vetorial. AI Em contraste, um modelo generativo é um modelo estatístico; por exemplo, um LLM prevê o próximo token no texto com base no treinamento data.

AI Nesse contexto, um modelo pode ser visto como um único bloco, enquanto um sistema composto é mais parecido com uma máquina composta de vários blocos de construção, cada um deles com uma função específica para atingir o objetivo geral do sistema.

Modelos vs. AI Sistemas compostos. Fonte

Ao abordar aplicativos específicos ou necessidades do setor, confiar em um modelo AI de uso geral, como o GPT-4, pode não ser suficiente. Embora sejam poderosos, esses modelos são projetados para lidar com uma ampla gama de tarefas e podem não ter o conhecimento especializado necessário para aplicativos específicos, o que leva a retornos decrescentes além de um determinado ponto.

Por exemplo, uma instituição financeira que esteja buscando desenvolver um chatbot para análise de investimentos ou gerenciamento de patrimônio precisa de um sistema que incorpore tanto o conhecimento especializado quanto o conhecimento específico da empresa. Dada a natureza do setor, haveria preocupações com relação à privacidade (a empresa pode exigir soluções locais e uso exclusivo de modelos abertos), precisão (as soluções devem ser impecavelmente precisas) e eficiência. Usar até mesmo os modelos de linguagem mais avançados como uma solução autônoma definitivamente não seria a melhor opção. Em vez disso, um sistema composto AI poderia ser altamente eficaz ao integrar vários componentes especializados, como sistemas RAG (Retrieval-Augmented Generation) e agentes AI personalizados. Essa abordagem garante que cada parte do sistema seja otimizada para sua função específica.

Quando um sistema é construído com componentes modulares, a substituição ou atualização de peças individuais se torna muito mais simples. O mesmo princípio se aplica aos sistemas compostos AI , que são construídos a partir de vários blocos. Se um componente de uma solução composta AI ficar desatualizado ou não atender aos novos requisitos de conformidade, ele poderá ser substituído sem a necessidade de uma revisão completa de todo o sistema. Por exemplo, se um modelo novo e mais adequado estiver disponível, ele poderá ser integrado ao sistema para substituir a versão antiga. Da mesma forma, se for desenvolvido um mecanismo de recuperação de informações mais eficiente, ele poderá ser trocado sem interromper toda a configuração. Essa flexibilidade se estende além dos modelos e sistemas de recuperação para outros componentes, como unidades de processamento data , mecanismos de análise ou módulos de conformidade.

A natureza modular dos sistemas compostos do AI oferece vantagens significativas em termos de escalabilidade. Ao permitir que componentes individuais sejam dimensionados de forma independente, esses sistemas podem gerenciar com eficiência o aumento dos volumes e da complexidade do data sem a necessidade de uma revisão completa.

Um sistema pode ser dimensionado replicando-o em uma rede de sistemas, o que, teoricamente, permite uma escalabilidade infinita. É por isso que um modelo de linguagem única, por maior ou mais poderoso que seja (atualmente), não pode pesquisar com eficácia um banco de dados muito grande em busca de uma informação específica. Para ampliar os recursos de pesquisa de um modelo, você precisará inevitavelmente criar um sistema de vários componentes para aprimorar a função de pesquisa. Se mesmo as tarefas mais simples, como a recuperação de informações, não puderem ser dimensionadas de forma eficaz por um único modelo, fica claro que os componentes individuais, por si só, não podem oferecer suporte a aplicativos complexos e de grande escala.

AI Do ponto de vista comercial, a adoção de sistemas compostos vai além da sofisticação técnica - ela oferece vantagens estratégicas que se alinham diretamente às metas comerciais. Poderíamos até argumentar que, se uma empresa deseja aproveitar o sistema generativo AI, ela não tem outra opção a não ser criar (ou comprar) um sistema composto. Embora isso possa parecer simples, desafia a suposição comercial comum de que modelos autônomos e prontos para uso são suficientes para atender a demandas especializadas.

Os modelos mais avançados de AI , por si só, não conseguem criar uma experiência personalizada. Isso só pode ser alcançado por meio de um sistema composto que permita o fornecimento de experiências do cliente altamente personalizadas e contextualmente relevantes. Por exemplo, o Custom Neural Voice da Microsoft combina LLMs gerais com treinamento de voz personalizado, permitindo que as marcas criem assistentes digitais que se alinham precisamente com seu tom e estilo exclusivos. Esse nível de personalização é particularmente poderoso em setores voltados para o cliente, como o de publicidade, em que os clientes respondem positivamente ao se sentirem especiais e compreendidos. Do ponto de vista comercial, a combinação dessa tecnologia com a capacidade de adicionar contexto resulta em resultados personalizados, o que acaba aumentando a satisfação do cliente.

Ao contrário dos modelos individuais que fornecem um nível fixo de qualidade a um custo fixo, o composto AI oferece configurações flexíveis de custo-qualidade. Por exemplo, as empresas podem integrar um modelo menor, ajustado por instruções, com componentes especializados, como heurística de pesquisa, para obter resultados de alta qualidade a um custo menor em comparação com modelos maiores e autônomos. Essa flexibilidade permite o uso de modelos menores e potencialmente de código aberto que, com engenharia direcionada, podem fornecer resultados comparáveis aos de soluções mais caras.

Para as empresas, a confiabilidade e a fidedignidade dos resultados do AI são cruciais. Depender exclusivamente de modelos individuais pode tornar difícil a obtenção de resultados consistentemente factuais e bem formatados. Por exemplo, um cliente anterior do setor educacional solicitou uma solução para o preenchimento automático de inscrições com base nas informações e no site da escola data . Inicialmente, passei meses elaborando um sistema sequencial com base em engenharia avançada de solicitações, sem usar uma abordagem composta. Os resultados melhoraram, mas nunca se aproximaram o suficiente do que poderíamos apresentar como aplicativos totalmente preenchidos. Foi somente quando o conceito de RAG foi introduzido que os resultados totalmente controlados começaram a surgir. No entanto, mesmo o RAG sozinho não era suficiente; eram necessários componentes adicionais para categorizar as informações, manter a coerência do contexto e lidar com outras nuances. Só então alcançamos a confiabilidade e a precisão de que o cliente precisava.

O exame do cenário atual do AI em aplicações industriais revela uma tendência clara: depender de um único modelo para executar funções complexas geralmente não é confiável. À medida que os casos de uso se tornam mais complexos e a adoção corporativa cresce, a demanda por soluções AI altamente especializadas e capazes tende a aumentar. Para atender a essa demanda, é preciso orquestrar uma arquitetura de solução que incorpore modelos aprimorados e especializados, evitando a armadilha de ter um escopo estreito e unilateral.

A comunidade de desenvolvedores está repleta de aplicativos interessantes que abrangem campos que vão desde a medicina até o varejo, todos criados por meio da montagem de componentes menores e especializados em soluções poderosas e personalizadas.

Mesmo a AI, por si só, não é inteligente o suficiente para atingir os objetivos estratégicos do negócio. Ela deve ser complementada por uma forma superior de inteligência orquestrada.

A seguir, apresentamos uma coleção de sistemas compostos AI impactantes e interessantes que destacam a utilidade desse conceito. Independentemente da infraestrutura que os desenvolvedores estejam usando, o objetivo é observar como a combinação de vários componentes do AI com outras ferramentas pode atingir um objetivo muito específico.

O RAG aprimora o resultado de um LLM fornecendo um contexto específico obtido de um banco de dados vetorizado que está fora do treinamento original do modelo data. Embora os LLMs sejam treinados em vastos conjuntos de dados e utilizem bilhões de parâmetros para gerar respostas, o RAG vai além. Ele permite que o LLM acesse e faça referência a informações específicas e atualizadas, sejam elas específicas do domínio ou extraídas da base de conhecimento interna de uma organização. Esse processo melhora significativamente a relevância, a precisão e a utilidade do conteúdo gerado, tudo isso sem a necessidade de treinar novamente o modelo.

As empresas com grandes conjuntos de dados que precisam de um método eficiente para organizar o conhecimento interno podem implementar essa solução no local, usando o modelo de sua escolha, para recuperar informações precisas. Por exemplo, os analistas financeiros podem localizar rapidamente o site data relevante no histórico reports sem a necessidade de examinar manualmente cada um deles. O modelo, aprimorado por essas informações contextuais, também gera respostas mais precisas e úteis, simplificando todo o processo de recuperação de informações.

A seguir, uma arquitetura RAG típica:

Arquitetura geral do RAG

A seguir, uma tabela de alguns sistemas compostos comuns AI (fonte):