Sistemas compostos de IA: O futuro da inteligência especializada

Desde o seu surgimento explosivo em meados de 2022, a IA generativa conquistou rapidamente a atenção mundial. O que inicialmente se concentrava na modalidade de linguagem, desde então se expandiu para novos caminhos interessantes, incluindo modelos de imagem, áudio e vídeo. No início de 2023, cresceram as especulações sobre o impacto potencial da tecnologia nas empresas de vários setores, acompanhadas de casos interessantes de adoção inicial. À medida que mais desenvolvedores começaram a criar soluções com esses modelos, a percepção geral mudou para o surgimento contínuo de versões mais novas, maiores e, espera-se, melhores dos modelos mais amplamente usados.

À medida que entramos em 2024, surgiu um insight importante: implementar a IA não é simplesmente adotar o modelo mais recente e maior da prateleira. Embora seja comum presumir que as soluções de IA são prontas ou que o aumento do tamanho do modelo leva automaticamente a melhores resultados, essa abordagem raramente atende às necessidades especializadas da maioria das empresas. Na realidade, os aplicativos bem-sucedidos exigem soluções de IA que sejam personalizadas, flexíveis e eficientes.

Para isso, recorremos ao Sistemas de IA compostos. Diferentemente dos modelos únicos e monolíticos, os sistemas compostos de IA integram vários componentes especializados de IA, cada um otimizado para uma função específica. Essa estrutura garante alta capacidade de personalização, adaptabilidade e precisão, transformando a IA de uma ferramenta geral em uma solução criada para uma finalidade específica. Ao combinar componentes de IA menores e interconectados, as empresas podem obter desempenho e resultados muito além do escopo de modelos prontos para uso. Portanto, para obter um impacto comercial ideal em todos os setores, argumentamos que uma visão estratégica deve priorizar projetos de sistemas mais inteligentes em vez de simplesmente criar modelos maiores e mais exigentes em termos de computação.

O Laboratório de Pesquisa de Inteligência Artificial de Berkeley (BAIR) define um sistema de IA composto como um sistema “que lida com tarefas de IA usando vários componentes que interagem entre si, incluindo várias chamadas para modelos, recuperadores ou ferramentas externas”. Por exemplo, Sistema Retrieval Augmented Generation (RAG) é um sistema composto que combina um modelo de linguagem grande (LLM), um mecanismo de recuperação de informações e uma base data vetorizada. Por outro lado, um modelo de IA generativo é um modelo estatístico; Por exemplo, um LLM prevê o próximo token no texto com base no treinamento data.

Nesse contexto, um modelo pode ser visto como um único bloco, enquanto um sistema de IA composto é mais parecido com uma máquina composta de vários blocos de construção, cada um servindo a uma função específica para atingir o objetivo geral do sistema.

Modelos vs. sistemas compostos de IA. Fonte

Ao abordar aplicativos específicos ou necessidades do setor, confiar em um modelo de IA de uso geral como o GPT-4 pode não ser suficiente. Embora sejam poderosos, esses modelos são projetados para lidar com uma ampla gama de tarefas e podem não ter o conhecimento especializado necessário para aplicações específicas, o que leva a retornos decrescentes além de um certo ponto.

Por exemplo, uma instituição financeira que pretenda desenvolver um chatbot para análise de investimentos ou gerenciamento de patrimônio precisa de um sistema que incorpore tanto o conhecimento especializado quanto o conhecimento específico da empresa. Dada a natureza do setor, haveria preocupações com relação à privacidade (a empresa pode exigir soluções locais e uso exclusivo de modelos abertos), precisão (as soluções devem ser impecavelmente precisas) e eficiência. Usar até mesmo os modelos de linguagem mais avançados como uma solução autônoma definitivamente não seria a melhor opção. Em vez disso, um sistema de IA composto poderia ser altamente eficaz ao integrar vários componentes especializados, como sistemas RAG (Retrieval-Augmented Generation) e agentes de IA personalizados. Essa abordagem garante que cada parte do sistema seja otimizada para sua função específica.

Quando um sistema é construído usando componentes modulares, a substituição ou atualização de peças individuais se torna muito mais simples. O mesmo princípio se aplica aos sistemas compostos de IA, que são construídos a partir de vários blocos. Se um componente de uma solução de IA composta ficar desatualizado ou não atender aos novos requisitos de conformidade, ele poderá ser substituído sem a necessidade de uma revisão completa de todo o sistema. Por exemplo, se um modelo novo e mais adequado estiver disponível, ele poderá ser integrado ao sistema para substituir a versão antiga. Da mesma forma, se for desenvolvido um mecanismo de recuperação de informações mais eficiente, ele poderá ser trocado sem interromper toda a configuração. Essa flexibilidade se estende além dos modelos e sistemas de recuperação para outros componentes, como unidades de processamento data, mecanismos de análise ou módulos de conformidade.

A natureza modular dos sistemas compostos de IA oferece vantagens significativas em termos de escalabilidade. Ao permitir que componentes individuais sejam dimensionados de forma independente, esses sistemas podem gerenciar com eficiência volumes e complexidade data crescentes sem a necessidade de uma revisão completa.

Um sistema pode ser dimensionado replicando-o em uma rede de sistemas, o que, teoricamente, permite uma escalabilidade infinita. É por isso que um modelo de linguagem única, por maior ou mais poderoso que seja (atualmente), não pode pesquisar com eficácia uma base data muito grande em busca de uma informação específica. Para ampliar os recursos de pesquisa de um modelo, o senhor precisará inevitavelmente criar um sistema de vários componentes para aprimorar a função de pesquisa. Se nem mesmo as tarefas mais simples, como a recuperação de informações, podem ser dimensionadas de forma eficaz por um único modelo, fica claro que os componentes individuais, por si só, não podem oferecer suporte a aplicativos complexos e de grande escala.

Do ponto de vista comercial, a adoção de sistemas compostos de IA vai além da sofisticação técnica - ela oferece vantagens estratégicas que se alinham diretamente às metas comerciais. Pode-se até argumentar que, se uma empresa deseja aproveitar a IA generativa, ela não tem outra opção a não ser criar (ou comprar) um sistema composto. Embora isso possa parecer simples, desafia a suposição comercial comum de que modelos autônomos e prontos para uso são suficientes para atender a demandas especializadas.

Os modelos de IA mais avançados, por si só, não conseguem criar uma experiência personalizada. Isso só pode ser alcançado por meio de um sistema composto que permita a entrega de experiências do cliente altamente personalizadas e contextualmente relevantes. Por exemplo, o sistema de Voz neural personalizada combina LLMs gerais com treinamento de voz personalizado, permitindo que as marcas criem assistentes digitais que se alinham precisamente com seu tom e estilo exclusivos. Esse nível de personalização é particularmente poderoso em setores voltados para o cliente, como o de publicidade, em que os clientes respondem positivamente ao se sentirem especiais e compreendidos. Do ponto de vista comercial, a combinação dessa tecnologia com a capacidade de adicionar contexto resulta em resultados personalizados, o que, em última análise, aumenta a satisfação do cliente.

Ao contrário dos modelos individuais que fornecem um nível fixo de qualidade a um custo fixo, a IA composta oferece configurações flexíveis de custo-qualidade. Por exemplo, as empresas podem integrar um modelo menor, ajustado por instruções, com componentes especializados, como heurística de pesquisa, para obter resultados de alta qualidade a um custo menor em comparação com modelos maiores e independentes. Essa flexibilidade permite o uso de modelos menores e potencialmente de código aberto que, com engenharia direcionada, podem fornecer resultados comparáveis a soluções mais caras.

Para as empresas, a confiabilidade e a fidedignidade dos resultados de IA são cruciais. Confiar apenas em modelos individuais pode dificultar a obtenção de resultados consistentemente factuais e bem formatados. Por exemplo, um cliente anterior do setor educacional solicitou uma solução para o preenchimento automático de inscrições com base nas informações e no data da escola. Inicialmente, passei meses elaborando um sistema sequencial com base em engenharia avançada de prompt, sem usar uma abordagem composta. Os resultados melhoraram, mas nunca se aproximaram o suficiente do que poderíamos apresentar como aplicativos totalmente preenchidos. Foi somente quando o conceito de RAG foi introduzido que os resultados totalmente controlados começaram a surgir. No entanto, mesmo o RAG sozinho não era suficiente; eram necessários componentes adicionais para categorizar as informações, manter a coerência do contexto e lidar com outras nuances. Só então alcançamos a confiabilidade e a precisão de que o cliente precisava.

Examinar o cenário atual da IA em aplicações industriais revela uma tendência clara: confiar em um único modelo para executar funções complexas geralmente não é confiável. À medida que os casos de uso se tornam mais complexos e a adoção empresarial cresce, a demanda por soluções de IA altamente especializadas e capazes deve aumentar. Para atender a essa demanda, é preciso orquestrar uma arquitetura de solução que incorpore modelos aprimorados e especializados, evitando a armadilha de ter um escopo estreito e unilateral.

A comunidade de desenvolvedores está repleta de aplicativos interessantes que abrangem campos que vão desde a medicina até o varejo, todos criados por meio da montagem de componentes menores e especializados em soluções poderosas e personalizadas.

Mesmo a IA, por si só, não é inteligente o suficiente para atingir objetivos estratégicos de negócios. Ela deve ser complementada por uma forma superior de inteligência orquestrada.

A seguir, apresentamos uma coleção de sistemas compostos de IA impactantes e interessantes que destacam a utilidade desse conceito. Independentemente da infraestrutura que os desenvolvedores estejam usando, o objetivo é observar como a combinação de vários componentes de IA com outras ferramentas pode atingir um objetivo muito específico.

O RAG aprimora o resultado de um LLM fornecendo um contexto específico obtido de uma base data vetorizada que está fora do data de treinamento original do modelo. Embora os LLMs sejam treinados em vastos conjuntos de data e utilizem bilhões de parâmetros para gerar respostas, o RAG vai além. Ele permite que o LLM acesse e faça referência a informações específicas e atualizadas, sejam elas específicas do domínio ou extraídas da base de conhecimento interna de uma organização. Esse processo melhora significativamente a relevância, a precisão e a utilidade do conteúdo gerado, tudo isso sem a necessidade de treinar novamente o modelo.

As empresas com grandes datasets que precisam de um método eficiente para organizar o conhecimento interno podem implementar essa solução no local, usando o modelo de sua escolha, para recuperar informações precisas. Por exemplo, os analistas financeiros podem localizar rapidamente o data relevante dentro do reports histórico, sem a necessidade de examinar manualmente cada um deles. O modelo, aprimorado por essas informações contextuais, também gera respostas mais precisas e úteis, simplificando todo o processo de recuperação de informações.

A seguir, uma arquitetura RAG típica:

Arquitetura geral do RAG

A seguir, há uma tabela de alguns sistemas compostos comuns de IA (fonte):