![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2025\/07\/etude-agentic-supervision.png\")
Fa\u00e7a o download da pesquisa<\/a><\/p>\nO que torna a IA ag\u00eantica diferente?<\/h2>\n
Os sistemas de IA ag\u00eantica n\u00e3o s\u00e3o softwares tradicionais. Eles s\u00e3o probabil\u00edsticos, o que significa que seus resultados, embora fortemente influenciados pelo contexto de entrada, variam a cada execu\u00e7\u00e3o. O software tradicional, ao contr\u00e1rio, \u00e9 orientado por regras determin\u00edsticas, que podem ser totalmente confi\u00e1veis se bem projetadas, pois aplicam constantemente a mesma l\u00f3gica invariante e correta. O limite do software tradicional, entretanto, \u00e9 que ele n\u00e3o pode resolver um problema novo, mesmo que ligeiramente diferente. Os agentes de IA resolvem essa limita\u00e7\u00e3o de escopo \u00e0s custas da confiabilidade. Eles integram recursos de linguagem natural com a capacidade de agir de forma aut\u00f4noma em ferramentas internas, APIs ou bases data para resolver novos problemas. Essa flexibilidade permite uma impressionante cria\u00e7\u00e3o de valor no suporte ao cliente, nas opera\u00e7\u00f5es, no RH e nas compras.<\/p>\n
No entanto, os sistemas de IA ag\u00eantica tamb\u00e9m rompem com as premissas de longa data da governan\u00e7a de software. Enquanto o c\u00f3digo tradicional \u00e9 testado uma vez e implantado com confian\u00e7a, os agentes devem ser implantados com o risco em mente, monitorados, avaliados e aprimorados constantemente. O futuro da governan\u00e7a ag\u00eantica, portanto, n\u00e3o se trata apenas de certifica\u00e7\u00e3o no momento da implementa\u00e7\u00e3o, mas tamb\u00e9m de supervis\u00e3o cont\u00ednua em escala.<\/p>\n
A troca central: valor vs. risco<\/h2>\n
As empresas enfrentam um desafio fundamental com os agentes de IA: n\u00e3o existe risco zero com a l\u00f3gica probabil\u00edstica. Como consequ\u00eancia, as equipes de desenvolvimento de agentes de IA precisam fornecer valor com risco aceit\u00e1vel. Por um lado, agentes altamente permissivos podem agregar valor, mas tamb\u00e9m representam riscos operacionais, de reputa\u00e7\u00e3o, \u00e9ticos ou financeiros. Por outro lado, agentes altamente restritos podem ser seguros, preferindo respostas simples e superficiais, mas oferecem utilidade limitada.<\/p>\n
Essa troca entre valor e risco deve ser gerenciada de forma expl\u00edcita. As empresas devem definir o que significa \u201cvalor\u201d no contexto (taxa de sucesso da tarefa, envolvimento do usu\u00e1rio, ganhos de produtividade), bem como quais riscos devem ser controlados: alucina\u00e7\u00e3o, lat\u00eancia, parcialidade, danos \u00e0 reputa\u00e7\u00e3o ou custos excessivos. A supervis\u00e3o se torna o mecanismo operacional que ajusta esse equil\u00edbrio em cada etapa do ciclo de vida do agente de IA: no projeto, no desenvolvimento, na implanta\u00e7\u00e3o e nos tempos de execu\u00e7\u00e3o.<\/p>\n
Supervis\u00e3o em tr\u00eas etapas: Observar, Avaliar, Agir<\/h2>\n
Para alcan\u00e7ar esse equil\u00edbrio, as empresas precisam desenvolver a supervis\u00e3o ag\u00eantica com base em tr\u00eas recursos principais:<\/p>\n
- \n
- Observa\u00e7\u00e3o<\/b>: Capture a telemetria estruturada data - entradas, sa\u00eddas, chamadas de ferramentas, erros e feedback humano.<\/li>\n
- Avalia\u00e7\u00e3o<\/b>: Use m\u00e9tricas de qualidade e indicadores de risco para avaliar o desempenho em rela\u00e7\u00e3o aos objetivos definidos pela empresa e aos limites de controle.<\/li>\n
- A\u00e7\u00e3o<\/b>: Escalar e gerenciar incidentes, treinar novamente os modelos, ajustar as prote\u00e7\u00f5es ou reverter as atualiza\u00e7\u00f5es do agente.<\/li>\n<\/ol>\n
Esse processo, denominado\u00a0\u201csupervis\u00e3o ativa\u201d<\/b>, A IA \u00e9 uma tecnologia que espelha as pr\u00e1ticas de DevOps, mas deve ser adaptada \u00e0 natureza probabil\u00edstica e evolutiva da IA e estendida al\u00e9m das equipes de tecnologia para abranger processos e equipes de neg\u00f3cios (Sucesso do Cliente, RH, Jur\u00eddico, Opera\u00e7\u00f5es etc.).<\/p>\n
A supervis\u00e3o come\u00e7a no nascimento do agente<\/h2>\n
A governan\u00e7a aut\u00eantica come\u00e7a bem antes da implementa\u00e7\u00e3o. As equipes comerciais e t\u00e9cnicas devem colaborar desde a fase de explora\u00e7\u00e3o para definir crit\u00e9rios de sucesso, identificar tipos de risco e decidir sobre a estrat\u00e9gia de avalia\u00e7\u00e3o. Essa abordagem de co-projeto garante que os agentes n\u00e3o sejam apenas tecnicamente robustos, mas tamb\u00e9m estejam alinhados com as prioridades comerciais desde o in\u00edcio.<\/p>\n
Na fase de projeto, as equipes geralmente precisam criar conjuntos de data \u201cde verdade\u201d que reflitam o comportamento desejado do agente. Esses conjuntos s\u00e3o essenciais para o treinamento e a avalia\u00e7\u00e3o. Durante o desenvolvimento, as equipes precisam determinar os limites de libera\u00e7\u00e3o \u201cgo\/no-go\u201d em v\u00e1rias m\u00e9tricas. O sucesso n\u00e3o \u00e9 mais bin\u00e1rio (por exemplo, todos os testes s\u00e3o aprovados); ele \u00e9 probabil\u00edstico (por exemplo, >90% no sucesso da tarefa, <2% toxicidade), exigindo que a governan\u00e7a defina o que \u00e9 "bom o suficiente".<\/p>\n
A supervis\u00e3o n\u00e3o termina com a implanta\u00e7\u00e3o. O monitoramento cont\u00ednuo da produ\u00e7\u00e3o \u00e9 essencial para avaliar e refinar os agentes. Quando surge um incidente, a equipe de neg\u00f3cios respons\u00e1vel pela resolu\u00e7\u00e3o manual deve informar \u00e0 equipe de agentes o comportamento correto esperado, enriquecendo e aprimorando assim o dataset de verdade.<\/p>\n
A implementa\u00e7\u00e3o baseada em m\u00e9tricas requer a contribui\u00e7\u00e3o da empresa<\/h2>\n
Uma grande inova\u00e7\u00e3o na governan\u00e7a de agentes \u00e9 a ideia de que os agentes s\u00e3o liberados com base em limites m\u00e9tricos multidimensionais. Isso inclui os tradicionais\u00a0m\u00e9tricas de desempenho<\/b>\u00a0(precis\u00e3o, lat\u00eancia),\u00a0m\u00e9tricas de neg\u00f3cios<\/b>\u00a0(conclus\u00e3o da tarefa), e\u00a0m\u00e9tricas de risco<\/b>\u00a0(toxicidade, preconceito, viola\u00e7\u00e3o de pol\u00edtica).<\/p>\n
De forma cr\u00edtica, a decis\u00e3o de promover um agente para produ\u00e7\u00e3o n\u00e3o deve recair apenas sobre as equipes t\u00e9cnicas. As partes interessadas da empresa devem definir os limites de risco aceit\u00e1veis e aprovar os crit\u00e9rios de implementa\u00e7\u00e3o. A governan\u00e7a torna-se uma responsabilidade compartilhada entre engenheiros de IA, gerentes de produtos, diretores de conformidade e especialistas no dom\u00ednio.<\/p>\n
O papel do LLM como juiz<\/h2>\n
A avalia\u00e7\u00e3o dos resultados gerados pelo LLM pode ser subjetiva e demorada. \u00c9 a\u00ed que as t\u00e9cnicas de LLM como juiz entram em a\u00e7\u00e3o. Elas envolvem o uso de LLMs independentes para pontuar os resultados de outros LLMs, avaliando a relev\u00e2ncia, a factualidade ou o tom da resposta.<\/p>\n
Embora alguns possam ser c\u00e9ticos quanto ao uso da IA para julgar a IA, a experi\u00eancia mostra que modelos independentes podem avaliar de forma confi\u00e1vel os resultados gerados. No entanto, a condi\u00e7\u00e3o para um LLM-as-a-Judge confi\u00e1vel \u00e9 a simplicidade e a solicita\u00e7\u00e3o apenas de julgamentos bin\u00e1rios como \u201caceit\u00e1vel ou n\u00e3o\u201d. Em outras palavras, a \u201cIA simples\u201d que gera crit\u00e9rios bin\u00e1rios espec\u00edficos \u00e9 muito eficaz para julgar a \u201cIA complexa\u201d que gera textos longos. Essa t\u00e9cnica acelera os pipelines de avalia\u00e7\u00e3o e reduz a depend\u00eancia de avaliadores humanos para cada caso, embora o julgamento humano continue sendo essencial em avalia\u00e7\u00f5es de alto risco.<\/p>\n
As grades de prote\u00e7\u00e3o s\u00e3o redes de seguran\u00e7a que devem ser instaladas desde o primeiro dia<\/h2>\n
A avalia\u00e7\u00e3o \u00e9 um componente essencial das grades de prote\u00e7\u00e3o que evitam modos de falha conhecidos com controles proativos. As grades de prote\u00e7\u00e3o podem ser aplicadas no n\u00edvel de entrada (por exemplo, filtrando inje\u00e7\u00f5es r\u00e1pidas), no n\u00edvel de sa\u00edda (por exemplo, bloqueando conclus\u00f5es inseguras) ou por meio de l\u00f3gica intermedi\u00e1ria (por exemplo, condi\u00e7\u00f5es de acesso \u00e0 ferramenta).<\/p>\n
Mas as grades de prote\u00e7\u00e3o t\u00eam desvantagens. Se forem muito r\u00edgidas, elas causam loops de rejei\u00e7\u00e3o ou falhas silenciosas que degradam a experi\u00eancia do usu\u00e1rio. Se forem muito frouxas, a toler\u00e2ncia ao risco ser\u00e1 excedida. Os guardrails devem evoluir com os recursos do agente e com a maturidade dos neg\u00f3cios, come\u00e7ando com guardrails r\u00edgidos para garantir a confian\u00e7a e afrouxando-os gradualmente para aumentar o valor e, ao mesmo tempo, controlar os riscos. Portanto, projetar, testar e ajustar os guardrails n\u00e3o \u00e9 uma tarefa \u00fanica, \u00e9 parte do ciclo de vida da supervis\u00e3o em andamento.<\/p>\n
Tratamento de incidentes: A ascens\u00e3o dos supervisores humanos<\/h2>\n
Mesmo com sistemas bem instrumentados, os incidentes s\u00e3o inevit\u00e1veis. Uma parte essencial da supervis\u00e3o ag\u00eantica \u00e9 detectar falhas com prote\u00e7\u00f5es e encaminh\u00e1-las \u00e0s equipes humanas. Essas falhas podem incluir viola\u00e7\u00f5es de seguran\u00e7a, falhas de tarefas, resultados amb\u00edguos ou uso indevido de ferramentas.<\/p>\n
O trabalho de supervis\u00e3o deve ser projetado para ser envolvente, sustent\u00e1vel e produtivo. Os supervisores da linha de frente precisam:<\/p>\n
- \n
- Contexto rico e estruturado<\/b>: registros completos de rastreamento, explica\u00e7\u00f5es de acionamento, metadata do usu\u00e1rio.<\/li>\n
- Interfaces simplificadas<\/b>O senhor pode usar os seguintes recursos: fluxos de trabalho de decis\u00e3o, recomenda\u00e7\u00f5es padr\u00e3o, op\u00e7\u00f5es de fallback.<\/li>\n
- Roteamento inteligente<\/b>Atribuir escalonamentos com base na experi\u00eancia e no balanceamento de carga.<\/li>\n
- Gerenciamento da fadiga<\/b>O senhor deve ter em mente que o volume e a complexidade dos alertas s\u00e3o gerenci\u00e1veis.<\/li>\n<\/ul>\n
Quando bem feita, a supervis\u00e3o se torna um ciclo virtuoso: as decis\u00f5es humanas alimentam o retreinamento de datasets e refinam as pol\u00edticas de prote\u00e7\u00e3o. A supervis\u00e3o n\u00e3o \u00e9 apenas uma quest\u00e3o de conten\u00e7\u00e3o, ela impulsiona a melhoria do agente a longo prazo.<\/p>\n
Ferramentas: A pilha do AgentOps<\/h2>\n
Para operacionalizar tudo isso, as empresas devem adotar uma nova classe de ferramentas: a pilha AgentOps. Isso inclui plataformas como LangSmith, Langfuse, DeepEval, Ragas, PRISM Eval, Giskard, Arize, Weights & Biases e Robust Intelligence for:<\/p>\n
- \n
- Observabilidade<\/li>\n
- Avalia\u00e7\u00e3o<\/li>\n
- Anota\u00e7\u00e3o da verdade fundamental<\/li>\n
- Rastreamento de experimentos<\/li>\n
- Orquestra\u00e7\u00e3o de guardrail<\/li>\n<\/ul>\n
A maioria das plataformas combina esses recursos, mas cada uma tem pontos fortes espec\u00edficos. Algumas se concentram mais na observabilidade, outras na implanta\u00e7\u00e3o ag\u00eantica, outras em uma vertical de risco como a seguran\u00e7a. Essas ferramentas espelham as plataformas DevOps e MLOps, mas s\u00e3o adaptadas \u00e0s necessidades espec\u00edficas dos sistemas ag\u00eanticos. Recomendamos integrar essas ferramentas aos pipelines de CI\/CD existentes e ao data platforms para manter a rastreabilidade e a reutiliza\u00e7\u00e3o.<\/p>\n
A governan\u00e7a \u00e9 um esporte de equipe<\/h2>\n
Uma das principais conclus\u00f5es do estudo \u00e9 que a governan\u00e7a do agente n\u00e3o pode ser responsabilidade exclusiva dos engenheiros de IA. As equipes comerciais devem co-projetar prote\u00e7\u00f5es, definir limites de risco aceit\u00e1veis e participar de protocolos de escalonamento. Os departamentos jur\u00eddico, de conformidade, marketing e suporte devem ter acesso a pain\u00e9is de controle adaptados aos seus riscos.<\/p>\n
Isso implica uma nova forma de governan\u00e7a, que combina a observabilidade da IA com a responsabilidade comercial. Recomendamos organizar as equipes de supervis\u00e3o n\u00e3o por agente, mas por tipo de risco (por exemplo, jur\u00eddico, operacional, de marca), permitindo a supervis\u00e3o horizontal de v\u00e1rios agentes. Sem essa organiza\u00e7\u00e3o, ser\u00e1 dif\u00edcil dimensionar a confian\u00e7a ag\u00eantica.<\/p>\n
O papel do DataOps<\/h2>\n
A IA ag\u00eantica revela as falhas na qualidade do data empresarial como poucos sistemas antes. Os agentes baseados em recupera\u00e7\u00e3o geralmente revelam data obsoletos, confidenciais ou irrelevantes se os reposit\u00f3rios subjacentes n\u00e3o forem curados. \u00c9 por isso que a governan\u00e7a ag\u00eantica deve andar de m\u00e3os dadas com o DataOps. Os incidentes devem ser rastreados n\u00e3o apenas at\u00e9 a l\u00f3gica do agente, mas tamb\u00e9m at\u00e9 os pipelines de data que o alimentam.<\/p>\n
O AgentOps, quando bem feito, fortalece o data governance da empresa. E vice-versa.<\/p>\n
Um manual pr\u00e1tico para come\u00e7ar<\/h2>\n
Para ajudar as empresas a passar da teoria \u00e0 pr\u00e1tica, oferecemos quatro recomenda\u00e7\u00f5es:<\/p>\n
- \n
- Comece com projetos reais, n\u00e3o com prot\u00f3tipos: <\/b>Concentre os esfor\u00e7os de governan\u00e7a em agentes de alto valor destinados \u00e0 produ\u00e7\u00e3o. Crie sistemas reais, e n\u00e3o demonstra\u00e7\u00f5es descart\u00e1veis, para descobrir as realidades operacionais com anteced\u00eancia.<\/li>\n
- Pense no desenvolvedor em primeiro lugar nas ferramentas: <\/b>Escolha ferramentas de observabilidade que suportem fluxos de trabalho de engenharia. Os pain\u00e9is de neg\u00f3cios s\u00e3o \u00fateis, mas a ado\u00e7\u00e3o do desenvolvedor \u00e9 fundamental para a coleta de metadata de qualidade.<\/li>\n
- Esclarecer a propriedade do risco: <\/b>Defina quais fun\u00e7\u00f5es s\u00e3o respons\u00e1veis por quais riscos. Quem \u00e9 respons\u00e1vel pela degrada\u00e7\u00e3o da seguran\u00e7a, da privacidade, do vi\u00e9s ou da experi\u00eancia do usu\u00e1rio? Estabele\u00e7a caminhos de escalonamento e regras de aprova\u00e7\u00e3o.<\/li>\n
- Unifique o AgentOps com o DataOps: <\/b>Tratar os agentes e os pipelines data como dois lados da mesma moeda. Supervisione conjuntamente a qualidade do data e o comportamento dos agentes para diagnosticar as causas b\u00e1sicas dos incidentes.<\/li>\n<\/ol>\n
Conclus\u00e3o: Da supervis\u00e3o \u00e0 vantagem estrat\u00e9gica<\/h2>\n
A supervis\u00e3o ag\u00eantica n\u00e3o se trata apenas de evitar danos, mas tamb\u00e9m de possibilitar a confian\u00e7a em escala. Ao estabelecer m\u00e9tricas compartilhadas, ferramentas robustas e protocolos colaborativos, as organiza\u00e7\u00f5es podem liberar o valor total dos sistemas ag\u00eanticos e, ao mesmo tempo, manter os riscos sob controle.<\/p>\n
A governan\u00e7a de agentes evoluir\u00e1 rapidamente. Mas sua base \u00e9 atemporal: clareza, colabora\u00e7\u00e3o e aprendizado cont\u00ednuo. As empresas que adotarem essa disciplina desde o in\u00edcio n\u00e3o s\u00f3 evitar\u00e3o erros dispendiosos, como tamb\u00e9m criar\u00e3o uma vantagem competitiva duradoura.<\/p>","protected":false},"excerpt":{"rendered":"
No cen\u00e1rio em evolu\u00e7\u00e3o da IA empresarial, o surgimento de sistemas ag\u00eanticos marca uma mudan\u00e7a fundamental. Os agentes de IA s\u00e3o aplicativos aut\u00f4nomos alimentados por grandes modelos de linguagem (LLMs) capazes de racioc\u00ednio, mem\u00f3ria e a\u00e7\u00e3o. Eles n\u00e3o s\u00e3o mais respondedores passivos \u00e0 entrada do usu\u00e1rio; s\u00e3o tomadores de decis\u00e3o ativos que influenciam os processos de neg\u00f3cios em tempo real. Mas com a autonomia vem o risco, e com o risco vem a necessidade de supervis\u00e3o estruturada. Nesse novo paradigma, a supervis\u00e3o dos sistemas de tecnologia n\u00e3o \u00e9 mais opcional, \u00e9 fundamental.<\/p>","protected":false},"featured_media":789344,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[2995],"blog-language":[2991],"class_list":["post-789213","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-ai-technology","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog\/789213","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media\/789344"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media?parent=789213"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-category?post=789213"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-language?post=789213"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Pense no desenvolvedor em primeiro lugar nas ferramentas: <\/b>Escolha ferramentas de observabilidade que suportem fluxos de trabalho de engenharia. Os pain\u00e9is de neg\u00f3cios s\u00e3o \u00fateis, mas a ado\u00e7\u00e3o do desenvolvedor \u00e9 fundamental para a coleta de metadata de qualidade.<\/li>\n
- Comece com projetos reais, n\u00e3o com prot\u00f3tipos: <\/b>Concentre os esfor\u00e7os de governan\u00e7a em agentes de alto valor destinados \u00e0 produ\u00e7\u00e3o. Crie sistemas reais, e n\u00e3o demonstra\u00e7\u00f5es descart\u00e1veis, para descobrir as realidades operacionais com anteced\u00eancia.<\/li>\n
- Interfaces simplificadas<\/b>O senhor pode usar os seguintes recursos: fluxos de trabalho de decis\u00e3o, recomenda\u00e7\u00f5es padr\u00e3o, op\u00e7\u00f5es de fallback.<\/li>\n
- Avalia\u00e7\u00e3o<\/b>: Use m\u00e9tricas de qualidade e indicadores de risco para avaliar o desempenho em rela\u00e7\u00e3o aos objetivos definidos pela empresa e aos limites de controle.<\/li>\n