![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2025\/07\/etude-agentic-supervision.png\")
Descargar la encuesta<\/a><\/p>\n\u00bfQu\u00e9 hace diferente a la IA ag\u00e9ntica?<\/h2>\n
Los sistemas de IA agen\u00e9tica no son software tradicional. Son probabil\u00edsticos, lo que significa que sus resultados, aunque fuertemente influidos por el contexto de entrada, var\u00edan en cada ejecuci\u00f3n. El software tradicional, por el contrario, se rige por reglas deterministas, en las que se puede confiar plenamente si est\u00e1n bien dise\u00f1adas, porque aplican constantemente la misma l\u00f3gica invariable y correcta. Sin embargo, el l\u00edmite del software tradicional es que no puede resolver un problema nuevo, ni siquiera ligeramente diferente. Los agentes de IA resuelven esta limitaci\u00f3n de alcance a expensas de la fiabilidad. Integran capacidades de lenguaje natural con el poder de actuar de forma aut\u00f3noma a trav\u00e9s de herramientas internas, API o bases data para resolver nuevos problemas. Esta flexibilidad permite una impresionante creaci\u00f3n de valor a trav\u00e9s de la atenci\u00f3n al cliente, las operaciones, los RR.HH. y las adquisiciones.<\/p>\n
Pero los sistemas de IA ag\u00e9ntica tambi\u00e9n trastocan los antiguos supuestos de la gobernanza del software. Mientras que el c\u00f3digo tradicional se prueba una vez y se despliega con confianza, los agentes deben desplegarse teniendo en cuenta el riesgo, supervisarse, evaluarse y mejorarse constantemente. El futuro de la gobernanza ag\u00e9ntica, por lo tanto, no se trata s\u00f3lo de la certificaci\u00f3n en el momento del despliegue, sino tambi\u00e9n de la supervisi\u00f3n continua a escala.<\/p>\n
El compromiso central: valor frente a riesgo<\/h2>\n
Las empresas se enfrentan a un reto fundamental con los agentes de IA: no existe el riesgo cero con la l\u00f3gica probabil\u00edstica. En consecuencia, los equipos de desarrollo de agentes de IA necesitan aportar valor con un riesgo aceptable. Por un lado, los agentes muy permisivos pueden aportar valor pero tambi\u00e9n plantear riesgos operativos, de reputaci\u00f3n, \u00e9ticos o financieros. Por otro lado, los agentes altamente restrictivos pueden ser seguros y preferir respuestas superficiales y sencillas, pero ofrecer una utilidad limitada.<\/p>\n
Este equilibrio entre valor y riesgo debe gestionarse de forma expl\u00edcita. Las empresas deben definir qu\u00e9 significa \u201cvalor\u201d en su contexto (tasa de \u00e9xito de la tarea, compromiso del usuario, aumento de la productividad), as\u00ed como qu\u00e9 riesgos deben controlarse: alucinaci\u00f3n, latencia, sesgo, da\u00f1o a la reputaci\u00f3n o sobrecostes. La supervisi\u00f3n se convierte en el mecanismo operativo que afina este equilibrio en cada paso del ciclo de vida del agente de IA: en el dise\u00f1o, el desarrollo, el despliegue y la ejecuci\u00f3n.<\/p>\n
La supervisi\u00f3n en tres pasos: Observar, Evaluar, Actuar<\/h2>\n
Para lograr este equilibrio, las empresas necesitan construir una supervisi\u00f3n ag\u00e9ntica en torno a tres capacidades b\u00e1sicas:<\/p>\n
- \n
- Observaci\u00f3n<\/b>: Capture telemetr\u00eda estructurada data-entradas, salidas, llamadas a la herramienta, errores y retroalimentaci\u00f3n humana.<\/li>\n
- Evaluaci\u00f3n<\/b>: Utilice m\u00e9tricas de calidad e indicadores de riesgo para evaluar el rendimiento con respecto a los objetivos definidos por la empresa y los umbrales de control.<\/li>\n
- Acci\u00f3n<\/b>: Escalar y gestionar las incidencias, volver a formar a los modelos, ajustar los guardarra\u00edles o deshacer las actualizaciones de los agentes.<\/li>\n<\/ol>\n
Este proceso, denominado\u00a0\u201csupervisi\u00f3n activa\u201d<\/b>, refleja las pr\u00e1cticas DevOps pero debe adaptarse a la naturaleza probabil\u00edstica y evolutiva de la IA, y extenderse m\u00e1s all\u00e1 de los equipos tecnol\u00f3gicos para abarcar los procesos y equipos empresariales (\u00c9xito del cliente, RRHH, Legal, Operaciones, etc.).<\/p>\n
La supervisi\u00f3n comienza en el nacimiento de un agente<\/h2>\n
La gobernanza ag\u00e9ntica comienza mucho antes del despliegue. Los equipos empresariales y t\u00e9cnicos deben colaborar desde la fase de exploraci\u00f3n para definir los criterios de \u00e9xito, identificar los tipos de riesgo y decidir la estrategia de evaluaci\u00f3n. Este enfoque de codise\u00f1o garantiza que los agentes no s\u00f3lo sean t\u00e9cnicamente robustos, sino que tambi\u00e9n est\u00e9n alineados con las prioridades empresariales desde el principio.<\/p>\n
En la fase de dise\u00f1o, los equipos a menudo necesitan construir conjuntos data de \u201cverdad b\u00e1sica\u201d que reflejen el comportamiento deseado del agente. \u00c9stos resultan esenciales tanto para la formaci\u00f3n como para la evaluaci\u00f3n. Durante el desarrollo, los equipos deben determinar los umbrales de lanzamiento \u201cgo\/no-go\u201d a trav\u00e9s de m\u00faltiples m\u00e9tricas. El \u00e9xito ya no es binario (por ejemplo, todas las pruebas se superan); es probabil\u00edstico (por ejemplo, >90% en el \u00e9xito de la tarea, <2% en la toxicidad), lo que exige que la gobernanza defina qu\u00e9 aspecto tiene ser "suficientemente bueno".<\/p>\n
La supervisi\u00f3n no termina con el despliegue. La supervisi\u00f3n continua de la producci\u00f3n es esencial para evaluar y perfeccionar los agentes. Cuando surge un incidente, el equipo de negocio responsable de la resoluci\u00f3n manual debe retroalimentar al equipo de agentes sobre el comportamiento correcto esperado, enriqueciendo y mejorando as\u00ed el conjunto datauth.<\/p>\n
El despliegue basado en m\u00e9tricas requiere la aportaci\u00f3n empresarial<\/h2>\n
Una innovaci\u00f3n importante en el gobierno de los agentes es la idea de que \u00e9stos se liberen en funci\u00f3n de umbrales m\u00e9tricos multidimensionales. Esto incluye los tradicionales\u00a0m\u00e9tricas de rendimiento<\/b>\u00a0(precisi\u00f3n, latencia),\u00a0m\u00e9tricas empresariales<\/b>\u00a0(finalizaci\u00f3n de la tarea), y\u00a0m\u00e9tricas de riesgo<\/b>\u00a0(toxicidad, parcialidad, violaci\u00f3n de la pol\u00edtica).<\/p>\n
Desde un punto de vista cr\u00edtico, la decisi\u00f3n de pasar un agente a producci\u00f3n no debe recaer \u00fanicamente en los equipos t\u00e9cnicos. Las partes interesadas del negocio deben definir los umbrales de riesgo aceptables y aprobar los criterios de despliegue. La gobernanza se convierte en una responsabilidad compartida entre los ingenieros de IA, los jefes de producto, los responsables de cumplimiento y los expertos en la materia.<\/p>\n
El papel del LLM como juez<\/h2>\n
La evaluaci\u00f3n de los resultados generados por LLM puede ser subjetiva y requerir mucho tiempo. Ah\u00ed es donde entran en juego las t\u00e9cnicas de LLM-como-juez. \u00c9stas implican el uso de LLM independientes para puntuar los resultados de otros LLM, evaluando la relevancia de la respuesta, la factualidad o el tono.<\/p>\n
Aunque algunos se muestren esc\u00e9pticos sobre el uso de la IA para juzgar la IA, la experiencia demuestra que los modelos independientes pueden evaluar de forma fiable los resultados generados. Sin embargo, la condici\u00f3n para que un LLM-como-un-juez sea fiable es la simplicidad y que s\u00f3lo pida juicios binarios como \u201caceptable o no\u201d. En otras palabras, la \u201cIA simple\u201d que genera criterios binarios espec\u00edficos es muy eficaz para juzgar la \u201cIA compleja\u201d que genera textos largos. Esta t\u00e9cnica acelera los procesos de evaluaci\u00f3n y reduce la dependencia de calificadores humanos para cada caso, aunque el juicio humano sigue siendo esencial en las revisiones de alto riesgo.<\/p>\n
Las barandillas son redes de seguridad que deben establecerse desde el primer d\u00eda<\/h2>\n
La evaluaci\u00f3n es un componente esencial de los guardrails que previenen los modos de fallo conocidos con controles proactivos. Los guardrails pueden aplicarse a nivel de entrada (por ejemplo, filtrando inyecciones r\u00e1pidas), a nivel de salida (por ejemplo, bloqueando terminaciones inseguras) o a trav\u00e9s de una l\u00f3gica intermedia (por ejemplo, condiciones de acceso a la herramienta).<\/p>\n
Pero los guardarra\u00edles conllevan contrapartidas. Demasiado estrictos, y provocan bucles de rechazo o fallos silenciosos que degradan la UX. Demasiado laxos, y se supera la tolerancia al riesgo. Los guardarra\u00edles deben evolucionar con las capacidades del agente y la madurez del negocio, empezando con guardarra\u00edles estrictos para garantizar la confianza, y afloj\u00e1ndolos gradualmente para mejorar el valor a la vez que se controlan los riesgos. Por lo tanto, dise\u00f1ar, probar y ajustar los guardrails no es una tarea de una sola vez, sino que forma parte del ciclo de vida continuo de la supervisi\u00f3n.<\/p>\n
Gesti\u00f3n de incidentes: El auge de los supervisores humanos<\/h2>\n
Incluso con sistemas bien instrumentados, los incidentes son inevitables. Una parte cr\u00edtica de la supervisi\u00f3n ag\u00e9ntica es detectar fallos con barandillas y escalarlos a los equipos humanos. Estos pueden incluir violaciones de la seguridad, fallos en las tareas, salidas ambiguas o un mal uso de las herramientas.<\/p>\n
El trabajo de supervisi\u00f3n debe dise\u00f1arse para que sea atractivo, sostenible y productivo. Los supervisores de primera l\u00ednea necesitan:<\/p>\n
- \n
- Contexto rico y estructurado<\/b>: registros de rastreo completos, explicaciones de activaci\u00f3n, metadata de usuario.<\/li>\n
- Interfaces racionalizadas<\/b>: flujos de trabajo de decisi\u00f3n, recomendaciones por defecto, opciones alternativas.<\/li>\n
- Enrutamiento inteligente<\/b>: asignar escalaciones en funci\u00f3n de la experiencia y el equilibrio de la carga.<\/li>\n
- Gesti\u00f3n de la fatiga<\/b>: garantizar que el volumen y la complejidad de las alertas sean manejables.<\/li>\n<\/ul>\n
Cuando se hace bien, la supervisi\u00f3n se convierte en un bucle virtuoso: las decisiones humanas alimentan el reciclaje datasets y perfeccionan las pol\u00edticas de contenci\u00f3n. La supervisi\u00f3n no es s\u00f3lo contenci\u00f3n, sino que impulsa la mejora de los agentes a largo plazo.<\/p>\n
Herramientas: La pila AgentOps<\/h2>\n
Para hacer operativo todo esto, las empresas deben adoptar una nueva clase de herramientas: la pila AgentOps. Entre ellas se encuentran plataformas como LangSmith, Langfuse, DeepEval, Ragas, PRISM Eval, Giskard, Arize, Weights & Biases y Robust Intelligence for:<\/p>\n
- \n
- Observabilidad<\/li>\n
- Evaluaci\u00f3n<\/li>\n
- Anotaci\u00f3n de la verdad sobre el terreno<\/li>\n
- Seguimiento de experimentos<\/li>\n
- Orquestaci\u00f3n de barandillas<\/li>\n<\/ul>\n
La mayor\u00eda de las plataformas combinan estas caracter\u00edsticas, pero cada una tiene puntos fuertes espec\u00edficos. Algunas se centran m\u00e1s en la observabilidad, otras en el despliegue ag\u00e9ntico, otras en una vertical de riesgo como la seguridad. Estas herramientas son un reflejo de las plataformas DevOps y MLOps, pero est\u00e1n adaptadas a las necesidades espec\u00edficas de los sistemas ag\u00e9nticos. Recomendamos integrar estas herramientas con los conductos CI\/CD y data platforms existentes para mantener la trazabilidad y la reutilizaci\u00f3n.<\/p>\n
La gobernanza es un deporte de equipo<\/h2>\n
Una de las conclusiones clave del estudio es que la gobernanza de los agentes no puede ser responsabilidad exclusiva de los ingenieros de IA. Los equipos empresariales deben codise\u00f1ar las barandillas, definir los umbrales de riesgo aceptables y participar en los protocolos de escalada. Los departamentos jur\u00eddico, de cumplimiento, de marketing y de asistencia deben tener acceso a cuadros de mando adaptados a sus riesgos.<\/p>\n
Esto implica una nueva forma de gobernanza, que combine la observabilidad de la IA con la responsabilidad empresarial. Recomendamos organizar los equipos de supervisi\u00f3n no por agente, sino por tipo de riesgo (por ejemplo, legal, operativo, de marca), permitiendo una supervisi\u00f3n horizontal a trav\u00e9s de m\u00faltiples agentes. Sin una organizaci\u00f3n de este tipo ser\u00e1 dif\u00edcil ampliar la confianza de los agentes.<\/p>\n
El papel del DataOps<\/h2>\n
La IA agen\u00e9tica revela los defectos de calidad data de las empresas como pocos sistemas lo hab\u00edan hecho antes. Los agentes basados en la recuperaci\u00f3n a menudo sacan a la superficie data obsoletos, sensibles o irrelevantes si los repositorios subyacentes no est\u00e1n curados. Por eso la gobernanza de los agentes debe ir de la mano de los DataOps. Los incidentes deben rastrearse no s\u00f3lo hasta la l\u00f3gica de consulta del agente, sino hasta los conductos data que lo alimentan.<\/p>\n
El AgentOps, cuando se hace bien, refuerza el data governance empresarial. Y viceversa.<\/p>\n
Un manual pr\u00e1ctico para empezar<\/h2>\n
Para ayudar a las empresas a pasar de la teor\u00eda a la pr\u00e1ctica, ofrecemos cuatro recomendaciones:<\/p>\n
- \n
- Empiece con proyectos reales, no con prototipos: <\/b>Concentre los esfuerzos de gobernanza en los agentes de alto valor destinados a la producci\u00f3n. Construya sistemas reales, no demos desechables, para descubrir pronto las realidades operativas.<\/li>\n
- Piense primero en el desarrollador a la hora de crear herramientas: <\/b>Elija herramientas de observabilidad que apoyen los flujos de trabajo de ingenier\u00eda. Los cuadros de mando empresariales son \u00fatiles, pero la adopci\u00f3n por parte de los desarrolladores es fundamental para recopilar metadata de calidad.<\/li>\n
- Aclare la propiedad del riesgo: <\/b>Defina qu\u00e9 funciones son responsables de qu\u00e9 riesgos. \u00bfQui\u00e9n es responsable de la seguridad, la privacidad, la parcialidad o la degradaci\u00f3n de la UX? Establezca v\u00edas de escalado y reglas de aprobaci\u00f3n.<\/li>\n
- Unifique AgentOps con DataOps: <\/b>Trate a los agentes y a los conductos data como dos caras de la misma moneda. Supervise conjuntamente la calidad data y el comportamiento de los agentes para diagnosticar las causas ra\u00edz de los incidentes.<\/li>\n<\/ol>\n
Conclusiones: De la supervisi\u00f3n a la ventaja estrat\u00e9gica<\/h2>\n
La supervisi\u00f3n ag\u00e9ntica no consiste s\u00f3lo en prevenir da\u00f1os, sino en permitir la confianza a escala. Mediante el establecimiento de m\u00e9tricas compartidas, herramientas s\u00f3lidas y protocolos de colaboraci\u00f3n, las organizaciones pueden liberar todo el valor de los sistemas ag\u00e9nticos manteniendo los riesgos bajo control.<\/p>\n
La gobernanza de los agentes evolucionar\u00e1 r\u00e1pidamente. Pero sus cimientos son intemporales: claridad, colaboraci\u00f3n y aprendizaje continuo. Las empresas que adopten pronto esta disciplina no s\u00f3lo evitar\u00e1n costosos errores, sino que construir\u00e1n una ventaja competitiva duradera.<\/p>","protected":false},"excerpt":{"rendered":"
En el panorama en evoluci\u00f3n de la IA empresarial, el auge de los sistemas ag\u00e9nticos marca un cambio fundamental. Los agentes de IA son aplicaciones aut\u00f3nomas impulsadas por grandes modelos de lenguaje (LLM) capaces de razonar, memorizar y actuar. Ya no son respondedores pasivos a las entradas de los usuarios; son tomadores de decisiones activos que influyen en los procesos empresariales en tiempo real. Pero con la autonom\u00eda viene el riesgo, y con el riesgo viene la necesidad de una supervisi\u00f3n estructurada. En este nuevo paradigma, la supervisi\u00f3n de los sistemas tecnol\u00f3gicos ya no es opcional, es fundacional.<\/p>","protected":false},"featured_media":789344,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[2995],"blog-language":[2991],"class_list":["post-789213","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-ai-technology","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog\/789213","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/media\/789344"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/media?parent=789213"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog-category?post=789213"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog-language?post=789213"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Piense primero en el desarrollador a la hora de crear herramientas: <\/b>Elija herramientas de observabilidad que apoyen los flujos de trabajo de ingenier\u00eda. Los cuadros de mando empresariales son \u00fatiles, pero la adopci\u00f3n por parte de los desarrolladores es fundamental para recopilar metadata de calidad.<\/li>\n
- Empiece con proyectos reales, no con prototipos: <\/b>Concentre los esfuerzos de gobernanza en los agentes de alto valor destinados a la producci\u00f3n. Construya sistemas reales, no demos desechables, para descubrir pronto las realidades operativas.<\/li>\n
- Interfaces racionalizadas<\/b>: flujos de trabajo de decisi\u00f3n, recomendaciones por defecto, opciones alternativas.<\/li>\n
- Evaluaci\u00f3n<\/b>: Utilice m\u00e9tricas de calidad e indicadores de riesgo para evaluar el rendimiento con respecto a los objetivos definidos por la empresa y los umbrales de control.<\/li>\n