Introducción

Un cliente con el que colaboramos el año pasado desarrolló un agente de inteligencia artificial para las solicitudes de adquisición. Este analizaba los documentos de los proveedores, comparaba precios, señalaba riesgos de cumplimiento normativo y elaboraba recomendaciones. Funcionaba bien. Sin embargo, al cabo de un par de meses en producción, el equipo se topó con una pregunta para la que no tenía una respuesta satisfactoria: ¿cómo medimos si los resultados son consistentemente buenos?

Realizaban comprobaciones puntuales manuales de unos pocos casos a la semana. Las alertas de cumplimiento se activaban en algunas solicitudes, pero no en otras que parecían similares. Las comparaciones de precios eran, en su mayoría, precisas, pero en ocasiones presentaban desviaciones significativas. El agente aportaba valor, pero el equipo carecía de un método sistemático para cuantificar en qué medida lo hacía, ni para hacer un seguimiento de si la calidad mejoraba o se deterioraba.

Este es un momento habitual en la adopción de la IA agentiva. El sistema funciona lo suficientemente bien para tareas reales, y la organización está preparada para pasar de “funciona” a “podemos demostrar que funciona”. Esa transición requiere un tipo de evaluación diferente al que la mayoría de los equipos están acostumbrados, y es una de las capacidades más importantes que las organizaciones están desarrollando en estos momentos.

Por qué los agentes necesitan su propio método de evaluación

El aprendizaje automático tradicional contaba con métricas claras: precisión, recuperación y AUC. Incluso las primeras versiones de la IA generativa podían basarse en valoraciones de preferencias humanas y en conjuntos de datos de referencia data. Los agentes son lo suficientemente diferentes como para que esos enfoques no sean directamente aplicables.

La razón principal es que los agentes operan a lo largo de múltiples pasos. Toman decisiones de ramificación, invocan herramientas, se recuperan de los errores y generan resultados que dependen de la ruta que han seguido. Si ejecuta el mismo agente con la misma entrada dos veces, es posible que obtenga secuencias de invocación de herramientas diferentes, razonamientos intermedios distintos y resultados finales distintos, todos ellos perfectamente válidos. Un agente que resuelve un problema mediante una secuencia de pasos diferente a la esperada no está equivocado. Es posible que incluso sea mejor.

Esto significa que la evaluación debe evolucionar. En Artefact, hemos estado trabajando en enfoques prácticos al respecto en todas nuestras iniciativas de agencia, y está surgiendo un conjunto claro de patrones que funciona bien en la práctica.

¿En qué se diferencia la evaluación de los agentes?

Hay tres aspectos que diferencian la evaluación de agentes de la evaluación de modelos.

La primera es indeterminismo. En el aprendizaje automático clásico, se evalúa un modelo con un conjunto de prueba y se obtiene un valor estable. En el caso de los agentes, el resultado depende de una cadena de llamadas a modelos de lenguaje a gran escala (LLM), invocaciones de herramientas y decisiones de ramificación. Afirmar que “el agente debe llamar a la función X antes que a la función Y” no es válido cuando existen múltiples secuencias válidas. La evaluación debe tener en cuenta las múltiples rutas correctas que conducen al mismo resultado.

El segundo es dependencia de la trayectoria. La respuesta final de un agente es el resultado de una cadena de decisiones, cada una de las cuales influye en la siguiente. Dos agentes pueden generar el mismo resultado correcto, pero uno de ellos se ha recuperado de un fallo de una herramienta que se ha producido en el proceso, mientras que el otro simplemente lo ha evitado. Si solo se tiene en cuenta el resultado final, se pasa por alto esa diferencia. Comprender la cadena de razonamiento le ofrece una visión mucho más completa de la robustez del sistema.

El tercero es corrección dependiente del contexto. En muchos casos de uso empresarial, la calidad se sitúa en un espectro. Un agente de compras que negocia un descuento de 12% hace un buen trabajo.

Es preferible optar por una opción que permita negociar 15%. Sin embargo, una opción que permita negociar 10% pero que preserve una relación clave con un proveedor podría ser la mejor de todas. Una evaluación útil debe tener en cuenta el contexto empresarial, y no limitarse únicamente a si el resultado es correcto o incorrecto.

Enfoques que están dando buenos resultados en el entorno de producción

Algunos enfoques ya están dando buenos resultados, y el denominador común es tratar a los agentes más como sistemas que como modelos.

Evaluación a nivel de trayectoria Probablemente sea el cambio más significativo. En lugar de evaluar únicamente el resultado final, los equipos analizan la secuencia completa de las acciones del agente. ¿Identificó el agente las subtareas correctas? ¿Utilizó las herramientas adecuadas? ¿Se recuperó de los errores? ¿Escaló el problema cuando debía hacerlo? Esto requiere un registro estructurado de cada paso del agente y unas rúbricas que evalúen la trayectoria en su conjunto. De este modo, los equipos obtienen una visión mucho más completa de la calidad del agente que si se limitaran a examinar únicamente los resultados finales.

LLM como juez con rúbricas calibradas También ha madurado rápidamente. El uso de un modelo de lenguaje grande (LLM) independiente para evaluar los resultados de los agentes se está convirtiendo en la norma, y la clave para garantizar su fiabilidad es la rúbrica. Defina criterios explícitos, proporcione ejemplos clasificados de buen y mal rendimiento, y calibre periódicamente el sistema de evaluación comparándolo con las valoraciones humanas. Los equipos que aciertan con la rúbrica observan una fuerte correlación con el juicio humano.

Pruebas basadas en escenarios Es otro enfoque que da buenos resultados. Los equipos más eficaces con los que trabajo mantienen bibliotecas de entre 50 y 200 escenarios que abarcan los flujos normales, los casos extremos, las entradas adversas y los modos de fallo conocidos. Estas bibliotecas crecen con cada incidente de producción y se convierten en uno de los activos más valiosos de un programa de IA autónoma.

Y evaluación continua en la fase de producción Es lo que lo une todo. Las pruebas previas a la implementación le aportan confianza en el momento del lanzamiento. La evaluación continua le aporta confianza cada día a partir de entonces. El análisis de muestras de interacciones en producción, su procesamiento a través de flujos de trabajo de evaluación y el seguimiento de los indicadores de calidad a lo largo del tiempo permiten a los equipos mejorar los agentes de forma sistemática, en lugar de hacerlo de manera reactiva.

“La evaluación no es algo que se haga antes del lanzamiento y luego se deje de lado. Es una práctica continua, y los equipos que la abordan de esa manera son los que lanzan productos con confianza”.” – Abhishek Singh, director científico de Data, Artefact

Acertar con el modelo de propiedad

Hay un aspecto organizativo en todo esto que merece la pena abordar.

En el aprendizaje automático tradicional, el científico de data que creaba el modelo solía ser el responsable de su evaluación. En los sistemas basados en agentes, el alcance es más amplio. El agente interviene en múltiples procesos de negocio, recurre a herramientas gestionadas por distintos equipos y genera resultados que afectan a las partes interesadas de toda la organización. Los modelos de responsabilidad en la evaluación de los agentes aún se encuentran en fase de desarrollo en todo el sector, y acertar en este aspecto desde el principio marca una diferencia real.

Los equipos que observamos que lo hacen bien designan claramente a un responsable de la evaluación —no tiene por qué ser un equipo específico, sino una persona o un departamento encargado de definir los estándares de calidad, crear la infraestructura de evaluación y exigir al equipo de desarrollo que rinda cuentas según criterios cuantificables—. Dejar clara la responsabilidad desde el principio evita que todos den por sentado que es otra persona la que se encarga de ello.

Recomendaciones prácticas

A la luz de lo que hemos observado en los distintos proyectos en los que hemos participado, esto es lo que recomendaría a los equipos que invierten en IA autónoma.

Empiece por el marco de evaluación, no por el agente. Antes de escribir el código del agente, defina en qué consiste el éxito. ¿Cuáles son los resultados medibles? ¿Cómo es una buena trayectoria? ¿Qué tipos de fallos desea detectar a tiempo? Este trabajo previo evita la situación habitual en la que los equipos crean un agente capaz y luego pasan meses tratando de averiguar cómo validarlo.

Invierta en el registro estructurado desde el primer día. Cada llamada a una herramienta, cada punto de decisión y cada interacción con un modelo de lenguaje grande (LLM) deben registrarse en un formato estructurado y consultable. Sin ello, solo podrá evaluar los resultados sin comprender cómo ha llegado el agente a ellos. Incorporar la observabilidad a posteriori resulta más costoso que integrarla desde el principio.

Cree una biblioteca de escenarios y considérela un activo de primer orden. Gestione sus versiones, revísela y amplíela con cada incidente de producción.

Planifique una evaluación continua desde el principio. Y designe cuanto antes a una persona claramente responsable de la evaluación: los equipos que pasan más rápidamente de la fase piloto a la de producción son aquellos en los que hay alguien que asume explícitamente la responsabilidad de la calidad de los agentes.

Cómo abordamos esta cuestión en Artefact

En Artefact, la evaluación forma parte integrante de nuestra metodología «AI Factory» como línea de trabajo fundamental. Cada proyecto de desarrollo de un agente incluye una fase de diseño del marco de evaluación que se lleva a cabo en paralelo al desarrollo del agente. Definimos criterios de evaluación a nivel de trayectoria, creamos bibliotecas de escenarios adaptadas al caso de uso y establecemos un seguimiento continuo antes de que el agente entre en funcionamiento.

El razonamiento que subyace a esto es sencillo: un agente que se puede medir es un agente en el que se puede confiar, que se puede mejorar y que se puede ampliar. Las organizaciones con las que colaboramos y que adoptan esta disciplina desde el principio alcanzan sistemáticamente la fase de producción más rápidamente y con mayor confianza por parte de las partes interesadas.

La evaluación como ventaja competitiva

La IA agencial está madurando rápidamente. Los marcos de trabajo son mejores, los modelos son más potentes y los casos de uso son reales. La evaluación se está poniendo al día, y las organizaciones que invierten en ella ahora están consiguiendo una ventaja real.

Si se lleva a cabo correctamente, la evaluación es lo que le permite implementar agentes con confianza, mejorarlos con el tiempo y presentar pruebas tangibles a las partes interesadas, en lugar de simples demostraciones. Se trata de una disciplina relativamente nueva, pero los enfoques se están comprendiendo cada vez mejor, y los equipos que los adopten desde el principio estarán bien posicionados cuando la IA agentiva se convierta en un elemento habitual del funcionamiento de las empresas.