Cómo evaluar agentes de IA: conjuntos de prueba, calificadores y verificaciones de regresión

Detrás de todo gran producto de IA hay un sólido proceso de evaluación de agentes de IA, conocido como evals, que detecta errores a tiempo y garantiza el correcto funcionamiento del agente. Las evals son fundamentales para los agentes de IA que ejecutan acciones de alto riesgo, como reembolsos en nombre de alguien.

Construir ese proceso requiere ciertos conocimientos técnicos y habilidades de análisis de datos. Pero no es ni de lejos tan intimidante ni inaccesible como podría parecer. Para ayudarte a empezar, te presentamos seis pasos prácticos para evaluar agentes de IA y los conceptos erróneos más comunes que arruinan el proceso.

¿Qué significa evaluar un agente de IA?

Evaluar un agente de IA significa valorar qué tan bien completa sus tareas y si sus decisiones cumplen con los requisitos de la organización. En términos prácticos, las evaluaciones de agentes de IA, o evals, son métricas específicas que ayudan a las organizaciones a determinar si el agente funciona con la confiabilidad suficiente para el rol al que está destinado.

Piensa en un agente de compras con IA en una planta de manufactura que revisa el inventario de refacciones y prepara solicitudes de reabastecimiento. Si una pieza aprobada no está disponible o la información del proveedor está desactualizada, ¿el agente señalará el problema o recomendará un sustituto no aprobado?

Y si cambias su prompt del sistema para corregir ese problema, ¿cómo sabes que no introdujiste otro?

Sin un proceso de evaluación, los gerentes de producto básicamente se quedan adivinando. Por eso, las evals proporcionan una señal de retroalimentación para medir el desempeño, detectar problemas recurrentes y probar cambios con mayor confianza.

Dicho esto, una evaluación de agentes puede examinar varios aspectos de una ejecución:

• La calidad del resultado final
• La información que usó el agente
• Las herramientas que llamó
• Si siguió las reglas que rigen su comportamiento

Métricas comunes de evaluación de agentes de IA

Las evals trabajan con datos cualitativos y cuantitativos. La evaluación cualitativa te ayuda a entender qué está pasando y por qué, lo que incluye revisar manualmente las decisiones del agente. La evaluación cuantitativa convierte esas observaciones en señales medibles, como contar la frecuencia de modos de falla específicos o calcular tasas de éxito de las tareas.

Esta es la lista de métricas fundamentales de evaluación de agentes de IA:

• El éxito de la tarea mide si el agente logró el resultado previsto; por lo general, se mide como el porcentaje de ejecuciones que producen resultados válidos.
• La corrección de las acciones mide si el agente usó las herramientas de forma adecuada, seleccionó argumentos válidos y respetó los permisos.
• La calidad de la respuesta evalúa si el resultado final es preciso, completo y útil. Puede incluir la exactitud factual, el apego a las instrucciones y si el agente respalda sus decisiones con la información disponible.
• La confiabilidad mide la consistencia a lo largo de pruebas repetidas, entradas variadas y casos límite.
• El costo y la latencia miden los recursos necesarios para lograr un resultado exitoso, incluidos el tiempo de ejecución, el consumo de tokens y las llamadas a herramientas.

Según lo que estés midiendo, las evals pueden valorar el desempeño integral de un agente, su trayectoria de ejecución o componentes individuales, como las llamadas a herramientas y los pasos de recuperación.

Paso 1: Define cómo se ve una ejecución exitosa del agente

Primero, describe explícitamente lo que se supone que debe lograr el agente: los requisitos del producto. Suena obvio, pero puede ser sorprendentemente difícil. Incluso tiene nombre: la brecha de especificación.

Así es como conviene abordarlo, según Andrey Khomutov, nuestro científico de datos sénior:

“Empieza con dos preguntas: “¿Qué contaría como hacer el trabajo?” y “¿Qué haría inaceptable una ejecución aparentemente exitosa?”

En el caso de los agentes, desde una perspectiva técnica, eso significa revisar tanto el resultado como la forma en que los agentes llegaron a él.”

Un agente podría producir la respuesta correcta al acceder a una clave de respuestas filtrada o realizar acciones no autorizadas mientras completa su tarea. Khomutov señala que la filtración de respuestas y las acciones inseguras durante las evaluaciones son razones concretas para no juzgar únicamente la respuesta final.

“Espero que la inspección de trayectorias se convierta en una parte estándar de los conjuntos de evals de agentes, en lugar de algo que hacemos solo cuando un resultado parece sospechoso”, agrega.

Después, involucra a un experto en el dominio para validar tus criterios de éxito. Las personas con conocimiento práctico del dominio pueden determinar si las condiciones que establecimos para un agente de IA reflejan un resultado exitoso.

Paso 2. Crea un conjunto de pruebas a partir de tareas y fallas reales

Examina el comportamiento real del agente para entender cómo se ven un buen y un mal desempeño. Resiste la tentación de empezar generando decenas de pruebas basadas solo en lo que crees que podría salir mal.

Hamel Husain, ingeniero de ML en Parlance Lab, y Shreya Shankar, investigadora de sistemas de ML y de evals de IA aplicada, recomiendan comenzar con el análisis de errores, una técnica tomada del aprendizaje automático y la ciencia de datos. El proceso comienza con un análisis cualitativo de las trazas de ejecución del agente: registros que muestran la entrada del usuario, las llamadas a herramientas, la información recuperada y la salida del agente.

1. Revisa trazas individuales y anota los errores (codificación abierta). Pide a un experto en el dominio que inspeccione las ejecuciones del agente y escriba observaciones breves sobre lo que salió mal. Concéntrate en el primer error significativo.
2. Agrupa las observaciones en modos de falla (codificación axial). Una vez que tengas suficientes notas, usa un LLM para sugerir categorías de errores similares. Estas podrían incluir recomendaciones de piezas incompatibles, consultas de inventario imprecisas y traspasos fallidos a una persona.
3. Cuenta las ocurrencias. Asigna cada observación a una categoría y luego usa una hoja de cálculo o una tabla dinámica para calcular con qué frecuencia aparece cada modo de falla.
4. Prioriza qué atender, considerando tanto la frecuencia como la gravedad.
5. Convierte las fallas importantes en casos de prueba. Guarda la entrada relevante, las condiciones iniciales, el resultado esperado y los criterios de calificación para que el agente pueda volver a probarse con el mismo escenario.

¿Cuántas trazas deberías examinar? Aproximadamente 100, pero no hay un número mágico. Detente antes si alcanzas la saturación teórica: el punto en el que revisar trazas adicionales ya no revela nuevos patrones de falla significativos.

¿Todavía no lanzas la aplicación? Los ejemplos sintéticos pueden ayudar a crear un conjunto de pruebas inicial, aunque los datos de usuarios reales deberían alimentarlo en cuanto estén disponibles.

El uso de benchmarks en la evaluación de agentes de IA

Además de crear tus propios casos de prueba, puedes usar colecciones existentes de tareas de evaluación estandarizadas, conocidas como benchmarks, para valorar las capacidades de los agentes.

Pero los benchmarks no son infalibles. Las auditorías de SWE-bench, las revisiones de benchmarks de Epoch AI y las respuestas correctas inicialmente rechazadas en TheoPhysEval ilustran cómo las tareas o respuestas esperadas defectuosas pueden distorsionar los resultados de la evaluación.

Como aconseja Khomutov, elige benchmarks actualizados y relevantes para tu dominio, e investiga las pruebas superadas o fallidas que resulten sorprendentes antes de tomar las puntuaciones como evidencia confiable del desempeño del agente.

Paso 3. Ejecuta el agente en un entorno de pruebas reproducible

Un entorno de pruebas reproducible es una configuración controlada en la que puedes ejecutar un agente de IA con los mismos casos de prueba, bajo las mismas condiciones iniciales, y comparar los resultados. Esto incluye una carpeta de casos de prueba, un script de Python que ejecuta el agente o un conjunto de verificaciones que evalúan los resultados.

Puedes empezar guardando entradas representativas como archivos JSON y usando un script de Python para ejecutar el flujo de trabajo de tu agente y verificar sus salidas con aserciones. Para el agente de inventario de nuestra planta de manufactura, un entorno de pruebas reproducible podría verse así:

Ampliar

Para configurar un entorno de pruebas reproducible, sigue estos pasos:

1. Guarda entradas representativas. Almacena eventos reales o casos de prueba con la misma estructura que recibe tu aplicación en producción. En nuestro escenario, guardarías como archivo JSON una solicitud de mantenimiento que contenga el ID de la máquina, la refacción requerida y la fecha de mantenimiento, junto con una instantánea de los datos de inventario y de piezas aprobadas.
2. Ejecuta el flujo de trabajo. Pasa cada entrada por el agente, incluidos sus pasos de recuperación, llamadas a herramientas y generación de respuestas.
3. Registra el resultado y la traza. Captura la salida final y las acciones intermedias relevantes (como las consultas de inventario) para que puedas ver no solo si el agente falló, sino dónde.
4. Repite los casos según la gravedad de la falla, su frecuencia y la dificultad de corregir el problema. Las aplicaciones de LLM son no deterministas (pueden producir resultados distintos a partir de entradas idénticas), así que una ejecución exitosa no garantiza que la siguiente también lo sea. Reporta la proporción de pruebas exitosas e inspecciona las fallas.

Para esto último, Khomutov aconseja medir pass@1 (con qué frecuencia el agente tiene éxito en un solo intento) y pass@k (la probabilidad de tener éxito al menos una vez en un número determinado de intentos). Si reportas pass@k, especifica el número de intentos, ya que producir una respuesta correcta entre varias no significa que el agente sepa cuál elegir.

A medida que tu aplicación crezca, usa un framework de pruebas como pytest para organizar y ejecutar las pruebas, y considera almacenar en una base de datos los conjuntos de datos de prueba y los resultados de gran tamaño.

Paso 4. Elige el calificador adecuado para cada verificación

Un calificador (también llamado con frecuencia evaluador) es un mecanismo, ya sea un fragmento de código, un LLM guiado por una rúbrica de calificación o un revisor humano, que verifica la salida o acción de un agente con respecto a un criterio definido. Un calificador devuelve un juicio de aprobado/reprobado y una explicación que identifica la evidencia relevante.

Nota: Una rúbrica de calificación es un conjunto de criterios e instrucciones que define qué cuenta como un resultado correcto o aceptable.

El tipo de calificador adecuado depende de lo que intentes verificar. Así se comparan los tres enfoques:

A veces, distintos aspectos de una misma ejecución pueden requerir métodos de evaluación diferentes, por lo que quizá necesites combinar calificadores.

¿Cómo se combinan los calificadores?

Pregúntate: “¿El resultado se puede verificar con una regla conocida o un valor esperado, o requiere un juicio similar al humano?”

• Si puedes verificar el resultado con exactitud, empieza con un calificador basado en código. Los calificadores basados en código también pueden verificar salidas estructuradas, valores de campo válidos, argumentos de herramientas o el estado final de una base de datos.
• Si la verificación requiere interpretar el contexto, usa un LLM como juez.
• Recurre a revisores humanos para decisiones específicas del dominio o en disputa.

¡Importante! Un calificador basado en LLM puede malinterpretar la evidencia o aplicar una rúbrica de forma incorrecta. Por eso necesita un paso de evaluación adicional: la calibración con respecto a juicios humanos.

Calibra el calificador basado en LLM con respecto a juicios humanos.

En esencia, la calibración requiere que un experto en el dominio evalúe ejecuciones reales del agente. Luego, el experto compara sus juicios con los del LLM y ajusta la rúbrica de calificación con base en los desacuerdos.

Este es un proceso de calibración del calificador en cinco pasos:

1. Reúne ejemplos de entradas, salidas y trazas relevantes del agente.
2. Pide a un experto en el dominio que evalúe de forma independiente si cada ejemplo cumple con el criterio de evaluación.
3. Ejecuta el calificador basado en LLM con esos ejemplos.
4. Compara los juicios humanos con los del modelo.
5. Investiga los desacuerdos y ajusta la rúbrica del calificador antes de probarlo con ejemplos nuevos.

Khomutov también subraya la importancia de probar por separado la consistencia del calificador basado en LLM:

“Dale exactamente la misma ejecución guardada y los mismos archivos varias veces, sin volver a ejecutar el agente. Eso te permite separar la variación en el trabajo del agente de la variación en la calificación.”

Si la misma salida recibe veredictos distintos, no supongas que cada cambio en la puntuación proviene del agente. En su lugar, examina una matriz de confusión que muestre cuándo el calificador identificó correctamente los errores, cuándo los pasó por alto y cuándo marcó incorrectamente salidas aceptables.

La revisión humana sigue siendo esencial para establecer juicios de referencia, resolver casos en disputa y descubrir nuevos modos de falla que los calificadores existentes no fueron diseñados para detectar.

Paso 5. Compara versiones y ejecuta verificaciones de regresión

Supón que el análisis de errores revela que tu agente de inventario recomienda con frecuencia refacciones sustitutas no aprobadas. Modificas su prompt del sistema para exigir una verificación explícita de compatibilidad. El caso que fallaba originalmente ahora pasa. Pero ¿cómo sabes que el cambio no afectó otras tareas?

Ahí es donde entran las pruebas de regresión.

Las pruebas de regresión consisten en volver a ejecutar casos de prueba que antes se superaban después de cambiar el prompt, el modelo o el flujo de trabajo de un agente, para garantizar que el cambio no haya introducido nuevas fallas.

1. Reproduce la falla original con una entrada guardada del conjunto de pruebas.
2. Haz un cambio específico en el prompt, el modelo o el flujo de trabajo.
3. Vuelve a ejecutar la prueba que fallaba para verificar si el problema se resolvió.
4. Ejecuta las demás pruebas para verificar que el cambio no haya alterado comportamientos que antes funcionaban correctamente.
5. Revisa los resultados e investiga cualquier falla nueva.

Compara el agente de referencia con el agente actualizado usando los mismos casos de prueba y criterios de calificación para obtener resultados precisos.

Paso 6: Monitorea el desempeño del agente de IA en producción

La evaluación del agente no termina una vez que implementas tu aplicación. Como explican Husain y Shankar, los mismos evaluadores que usas durante el desarrollo también pueden ejecutarse con datos reales de producción para medir el desempeño de tu agente a lo largo del tiempo.

Esto se conoce como evaluación en línea y forma parte de un proceso más amplio de monitoreo en producción que ayuda a descubrir fallas recurrentes y otras que antes se desconocían.

El proceso es iterativo e incluye cuatro actividades complementarias:

• Ejecuta jueces LLM calibrados sobre trazas de producción. Toma una muestra de interacciones reales del agente y aplica los evaluadores que ya validaste comparándolos con juicios humanos.
• Haz seguimiento de las tasas de falla a lo largo del tiempo. Usa las categorías de falla establecidas durante el análisis de errores para cuantificar los problemas recurrentes.
• Sigue revisando trazas manualmente. Los calificadores automatizados solo detectan los problemas para los que fueron diseñados. Inspecciona manualmente muestras de interacciones reales del agente para descubrir errores nuevos o solicitudes inusuales de los usuarios.
• Usa pruebas A/B para medir resultados de negocio (solo cuando sea pertinente). Compara distintos prompts, modelos o flujos de trabajo con métricas como la finalización de tareas, la satisfacción de los usuarios y el tiempo de resolución. Este proceso ayuda a determinar si un cambio mejora la experiencia real del producto, más allá de aprobar pruebas individuales.

Una aclaración importante: las evaluaciones no tienen que ser perfectas. Basta con que sean lo suficientemente buenas para mejorar tu producto.

Ideas erróneas comunes sobre la evaluación de agentes de IA

• Las evaluaciones son solo pruebas unitarias. No es así: las pruebas unitarias son verificaciones pequeñas y automatizadas que constituyen solo una parte de la evaluación. Las evaluaciones también incluyen análisis cualitativo de errores, juicios humanos, monitoreo en producción y experimentos para medir la calidad de la aplicación.
• Una plataforma de evaluación puede hacerlo todo por ti. Las herramientas listas para usar pueden automatizar algunas verificaciones, pero no pueden determinar qué modos de falla (tipos de errores o comportamientos no deseados del agente) son relevantes para tu producto.
• Puedes dejar que un LLM lo evalúe todo. Esa es una gran falacia. El análisis de errores dirigido por personas y la calibración de los calificadores siguen siendo esenciales, ya que los LLM carecen del contexto de negocio necesario para descubrir todos los problemas.
• Las pruebas A/B o simplemente usar el agente reemplazan las evaluaciones. Incorrecto. Las pruebas A/B pueden mostrar qué versión tiene mejor desempeño según las métricas seleccionadas, pero no pueden, por sí solas, explicar los problemas de fondo.

Preguntas frecuentes sobre la evaluación de agentes de IA

1. ¿Cuál es la diferencia entre la evaluación de agentes de IA y la evaluación de LLM?

La evaluación de LLM mide qué tan bien un modelo de lenguaje realiza una tarea determinada, como responder una pregunta, resumir un documento o extraer información. La evaluación de agentes de IA analiza un sistema que ejecuta de forma independiente varios pasos para completar una tarea.

A diferencia de una evaluación típica de LLM, la evaluación de agentes examina tanto el resultado final como la secuencia de acciones realizadas para lograrlo, incluidas las llamadas a herramientas, las decisiones y el cumplimiento de reglas predefinidas.

2. Métricas clave para la evaluación de agentes de IA

Las métricas de evaluación de agentes de IA se dividen en dos grandes categorías:

• Métricas de desempeño técnico: tasa de éxito en las tareas, precisión de las acciones, calidad de las respuestas, confiabilidad (pass@1 y pass@k), latencia, uso de tokens y costo por tarea completada con éxito.
• Métricas de negocio y experiencia del usuario: satisfacción del cliente (CSAT), tasa de resolución de problemas, tasa de escalamiento, tasa de conversión, tiempo de finalización de tareas y otros resultados específicos de la función del agente.

Por ejemplo, un agente de atención al cliente podría evaluarse según la resolución exitosa de problemas y la satisfacción del cliente, mientras que un agente de compras con IA podría medirse por la precisión de las solicitudes de reabastecimiento, las tasas de aprobación y el tiempo del ciclo de adquisiciones.

Las métricas adecuadas deben reflejar tanto la confiabilidad con la que se desempeña el agente como si su trabajo mejora los resultados de negocio.

3. ¿Cuáles son las mejores herramientas para evaluar agentes de IA?

Entre las opciones más comunes se incluyen:

• Frameworks de pruebas: las aserciones de Python y pytest son útiles para ejecutar casos de prueba repetibles y verificar condiciones exactas, como si un agente seleccionó la herramienta correcta o devolvió un ID de pieza válido.
• Frameworks de evaluación de agentes de IA: DeepEval y el kit de herramientas agent-eval de Google admiten evaluaciones más complejas, incluidas trazas de ejecución, calificadores basados en LLM y pruebas de regresión automatizadas.
• Plataformas de evaluación y observabilidad: LangSmith, Arize Phoenix y MLflow ayudan a los equipos a inspeccionar el comportamiento de los agentes, gestionar conjuntos de datos de evaluación, comparar versiones de agentes y monitorear el desempeño en producción.

4. ¿Cómo se automatizan las evaluaciones de agentes de IA?

Puedes automatizar las evaluaciones de agentes de IA creando pruebas repetibles, aplicando calificadores automatizados e integrando esas verificaciones en los flujos de trabajo de desarrollo y producción:

1. Crea un conjunto de datos de evaluación: recopila tareas representativas de los usuarios, resultados esperados, fallas conocidas y trazas de ejecución del agente. Incluye casos límite, como llamadas a herramientas fallidas, información faltante y acciones no autorizadas.
2. Automatiza la ejecución de pruebas y la calificación: usa frameworks como pytest o DeepEval para ejecutar casos de prueba y aplicar verificaciones basadas en código o calificadores LLM. Valida los calificadores LLM comparándolos con juicios humanos antes de confiar en sus puntuaciones.
3. Integra las evaluaciones en CI/CD: vuelve a ejecutar automáticamente las pruebas de regresión cuando los desarrolladores actualicen los prompts, modelos, herramientas o el flujo de trabajo de un agente. Compara los resultados con una línea base y establece umbrales de calidad que impidan los lanzamientos cuando fallen verificaciones críticas.
4. Aplica calificadores calibrados a muestras de trazas de producción, haz seguimiento de las tasas de falla y otras métricas de desempeño, e investiga los errores nuevos mediante revisión manual.