Cómo evaluar agentes de IA: conjuntos de pruebas, calificadores y comprobaciones de regresión

Detrás de todo gran producto de IA hay un sólido proceso de evaluación de agentes de IA, conocido como evals, que detecta los errores a tiempo y garantiza el correcto funcionamiento del agente. Las evals son fundamentales para los agentes de IA que ejecutan acciones de alto riesgo, como tramitar reembolsos en nombre de otra persona.

Construir ese proceso requiere ciertos conocimientos técnicos y habilidades de análisis de datos. Pero no es ni de lejos tan intimidante ni tan inaccesible como podría parecer. Para ayudarte a empezar, hemos reunido seis pasos prácticos para evaluar agentes de IA y los errores de concepto habituales que echan a perder el proceso.

¿Qué significa evaluar un agente de IA?

Evaluar un agente de IA significa valorar su rendimiento a la hora de completar tareas correctamente y si sus decisiones cumplen los requisitos de la organización. En términos prácticos, las evaluaciones de agentes de IA, o evals, son métricas específicas que ayudan a las organizaciones a determinar si el agente funciona con la fiabilidad suficiente para el papel que se le ha asignado.

Piensa en un agente de compras de IA en una planta de fabricación que revisa el inventario de repuestos y prepara solicitudes de reposición. Si una pieza aprobada no está disponible o la información del proveedor está desactualizada, ¿señalará el agente el problema o recomendará un sustituto no aprobado?

Y si cambias su prompt del sistema para solucionar ese problema, ¿cómo sabes que no has introducido otro?

Sin un proceso de evaluación, los responsables de producto básicamente se limitan a hacer conjeturas. Por eso, las evals proporcionan una señal de retroalimentación para medir el rendimiento, detectar problemas recurrentes y probar cambios con mayor confianza.

Dicho esto, una evaluación de agentes puede examinar varios aspectos de una ejecución:

• La calidad del resultado final
• La información que utilizó el agente
• Las herramientas que invocó
• Si siguió las reglas que rigen su comportamiento

Métricas habituales de evaluación de agentes de IA

Las evals trabajan con datos cualitativos y cuantitativos. La evaluación cualitativa te ayuda a entender qué está ocurriendo y por qué, e incluye la revisión manual de las decisiones del agente. La evaluación cuantitativa convierte esas observaciones en señales medibles, como contar la frecuencia de modos de fallo específicos o calcular las tasas de éxito de las tareas.

Esta es la lista de métricas fundamentales de evaluación de agentes de IA:

• El éxito de la tarea mide si el agente logró el resultado previsto; normalmente se expresa como el porcentaje de ejecuciones que producen resultados válidos.
• La corrección de las acciones mide si el agente utilizó las herramientas adecuadamente, seleccionó argumentos válidos y respetó los permisos.
• La calidad de la respuesta evalúa si el resultado final es preciso, completo y útil. Puede incluir la exactitud factual, el cumplimiento de las instrucciones y si el agente respalda sus decisiones con la información disponible.
• La fiabilidad mide la coherencia a lo largo de pruebas repetidas, con entradas variables y en casos límite.
• El coste y la latencia miden los recursos necesarios para lograr un resultado satisfactorio, incluidos el tiempo de ejecución, el consumo de tokens y las llamadas a herramientas.

Según lo que midas, las evals pueden valorar el rendimiento integral de un agente, su trayectoria de ejecución o componentes individuales, como las llamadas a herramientas y los pasos de recuperación.

Paso 1: Define cómo es una ejecución satisfactoria del agente

Primero, describe explícitamente lo que se supone que debe lograr el agente: los requisitos del producto. Parece obvio, pero puede resultar sorprendentemente difícil. Incluso tiene nombre: la brecha de especificación.

Así es como conviene abordarlo, según Andrey Khomutov, nuestro científico de datos sénior:

«Empieza con dos preguntas: “¿Qué contaría como haber cumplido con el trabajo?” y “¿Qué haría inaceptable una ejecución aparentemente satisfactoria?”

En el caso de los agentes, desde un punto de vista técnico, eso implica comprobar tanto el resultado como la forma en que los agentes llegaron a él.»

Un agente podría dar con la respuesta correcta accediendo a un solucionario filtrado o realizar acciones no autorizadas mientras completa su tarea. Khomutov señala que la filtración de respuestas y las acciones inseguras durante las evaluaciones son razones concretas para no juzgar únicamente la respuesta final.

«Espero que la inspección de trayectorias se convierta en una parte estándar de los conjuntos de evals de agentes, en lugar de algo que hagamos solo cuando un resultado parece sospechoso», añade.

Después, implica a un experto en la materia para validar tus criterios de éxito. Las personas con conocimientos prácticos del ámbito pueden determinar si las condiciones que fijamos para un agente de IA reflejan un resultado satisfactorio.

Paso 2. Crea un conjunto de pruebas a partir de tareas y fallos reales

Examina el comportamiento real del agente para entender en qué consiste un buen rendimiento y uno deficiente. Resiste la tentación de empezar generando decenas de pruebas basadas solo en lo que crees que podría salir mal.

Hamel Husain, ingeniero de ML en Parlance Lab, y Shreya Shankar, investigadora de sistemas de ML y evals de IA aplicada, recomiendan empezar con el análisis de errores, una técnica tomada del aprendizaje automático y la ciencia de datos. El proceso comienza con un análisis cualitativo de las trazas de ejecución del agente: registros que muestran la entrada del usuario, las llamadas a herramientas, la información recuperada y la salida del agente.

1. Revisa trazas individuales y anota los errores (codificación abierta). Pide a un experto en la materia que inspeccione las ejecuciones del agente y escriba observaciones breves sobre lo que salió mal. Céntrate en el primer error significativo.
2. Agrupa las observaciones en modos de fallo (codificación axial). Cuando tengas suficientes notas, usa un LLM para que sugiera categorías de errores similares. Pueden incluir recomendaciones de piezas incompatibles, recuperación de inventario inexacta y traspasos fallidos a personas.
3. Cuenta las apariciones. Asigna cada observación a una categoría y, después, usa una hoja de cálculo o una tabla dinámica para calcular con qué frecuencia aparece cada modo de fallo.
4. Prioriza qué abordar, teniendo en cuenta tanto la frecuencia como la gravedad.
5. Convierte los fallos importantes en casos de prueba. Guarda la entrada correspondiente, las condiciones iniciales, el resultado esperado y los criterios de calificación para poder volver a probar el agente en el mismo escenario.

¿Cuántas trazas deberías examinar? Unas 100, aunque no hay un número mágico. Detente antes en cuanto alcances la saturación teórica: el punto en el que revisar más trazas deja de revelar nuevos patrones de fallo significativos.

¿Aún no has lanzado la aplicación? Los ejemplos sintéticos pueden ayudarte a crear un conjunto de pruebas inicial, aunque los datos de usuarios reales deberían nutrirlo en cuanto estén disponibles.

El uso de benchmarks en la evaluación de agentes de IA

Además de crear tus propios casos de prueba, puedes usar colecciones existentes de tareas de evaluación estandarizadas, conocidas como benchmarks, para valorar las capacidades de los agentes.

Pero los benchmarks no son infalibles. Las auditorías de SWE-bench, las revisiones de benchmarks de Epoch AI y las respuestas correctas rechazadas inicialmente en TheoPhysEval ilustran cómo las tareas o las respuestas esperadas defectuosas pueden distorsionar los resultados de la evaluación.

Como aconseja Khomutov, elige benchmarks actualizados y relevantes para tu ámbito, e investiga los aciertos o fallos sorprendentes antes de considerar las puntuaciones una prueba fiable del rendimiento del agente.

Paso 3. Ejecuta el agente en un entorno de pruebas reproducible

Un entorno de pruebas reproducible es una configuración controlada en la que puedes ejecutar un agente de IA con los mismos casos de prueba y en las mismas condiciones iniciales, y comparar los resultados. Esto incluye una carpeta de casos de prueba, un script de Python que ejecuta el agente o un conjunto de comprobaciones que evalúan los resultados.

Puedes empezar almacenando entradas representativas como archivos JSON y usando un script de Python para ejecutar el flujo de trabajo de tu agente y comprobar sus salidas con aserciones. Para el agente de inventario de nuestra planta de fabricación, un entorno de pruebas reproducible podría tener este aspecto:

Ampliar

Para configurar un entorno de pruebas reproducible, sigue estos pasos:

1. Guarda entradas representativas. Almacena eventos reales o casos de prueba con la misma estructura que recibe tu aplicación en producción. En nuestro escenario, guardarías como archivo JSON una solicitud de mantenimiento que contenga el ID de la máquina, el repuesto necesario y la fecha de mantenimiento, junto con una instantánea de los datos de inventario y de piezas aprobadas.
2. Ejecuta el flujo de trabajo. Pasa cada entrada por el agente, incluidos sus pasos de recuperación, las llamadas a herramientas y la generación de respuestas.
3. Registra el resultado y la traza. Captura la salida final y las acciones intermedias relevantes (como las consultas de inventario) para ver no solo si el agente falló, sino dónde.
4. Repite los casos en función de la gravedad y la frecuencia del fallo, y de la dificultad de solucionar el problema. Las aplicaciones de LLM son no deterministas (pueden producir resultados distintos a partir de entradas idénticas), por lo que una ejecución satisfactoria no garantiza que la siguiente también lo sea. Indica la proporción de pruebas superadas e inspecciona los fallos.

Para esto último, Khomutov aconseja medir pass@1 (la frecuencia con la que el agente acierta en un solo intento) y pass@k (la probabilidad de acertar al menos una vez en un número determinado de intentos). Si informas de pass@k, especifica el número de intentos, ya que dar con una respuesta correcta entre varias no significa que el agente sepa cuál elegir.

A medida que tu aplicación crezca, usa un framework de pruebas como pytest para organizar y ejecutar las pruebas, y plantéate almacenar en una base de datos los conjuntos de datos de prueba y los resultados de gran tamaño.

Paso 4. Elige el calificador adecuado para cada comprobación

Un calificador (también llamado a menudo evaluador) es un mecanismo, ya sea un fragmento de código, un LLM guiado por una rúbrica de calificación o un revisor humano, que contrasta la salida o la acción de un agente con un criterio definido. Un calificador devuelve un veredicto de aprobado/suspenso y una explicación que identifica las evidencias pertinentes.

Información: Una rúbrica de calificación es un conjunto de criterios e instrucciones que define qué se considera un resultado correcto o aceptable.

El tipo de calificador adecuado depende de lo que intentes verificar. Así se comparan los tres enfoques:

A veces, distintos aspectos de una misma ejecución pueden requerir métodos de evaluación diferentes, por lo que quizá tengas que combinar calificadores.

¿Cómo se combinan los calificadores?

Pregúntate: «¿Se puede verificar el resultado con una regla conocida o un valor esperado, o requiere un juicio similar al humano?»

• Si puedes verificar el resultado con exactitud, empieza con un calificador basado en código. Los calificadores basados en código también pueden verificar salidas estructuradas, valores de campo válidos, argumentos de herramientas o el estado final de una base de datos.
• Si la comprobación requiere interpretar el contexto, usa un LLM como juez.
• Recurre a revisores humanos para las decisiones específicas del ámbito o controvertidas.

¡Importante! Un calificador basado en LLM puede malinterpretar las evidencias o aplicar una rúbrica de forma incorrecta. Por eso necesita un paso de evaluación adicional: la calibración con juicios humanos.

Calibra el calificador basado en LLM con juicios humanos.

En esencia, la calibración requiere que un experto en la materia valore ejecuciones reales del agente. A continuación, el experto compara sus juicios con los del LLM y perfecciona la rúbrica de calificación a partir de las discrepancias.

Este es un proceso de calibración del calificador en cinco pasos:

1. Recopila ejemplos de entradas, salidas y trazas relevantes del agente.
2. Pide a un experto en la materia que valore de forma independiente si cada ejemplo cumple el criterio de evaluación.
3. Ejecuta el calificador basado en LLM con esos ejemplos.
4. Compara los juicios humanos con los del modelo.
5. Investiga las discrepancias y perfecciona la rúbrica del calificador antes de probarlo con ejemplos nuevos.

Khomutov también subraya la importancia de probar por separado la coherencia del calificador basado en LLM:

«Dale exactamente la misma ejecución guardada y los mismos archivos varias veces, sin volver a ejecutar el agente. Así podrás distinguir la variación en el trabajo del agente de la variación en la calificación».

Si la misma salida recibe veredictos distintos, no des por hecho que cada cambio en la puntuación se debe al agente. En su lugar, examina una matriz de confusión que muestre cuándo el calificador identificó correctamente los errores, cuándo los pasó por alto y cuándo marcó incorrectamente salidas aceptables.

La revisión humana sigue siendo esencial para establecer juicios de referencia, resolver casos controvertidos y descubrir nuevos modos de fallo que los calificadores existentes no estaban diseñados para detectar.

Paso 5. Compara versiones y ejecuta comprobaciones de regresión

Supongamos que el análisis de errores revela que tu agente de inventario recomienda con frecuencia repuestos no aprobados. Modificas su prompt del sistema para exigir una comprobación de compatibilidad explícita. El caso que fallaba al principio ahora pasa la prueba. Pero ¿cómo sabes que el cambio no ha afectado a otras tareas?

Ahí es donde entran en juego las pruebas de regresión.

Las pruebas de regresión consisten en volver a ejecutar casos de prueba que antes se superaban tras cambiar el prompt, el modelo o el flujo de trabajo de un agente, para asegurarse de que el cambio no ha introducido nuevos fallos.

1. Reproduce el fallo original con una entrada guardada del conjunto de pruebas.
2. Haz un cambio específico en el prompt, el modelo o el flujo de trabajo.
3. Vuelve a ejecutar la prueba fallida para comprobar si el problema se ha resuelto.
4. Ejecuta el resto de las pruebas para comprobar que el cambio no ha afectado a comportamientos que antes funcionaban correctamente.
5. Revisa los resultados e investiga cualquier fallo nuevo.

Compara el agente de referencia y el actualizado con los mismos casos de prueba y criterios de calificación para obtener resultados precisos.

Paso 6: Supervisa el rendimiento del agente de IA en producción

La evaluación del agente no termina cuando despliegas tu aplicación. Como explican Husain y Shankar, los mismos evaluadores que utilizas durante el desarrollo también pueden ejecutarse sobre datos reales de producción para medir el rendimiento de tu agente a lo largo del tiempo.

Esto se conoce como evaluación en línea y forma parte de un proceso más amplio de supervisión en producción que ayuda a detectar fallos recurrentes y otros hasta ahora desconocidos.

El proceso es iterativo e incluye cuatro actividades complementarias:

• Ejecuta jueces LLM calibrados sobre trazas de producción. Toma muestras de interacciones reales del agente y aplica los evaluadores que ya has validado frente a valoraciones humanas.
• Haz un seguimiento de las tasas de fallo a lo largo del tiempo. Utiliza las categorías de fallos definidas durante el análisis de errores para cuantificar los problemas recurrentes.
• Sigue revisando trazas manualmente. Los calificadores automáticos solo detectan los problemas para los que se han diseñado. Inspecciona manualmente muestras de interacciones reales del agente para descubrir nuevos errores o solicitudes inusuales de los usuarios.
• Utiliza pruebas A/B para medir los resultados de negocio (solo cuando proceda). Compara distintos prompts, modelos o flujos de trabajo mediante métricas como la finalización de tareas, la satisfacción de los usuarios y el tiempo de resolución. Este proceso ayuda a determinar si un cambio mejora la experiencia real del producto, más allá de superar pruebas individuales.

Una observación importante: las evaluaciones no tienen por qué ser perfectas. Basta con que sean lo bastante buenas como para mejorar tu producto.

Ideas erróneas habituales sobre la evaluación de agentes de IA

• Las evaluaciones son simplemente pruebas unitarias. No es así: las pruebas unitarias son comprobaciones pequeñas y automatizadas que solo constituyen una parte de la evaluación. Las evaluaciones también incluyen análisis cualitativo de errores, valoraciones humanas, supervisión en producción y experimentos para medir la calidad de la aplicación.
• Una plataforma de evaluación puede hacerlo todo por ti. Las herramientas listas para usar pueden automatizar algunas comprobaciones, pero no pueden determinar qué modos de fallo (tipos de errores o comportamientos no deseados del agente) son relevantes para tu producto.
• Puedes dejar que un LLM lo evalúe todo. Es una gran falacia. El análisis de errores dirigido por personas y la calibración de los calificadores siguen siendo esenciales, ya que los LLM carecen del contexto de negocio necesario para descubrir todos los problemas.
• Las pruebas A/B o simplemente usar el agente sustituyen a las evaluaciones. Falso. Las pruebas A/B pueden mostrar qué versión funciona mejor según las métricas seleccionadas, pero no pueden explicar por sí solas los problemas subyacentes.

Preguntas frecuentes sobre la evaluación de agentes de IA

1. ¿Qué diferencia hay entre la evaluación de agentes de IA y la evaluación de LLM?

La evaluación de LLM mide lo bien que un modelo de lenguaje realiza una tarea determinada, como responder a una pregunta, resumir un documento o extraer información. La evaluación de agentes de IA valora un sistema que ejecuta de forma autónoma varios pasos para completar una tarea.

A diferencia de una evaluación de LLM típica, la evaluación de agentes examina tanto el resultado final como la secuencia de acciones realizadas para lograrlo, incluidas las llamadas a herramientas, las decisiones y el cumplimiento de las reglas predefinidas.

2. Métricas clave para la evaluación de agentes de IA

Las métricas de evaluación de agentes de IA se dividen en dos grandes categorías:

• Métricas de rendimiento técnico: tasa de éxito de las tareas, corrección de las acciones, calidad de las respuestas, fiabilidad (pass@1 y pass@k), latencia, uso de tokens y coste por tarea completada con éxito.
• Métricas de negocio y de experiencia de usuario: satisfacción del cliente (CSAT), tasa de resolución de incidencias, tasa de escalado, tasa de conversión, tiempo de finalización de las tareas y otros resultados específicos de la función del agente.

Por ejemplo, un agente de atención al cliente podría evaluarse por la resolución satisfactoria de incidencias y la satisfacción del cliente, mientras que un agente de compras con IA podría medirse por la precisión de las solicitudes de reposición, las tasas de aprobación y el tiempo del ciclo de aprovisionamiento.

Las métricas adecuadas deben reflejar tanto la fiabilidad con la que trabaja el agente como si su trabajo mejora los resultados de negocio.

3. ¿Cuáles son las mejores herramientas para evaluar agentes de IA?

Entre las opciones más habituales se encuentran:

• Frameworks de pruebas: las aserciones de Python y pytest son útiles para ejecutar casos de prueba repetibles y comprobar condiciones exactas, como si un agente ha seleccionado la herramienta correcta o ha devuelto un ID de pieza válido.
• Frameworks de evaluación de agentes de IA: DeepEval y el kit de herramientas agent-eval de Google admiten evaluaciones más complejas, como trazas de ejecución, calificadores basados en LLM y pruebas de regresión automatizadas.
• Plataformas de evaluación y observabilidad: LangSmith, Arize Phoenix y MLflow ayudan a los equipos a inspeccionar el comportamiento de los agentes, gestionar conjuntos de datos de evaluación, comparar versiones de agentes y supervisar el rendimiento en producción.

4. ¿Cómo se automatizan las evaluaciones de agentes de IA?

Puedes automatizar las evaluaciones de agentes de IA creando pruebas repetibles, aplicando calificadores automáticos e integrando esas comprobaciones en los flujos de trabajo de desarrollo y producción:

1. Crea un conjunto de datos de evaluación: recopila tareas de usuario representativas, resultados esperados, fallos conocidos y trazas de ejecución del agente. Incluye casos límite, como llamadas a herramientas fallidas, información incompleta y acciones no autorizadas.
2. Automatiza la ejecución de pruebas y la calificación: utiliza frameworks como pytest o DeepEval para ejecutar casos de prueba y aplicar comprobaciones basadas en código o calificadores LLM. Valida los calificadores LLM frente a valoraciones humanas antes de confiar en sus puntuaciones.
3. Integra las evaluaciones en CI/CD: vuelve a ejecutar automáticamente las pruebas de regresión cuando los desarrolladores actualicen los prompts, los modelos, las herramientas o el flujo de trabajo de un agente. Compara los resultados con una versión de referencia y establece umbrales de calidad que bloqueen los lanzamientos cuando fallen comprobaciones críticas.
4. Aplica calificadores calibrados a muestras de trazas de producción, haz un seguimiento de las tasas de fallo y de otras métricas de rendimiento, e investiga los nuevos errores mediante revisión manual.