Aprendizaje de la experiencia en el mundo real

La forma en que los usuarios interactúan con nuestros productos en el mundo real es una valiosa fuente para el entrenamiento de modelos. Los datos son abundantes, reflejan la distribución real de las tareas de los usuarios y capturan las correcciones de los usuarios y las fallas de las herramientas que los entornos sintéticos pueden pasar por alto.

Una forma común de aprender de los datos del mundo real es el ajuste por muestreo de rechazo: juzgar el resultado de cada sesión, conservar las exitosas y entrenar al modelo para que las imite. Pero un resultado exitoso no significa que cada paso haya sido correcto, por lo que imitar toda la trayectoria corre el riesgo de reforzar los malos comportamientos intermedios además de los buenos. Descartar las sesiones sin éxito también pierde evidencia fundamental de dónde se queda corto el modelo.

Combinamos el ajuste por muestreo de rechazo con la autodestilación guiada por pistas para aprender de las sesiones exitosas y no exitosas. Una pista es una breve instrucción correctiva basada en información que el modelo ya tenía cuando cometió el error. Los pasos útiles de las sesiones exitosas siguen siendo objetivos de imitación, mientras que las pistas fundamentadas convierten los errores evitables en objetivos de corrección.

Las correcciones de los usuarios y los errores de herramientas añaden supervisión sobre lo que salió mal en el camino, además de si la tarea finalmente tuvo éxito. Aplicamos esta etapa después del aprendizaje por refuerzo en entornos sintéticos para ayudar a cerrar la brecha entre dichos entornos y el uso en el mundo real.

En uso real, un punto de control posterior al entrenamiento de GLM-5.2 redujo las fallas en llamadas a herramientas en un 21.2% en relación con un punto de control entrenado anteriormente. Para GLM-5.3, el entrenamiento posterior redujo las fallas en llamadas a herramientas en un 33.0% y la probabilidad estimada promedio de insatisfacción media o alta del usuario en un 17.2% en relación con el modelo base.

Las tareas sintéticas nos permiten crear problemas controlados con resultados fáciles de verificar, pero por lo general se limitan a un solo mensaje y solo pueden cubrir los escenarios que diseñamos explícitamente.

Por el contrario, los usuarios en sesiones del mundo real aportan diversas instrucciones, contextos y combinaciones de herramientas en sesiones que se desarrollan a lo largo de múltiples turnos de interacción. Dicho uso en el mundo real produce naturalmente dos señales valiosas de errores: las correcciones de los usuarios revelan dónde el agente no entregó lo que querían, y los errores de herramientas muestran dónde sus acciones fallaron en entornos reales. Nuestro canal de muestreo respeta la privacidad y las opciones de entrenamiento de los usuarios al excluir las sesiones con información de identificación personal (PII) y las de los usuarios que han optado por no participar.

Por lo tanto, los datos del mundo real nos brindan casos de falla que un entorno sintético puede no exponer y, a menudo, vienen con el lugar donde ocurrió la falla ya incorporado.

Al entrenar con datos del mundo real, el ajuste por muestreo de rechazo (RFT) estándar selecciona sesiones exitosas basándose en sus resultados finales, sin utilizar explícitamente los comentarios de los usuarios y de las herramientas para distinguir las buenas acciones intermedias de las malas. Un agente puede recuperarse de una llamada de herramienta fallida o corregir un error tras los comentarios de los usuarios y aun así ofrecer la salida correcta al final.

Descartar las sesiones fallidas también limita la eficiencia de las muestras. Una sesión que nunca llega a un buen resultado aún podría revelar un error claro y evitable como señales de entrenamiento útiles.

Abordamos estas limitaciones separando dos decisiones: qué sesiones contienen un comportamiento que vale la pena imitar y qué turnos contienen errores que vale la pena corregir. El canal de datos toma estas decisiones por separado y luego asigna a los turnos del modelo uno de los tres tratamientos:

Imitar: los turnos sin errores en sesiones exitosas reciben la pérdida de entropía cruzada (CE) ordinaria, lo que aumenta la probabilidad de los tokens registrados.
Correcto: tanto en las sesiones exitosas como en las que no tienen éxito, los turnos de error con una pista válida reciben una pérdida de divergencia de Kullback–Leibler (KL), moviendo al modelo hacia las predicciones del siguiente token que realiza cuando ve la pista.
Mantener como contexto: los turnos en sesiones sin éxito que carecen de una pista validada, y los turnos marcados como erróneos sin una pista validada en cualquiera de los tipos de sesión, sirven como contexto pero no reciben ninguna de las pérdidas.

Como resultado, las sesiones exitosas pueden proporcionar objetivos tanto de imitación como de corrección, mientras que las sesiones sin éxito proporcionan solo objetivos de corrección. Todos los turnos restantes, incluidas las salidas del sistema, del usuario y de las herramientas, permanecen como contexto.

Diagrama de enrutamiento de sesiones: las sesiones exitosas proporcionan imitación de CE y correcciones con pistas elegibles; las sesiones sin éxito proporcionan solo correcciones elegibles. — Enrutamiento de sesiones actual y máscaras de contenido del asistente. Las sesiones exitosas contribuyen con objetivos de imitación; los registros de comentarios retenidos pueden contribuir con correcciones con pistas incluso cuando la sesión no tiene éxito. Otro contenido permanece como contexto. Las sesiones incompletas quedan excluidas. La excepción de CE de rendimiento/token de parada no final no se dibuja, y este diagrama no establece la mezcla utilizada por un punto de control anterior.

La parte de imitación utiliza la RFT estándar. La parte correctiva utiliza On-Policy Self-Distillation (OPSD): el mismo modelo actúa como profesor y estudiante, y al profesor se le proporciona información privilegiada. Aquí, esa información privilegiada es una pista corta que explica un error evitable. Entrenamos al estudiante para que coincida con las predicciones del siguiente token del profesor sin recibir la pista.

Ambas partes son importantes. El entrenamiento exclusivo de corrección puede exponer un acceso directo: el profesor y el estudiante pueden coincidir ignorando el contexto en lugar de aprender la corrección. El término CE ancla el entrenamiento a un comportamiento útil, ayudando a desalentar el acuerdo que proviene de ignorar el contexto.

El estudiante postentrenado se convierte entonces en una opción de modelo en Computer. Las sesiones recientes del uso en vivo pasan por los mismos filtros de elegibilidad y privacidad antes de entrar en otra ronda del canal de entrenamiento.

A continuación, analizamos un ejemplo concreto que contiene tanto imitación como corrección.

Considere una sesión que eventualmente sea exitosa en la que el usuario pida una comparación de los cambios de asyncio en Python 3.13 utilizando la documentación oficial. La documentación de nuestra herramienta establece que search.web devuelve una lista de resultados, cada uno con un campo url.

El modelo ejecuta primero una búsqueda válida para una versión como parte de la recopilación de evidencia para la comparación, lo cual es un buen comportamiento para imitar.

Sin embargo, la siguiente llamada de ejecución de código trata incorrectamente esa lista como un diccionario. La herramienta de código devuelve TypeError: list indices must be integers or slices, not str. Debido a que el tipo de retorno se documentó antes de la llamada, es un error que el modelo debería haber podido evitar. Se puede generar una pista con la llamada correcta para corregir esa acción.

Sesión de programación ilustrativa: las entradas del sistema y del usuario y los errores de herramientas siguen siendo contexto; las llamadas de búsqueda y recuperación registradas útiles reciben CE en una sesión exitosa; una búsqueda en lista errónea marcada recibe KL hacia un profesor al que se le proporciona una pista fundamentada. — Una sesión de programación ilustrativa muestra tres roles de entrenamiento: entradas solo de contexto y salidas de herramientas (gris), imitación por CE de llamadas registradas útiles (oscuro) y corrección por KL de un error marcado (verde azulado). Aquí, el modelo trata incorrectamente una lista de resultados de búsqueda como un diccionario; una pista exclusiva del profesor fundamentada en la documentación de herramientas anterior guía la corrección. Los objetivos de CE se aplican solo cuando se considera que la sesión completada fue exitosa, mientras que una sesión sin éxito aún puede proporcionar un objetivo de corrección por KL elegible.

El canal de entrenamiento tiene cuatro etapas: seleccionar sesiones y juzgar sus resultados, identificar errores y crear pistas a partir de los comentarios de los usuarios y los errores de herramientas, generar probabilidades de siguiente token tanto del profesor como del estudiante, y entrenar al modelo con una pérdida combinada de CE y KL.

El canal de muestreo toma un subconjunto elegible para entrenamiento de sesiones reales de Computer atendidas por GLM 5.2. Las exclusiones por desactivación de entrenamiento y las exclusiones relacionadas con PII del canal se aplican antes de seleccionar ejemplos para este flujo de trabajo.

El proceso de filtrado inicial selecciona a los candidatos calificados con 4 o 5 en una escala de dificultad de tareas de cinco puntos por un juez de LLM y los divide en 2 grupos:

El grupo de comentarios de los usuarios contiene sesiones con un seguimiento genuino del usuario o un indicador de insatisfacción de media a alta. Encontramos que estos seguimientos de alta intención son especialmente útiles para el aprendizaje: los usuarios intentan activamente completar una tarea y sus correcciones señalan lo que el modelo pasó por alto.
El grupo de errores de herramientas contiene sesiones con llamadas fallidas marcadas mediante comprobaciones basadas en reglas, excluyendo las fallas de infraestructura reconocidas y la autorización denegada.

Dos jueces de LLM evalúan luego la entrega final en comparación con la solicitud del usuario; ambos jueces deben emitir un veredicto positivo para etiquetar la sesión como "exitosa". En el caso de las interacciones que generan artefactos, la etapa de resultados puede reconstruir e inspeccionar la entrega, recurriendo a sus juicios basados en texto si dicha etapa falla. Se excluyen las sesiones clasificadas como incompletas, como el trabajo en espera del usuario.

Este paso identifica posibles fuentes de señales de aprendizaje; sin embargo, no todos los errores son atribuibles al modelo, ya que algunos surgen de instrucciones ambiguas o fallas de infraestructura. La anotación posterior determina qué errores candidatos son realmente evitables y adecuados para el entrenamiento.

Considere una sesión de muestra en el grupo de comentarios de los usuarios, donde el usuario pregunta: "How do I find my w3 on paychex" (¿Cómo encuentro mi w3 en paychex?). El modelo trata "w3" como un error tipográfico de W-2, busca instrucciones para W-2 y explica cómo encontrar ese formulario. La pregunta de seguimiento del usuario, "I meant the W-3 transmittal form" (Me refería al formulario de transmisión W-3), identifica el error, incluso si la sesión finalmente tiene éxito.

La queja ayuda a ubicar el error, pero la causa raíz es la decisión anterior de reinterpretar "w3" como W-2. La solicitud original hace que el error sea evitable: el modelo podría haber conservado W-3 o pedido aclaraciones. Resulta que el último turno del asistente antes de la queja es la causa raíz solo aproximadamente la mitad de las veces.

Nuestro canal de anotación asigna causa y efecto de manera sistemática dentro de cada sesión de comentarios de los usuarios. El anotador primero filtra en busca de un requisito omitido o una intención respaldada por el contexto anterior. Tres jueces de LLM identifican luego los turnos responsables, exigiendo que al menos dos coincidan en un turno determinado. A veces, una declaración anterior establece explícitamente el requisito. En otros casos, ninguna declaración previa por sí sola lo hace, pero múltiples fragmentos de la conversación precedente hacen que el comportamiento pretendido sea deducible en conjunto. Este diseño les permite conectar una queja con un error raíz anterior en lugar de atribuirla únicamente a la última respuesta.

Antes de aceptar una pista, el canal también comprueba que sus afirmaciones correctivas se deriven de la información disponible antes del turno marcado. Estas pretenden reducir el sesgo de retrospectiva, en el que una nueva preferencia revelada en la queja se trata como algo que el modelo ya debería haber sabido.

En este ejemplo, la pista le dice al modelo que busque el formulario de transmisión W-3 en Paychex en lugar de W-2, o que pregunte a qué formulario se refiere el usuario si la solicitud es ambigua. La corrección se dirige a la interpretación y la decisión de búsqueda anteriores, no solo a la respuesta final. El turno original permanece sin cambios; la anotación añade is_bad_turn: true y un hint no vacío.

Una solicitud de W-3 se malinterpreta como W-2; una queja posterior se rastrea hasta la decisión de búsqueda anterior y se verifica con la evidencia previa. — Una sesión real que muestra cómo se rastrea una queja hasta un error anterior, con el procedimiento de anotación superpuesto. El usuario pidió "w3" en Paychex, pero el modelo lo trató como un error tipográfico de W-2 y buscó el formulario incorrecto. El consenso de los proponentes ubica la causa raíz, mientras que dos verificaciones de fundamentación evalúan si la evidencia es anterior al error y si las afirmaciones de la pista se derivan de la información disponible en ese momento. Las anotaciones aceptadas conservan el texto original y añaden marcas y pistas, en lugar de reescribir los objetivos.

Considere otra sesión en el grupo de errores de herramientas con una llamada de búsqueda en la que el agente busca con recency_filter: "year", pero la herramienta la rechaza porque los valores permitidos son “day,” “week,” o “month”. Esta es una clara violación del esquema.

La ruta de error de herramientas utiliza reglas deterministas para errores conocidos y el juicio del modelo para casos ambiguos. Un mensaje de error por sí solo tampoco es suficiente para culpar al modelo; una corrección evaluada debe señalar algo que el modelo podría haber sabido a partir del esquema de la herramienta, las instrucciones del sistema o la conversación anterior.

Una llamada de búsqueda utiliza el valor no válido recency_filter year; una pista fundamentada instruye al modelo para que utilice un valor de la lista u omita un campo opcional. — El argumento de búsqueda no válido del informe ilustra el procedimiento actual de errores de herramientas. El esquema hace que este error sea evitable; una interrupción por sí sola no lo haría. La llamada original permanece en el registro y recibe una pista fundamentada. La pista permite un valor de la lista o su omisión si el campo es opcional; no requiere "month" para cada solicitud.

Aquí, la pista nombra la llamada fallida, incluye el error de validación e instruye al modelo para que utilice un valor permitido o bien omita el campo si es opcional.

Una vez marcado un turno, el entrenador ejecuta el mismo punto de control dos veces: una como profesor y otra como estudiante. El profesor ve la pista; el estudiante no.

Ambas pasadas utilizan el forzado del profesor, donde alimentamos al modelo con la sesión registrada en lugar de permitirle elegir nuevos tokens. La pasada hacia adelante aún produce una distribución completa del siguiente token en cada paso, pero siempre está condicionada al prefijo fijo de la grabación, no a los tokens de despliegue.

Para el ejemplo de búsqueda, el mismo modelo asigna una probabilidad mucho mayor a "month" y menor a "year" cuando se le proporciona la pista. El entrenamiento utiliza este cambio distribucional como un objetivo flexible.

El mismo modelo puntúa un turno registrado con y sin pista; las probabilidades del profesor desacoplado proporcionan objetivos KL mientras que la CE ancla la imitación. — Dos pasadas, un conjunto de pesos. Ambas pasadas puntúan la continuación registrada; solo el profesor recibe pistas. Sus probabilidades de siguiente token desacopladas guían al estudiante a través de la KL hacia adelante. Los objetivos de CE separados anclan la imitación. Ambas pérdidas alimentan una actualización de peso. Las pistas anteriores pueden permanecer en el segmento actual del profesor; ninguna pasada genera una respuesta de entrenamiento de reemplazo.

Las predicciones del profesor están desacopladas o tienen gradiente detenido: proporcionan un objetivo, pero no reciben una actualización a través de la pasada del profesor. Después de la pasada del estudiante, un paso del optimizador actualiza el modelo compartido.

La pérdida de CE trata los tokens registrados seleccionados para la imitación como objetivos de verdad fundamental y penaliza al modelo por asignarles probabilidades bajas. Esto crea un objetivo de imitación rígido.

En la posición de token $i$ , sea $p_i(v)$ la probabilidad del estudiante del token $v$ en el vocabulario completo $V$ . El siguiente token registrado en la respuesta o llamada a herramienta es $y_i$ , la distribución objetivo one-hot es $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

La entropía cruzada mide qué tan bien predice el estudiante ese token registrado. Con un objetivo one-hot, se reduce a la probabilidad logarítmica negativa asignada a $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

La máscara de CE $m_i^{\mathrm{CE}}$ es $1$ donde el token debe ser imitado y $0$ en caso contrario. La suma sobre las posiciones seleccionadas proporciona la pérdida de imitación.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

En su lugar, la pérdida KL utiliza la distribución de probabilidad completa del siguiente token del profesor $q_i$ como un objetivo de corrección flexible. El contexto del profesor incluye la pista actual y cualquier pista anterior retenida en ese segmento de entrenamiento; el contexto del estudiante siempre carece de pistas.

La máscara de KL $m_i^{\mathrm{KL}}$ es $1$ donde el token debe ser corregido y $0$ en caso contrario; las máscaras de CE y KL no se superponen. En estas posiciones, la KL hacia adelante penaliza el desacuerdo entre el profesor y el estudiante en todo el vocabulario:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Ambos términos comparten un denominador en lugar de normalizarse por separado. Este denominador cuenta el total de tokens seleccionados para la imitación en todo el lote de entrenamiento global. El peso $\lambda$ controla la contribución del entrenamiento correctivo en relación con la imitación.

Esta normalización compartida se ajusta a la interfaz de denominador único de nuestra infraestructura de entrenamiento y recupera la pérdida de SFT estándar cuando $\lambda=0$ , lo que simplifica las comparaciones de referencia. Debido a que los tokens de CE son mucho más abundantes que los tokens de KL, el uso de un denominador compartido también evita dar a los tokens de KL individuales pesos desproporcionadamente grandes en lotes con pocos tokens marcados.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Aplicado a los ejemplos anteriores, los turnos que contienen la confusión W-3/W-2 y la llamada de búsqueda no válida reciben KL. Otro contenido del asistente no marcado en una sesión exitosa aún recibe CE. Otro contenido del asistente en una sesión sin éxito se retiene como contexto, pero no recibe ni CE ni KL.

Nuestras evaluaciones responden a dos preguntas separadas. Primero, ¿ayuda realmente una pista al modelo a corregir un error cuando esta está presente? Segundo, ¿ayuda el entrenamiento a que el modelo evite ese error más adelante, sin la pista? La primera evalúa si las pistas proporcionan señales de entrenamiento útiles. La segunda evalúa si el modelo aprende de ellas.

Probamos la primera pregunta antes de que se ejecute el entrenamiento para asegurarnos de que las pistas puedan desviar efectivamente al modelo de los errores.

Regeneramos los turnos marcados de comentarios de los usuarios con y sin pista, utilizando el mismo modelo base GLM-5.2 a temperatura cero. Un juez ciego ve la queja posterior, pero ni la pista ni la condición que produjo la respuesta.

En el ejemplo de W-3, la pista desplaza la probabilidad del siguiente token hacia "3" y lejos de "2" después del prefijo "W-".

Las probabilidades del siguiente token después de W- se desplazan hacia 3 en lugar de 2 cuando el modelo base sin cambios recibe una pista. — Una pista preserva el formulario W-3 solicitado. Las barras muestran las probabilidades medias del siguiente token en ocho pasadas hacia adelante; los bigotes muestran el rango observado, no un intervalo de confianza. Ambas condiciones utilizan el modelo base sin cambios.

En una muestra reservada mayor de 40 turnos respaldada por evidencia anterior establecida explícitamente, la proporción considerada fija o en buen camino aumenta del 40.0 % sin pista al 75.0 % con ella. En otros 40 turnos respaldados por una intención inferida, aumenta del 32.5 % al 80.0 %.

Validación de pistas: las tasas fijas o en camino aumentan del 40.0 % al 75.0 % para la evidencia explícita y del 32.5 % al 80.0 % para la intención inferida. — Validación de pistas, no evaluación de postentrenamiento. Los mismos 40 turnos marcados en cada grupo de evidencia se regeneran con y sin pista utilizando el GLM-5.2 sin cambios a temperatura cero. El juez ve la queja pero no la pista ni la condición. Los recuentos se derivan de las tasas y tamaños de muestra del informe; no se informan intervalos de confianza.

En el ejemplo de error de la herramienta de búsqueda, una pista efectivamente desplaza la masa de probabilidad del token year al token month.

Una pista desvía las probabilidades del siguiente token del modelo base sin cambios, alejándolas de year y acercándolas al valor permitido month. — Una pista desplaza la probabilidad hacia un valor permitido. Las barras muestran las probabilidades medias del siguiente token en ocho pasadas hacia adelante; los bigotes muestran el rango observado, no un intervalo de confianza. Ambas condiciones utilizan el mismo modelo base; no se compara ningún punto de control entrenado.

En una muestra reservada mayor de 985 turnos, regeneramos cada turno cuatro veces con y sin pista utilizando el mismo modelo base. Un juez ciego evalúa si cada regeneración evita la falla original. Las pistas elevan la evitación de fallas del 75.1 % al 93.7 %, una ganancia combinada de 18.6 puntos porcentuales, y aumentan la proporción que toma la acción corregida del 60.6 % al 82.3 %. Las ganancias son mayores en errores que el muestreo repetido por sí solo tiene dificultades para solucionar.

En 985 turnos reservados con error de herramienta marcado, las pistas elevan la evitación de fallas del 75.1 % al 93.7 % y las tasas de acción corregida del 60.6 % al 82.3 %. — Validación de pistas de error de herramientas en 985 turnos reservados marcados, con cuatro regeneraciones por condición. Las barras muestran las tasas de evitación de fallas y de acción corregida para el modelo base sin cambios, con y sin pistas. Evitar el error objetivo no establece el éxito de la llamada a herramienta o de la tarea.

A continuación, comprobamos si el modelo entrenado comete menos errores sin recibir sugerencias. Evaluamos el modelo estándar y varios puntos de control posentrenados en tareas de referencia sin conexión y en sesiones reales de usuarios, verificando que haya menos fallos de herramientas y menor insatisfacción del usuario.

La evaluación fuera de línea utiliza BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, un conjunto de tareas representativas de Computer, y verifica la carga de Skills, la revisión de documentos y las citas en línea. Medimos la proporción de llamadas a herramientas cuyos resultados se marcan explícitamente como errores en todas las trayectorias de evaluación.

En estas evaluaciones, la tasa de error de herramientas registrada fue del 2.79 % para el GLM 5.2 estándar, del 1.35 % para el punto de control solo de RFT y del 0.87 % para un punto de control de RFT más OPSD. Estos puntos de control se entrenaron con diferentes datos, por lo que esta no es una ablación de datos emparejados de OPSD. Los resultados de los puntos de referencia a nivel de tarea fueron mixtos, por lo que menos errores de herramientas por sí solos no se traducen necesariamente en una mejora amplia en el éxito de las tareas.

Tasas de error de herramientas registradas fuera de línea: 2.79 % para GLM 5.2 estándar, 1.35 % solo para RFT y 0.87 % para RFT más OPSD; los datos de entrenamiento difieren. — Tasas de error de herramientas fuera de línea para los puntos de control de GLM-5.2 estándar, solo RFT y RFT más OPSD. Los datos de entrenamiento difieren entre los puntos de control; esto no es una ablación de datos emparejados.

Para GLM-5.2, ejecutamos dos pruebas A/B independientes con unos cien mil usuarios en cada condición. En la primera, un punto de control temprano de RFT con OPSD (RFT-plus-OPSD) tuvo una tasa de fallas de herramientas ligeramente menor que la del GLM 5.2 estándar (2.82 % frente a 2.94 %), pero la diferencia no fue estadísticamente significativa.

En la prueba posterior, comparamos dos puntos de control de RFT más OPSD: uno anterior (punto de control uno) y uno posterior (punto de control dos). Las fallas en las llamadas a herramientas cayeron del 2.24 % al 1.77 % de las llamadas con un estado registrado. Esta fue una reducción relativa estadísticamente significativa del 21.2 %. No comparamos directamente el punto de control dos con el GLM 5.2 estándar en línea.

Los resultados de los comentarios de los usuarios fueron menos concluyentes. En el segundo experimento con GLM-5.2, la probabilidad promedio de insatisfacción fuerte (media o alta) fue del 2.58 % para el primer punto de control y del 2.54 % para el segundo, sin una diferencia estadísticamente significativa.

Dos pruebas A/B en línea separadas; solo la comparación de puntos de control posteriores presenta una reducción significativa de fallas en las herramientas, sin cambios significativos en la insatisfacción de MID+. — Dos pruebas A/B en vivo independientes con GLM-5.2. El punto de control 1 se compara con el GLM-5.2 estándar; el punto de control 2 se compara con el punto de control 1. Dentro de estas dos pruebas, solo la reducción posterior de fallas de herramientas es estadísticamente significativa. Las tasas de MID+ promedian probabilidades estimadas de insatisfacción media o alta, no recuentos de quejas.

Para GLM-5.3, comparamos un punto de control con entrenamiento posterior directamente con el GLM-5.3 base. Las fallas en llamadas a herramientas cayeron del 3.56% al 2.38% de las llamadas con un estado registrado, lo que representa una reducción relativa del 33.04%. La tasa MID+, es decir, la probabilidad estimada promedio de insatisfacción media o alta, cayó del 4.12% al 3.41%, lo que representa una reducción relativa del 17.2%. Ambas reducciones fueron estadísticamente significativas.

Prueba A/B de GLM-5.3: la tasa de fallas de herramientas cae del 3.56% al 2.38% y la tasa MID+, que es la probabilidad estimada promedio de insatisfacción media o alta, cae del 4.12% al 3.41%. Las reducciones relativas ajustadas por CUPED son del 33.04% y del 17.16%, respectivamente. Ambos intervalos secuenciales del 95% excluyen el cero; la métrica de participación principal no es significativa. — GLM-5.3 con entrenamiento posterior frente a GLM-5.3 base en una prueba A/B en línea separada. Las tasas de fallas de herramientas y MID+, los cambios relativos y los intervalos de confianza secuenciales del 95% utilizan el ajuste CUPED. Ambas reducciones son estadísticamente significativas. Las tasas MID+ corresponden a las probabilidades estimadas promedio de insatisfacción media o alta en los hilos de seguimiento puntuados elegibles, no al recuento de quejas. Las tasas de fallas de herramientas excluyen las llamadas sin un estado de éxito o falla registrado.

La idea central es aprender al nivel de la decisión, no solo de la sesión.

Un resultado exitoso puede ocultar errores, y una sesión sin éxito aún puede revelar cómo mejorar. Mantenemos el comportamiento útil de las sesiones exitosas como un ancla, usamos las quejas y los errores de herramientas para identificar fallas evitables y entrenamos al modelo hacia las predicciones que hace cuando esos errores y correcciones se hacen explícitos. El éxito proporciona un comportamiento que preservar; el fracaso proporciona una dirección para la mejora.

El uso en el mundo real hace que este enfoque sea especialmente útil. Los usuarios reales aportan objetivos, restricciones y flujos de trabajo que son difíciles de anticipar en un entorno sintético. Sus correcciones revelan requisitos que el modelo pasó por alto, mientras que los errores de herramientas exponen las brechas entre lo que el modelo intentó y lo que el entorno permite. Estas señales complementan el entrenamiento basado en resultados: en lugar de preguntar solo si una tarea tuvo éxito, podemos preguntar dónde se equivocó el modelo y qué información podría haberle ayudado a tomar una mejor decisión.

Los límites son igualmente importantes. Los evaluadores pueden equivocarse y corregir un turno no garantiza que toda la tarea tenga éxito. El objetivo no es meramente un agente que se recupere tras una corrección, sino un agente que necesite correcciones con menos frecuencia.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

De los datos sintéticos a los del mundo real

Imitar los buenos pasos, corregir los malos

Un ejemplo: una sesión puede enseñar ambas lecciones

Cómo funciona el entrenamiento

Seleccionar sesiones y luego juzgar el resultado

Encontrar los errores a partir de los comentarios de los usuarios

Encontrar los errores a partir de los errores de herramientas

Dos pasadas hacia adelante

La función de pérdida

La pérdida de CE

Pérdida KL

Pérdida combinada

Lo que muestran las evaluaciones

Las pistas pueden desviar al modelo de los errores

Comentarios de los usuarios

Errores de herramientas

Confiabilidad de las herramientas y comentarios de los usuarios después del entrenamiento

Evaluación fuera de línea

Evaluación en línea: GLM-5.2

Evaluación en línea: GLM-5.3

Conclusión

Citación