Aprendizaxe a partir da experiencia no mundo real

Como interactúan os usuarios cos nosos produtos no mundo real é unha fonte valiosa para o adestramento de modelos. Os datos son abundantes, reflecten a distribución real das tarefas dos usuarios e capturan as correccións dos usuarios e os fallos de ferramentas que os contornos sintéticos poden pasar por alto.

Unha forma común de aprender dos datos do mundo real é o axuste fino de mostraxe de rexeitamento: xulgar o resultado de cada sesión, manter as exitosas e adestrar ao modelo para que as imite. Pero un resultado exitoso non significa que todos os pasos fosen correctos, polo que imitar toda a traxectoria corre o risco de reforzar malos comportamentos intermedios ademais dos bos. Desbotar as sesións sen éxito tamén perde evidencias críticas de onde o modelo se queda curto.

Combinamos o axuste fino mediante a mostraxe de rexeitamento coa autodestilación guiada por pistas para aprender tanto das sesións exitosas coma das fallidas. Unha pista é unha breve instrución correctiva fundamentada na información que o modelo xa tiña cando cometeu o erro. Os pasos útiles das sesións exitosas seguen a ser obxectivos de imitación, mentres que as pistas fundamentadas convirten os erros evitable en obxectivos de correción.

As correccións dos usuarios e os erros de ferramentas engaden supervisión sobre o que foi mal no camiño, ademais de se a tarefa tivo éxito en última instancia. Aplicamos esta etapa despois da aprendizaxe por reforzo en contornos sintéticos para axudar a pechar a brecha entre eses contornos e o uso no mundo real.

No uso en directo, un punto de control posterior ao adestramento de GLM-5.2 reduciu os erros de chamadas a ferramentas nun 21,2% en comparación cun punto de control adestrado anteriormente. Para GLM-5.3, o post-adestramento reduciu os erros de chamadas a ferramentas nun 33,0% e a probabilidade media estimada de insatisfacción do usuario media ou alta nun 17,2% en relación co modelo base.

As tarefas sintéticas permítennos crear problemas controlados con resultados fáciles de verificar, pero normalmente están limitadas a un único aviso e só poden abranguer os escenarios que deseñamos explicitamente.

Pola contra, os usuarios en sesións do mundo real achegan diversas instrucións, contexto e combinacións de ferramentas en sesións que se desenvolven ao longo de múltiples turnos de interacción. Tal uso no mundo real produce de forma natural dous sinais valiosos de erros: as correccións dos usuarios revelan onde o axente non logrou ofrecer o que querían, e os erros de ferramentas mostran onde as súas accións se romperon en contornos reais. O noso pipeline de mostraxe respecta a privacidade dos usuarios e as opcións de adestramento excluíndo as sesións con información de identificación persoal (PII) e de usuarios que optaron por non participar.

Por conseguinte, os datos do mundo real dannos casos de fallos que un contorno sintético pode non expoñer e adoitan vir xa co lugar onde se produciu o fallo integrado.

Cando se adestra con datos do mundo real, o axuste fino de mostraxe de rexeitamento (RFT) estándar selecciona sesións exitosas en función dos seus resultados finais, sen utilizar explicitamente os comentarios de usuarios e ferramentas para distinguir as boas accións intermedias das malas. Un axente pode recuperarse dunha mala chamada de ferramenta ou corrixir un erro despois dos comentarios dos usuarios e aínda así ofrecer a saída correcta ao final.

Desbotar as sesións fallidas tamén limita a eficiencia das mostras. Unha sesión que nunca chega a un bo resultado aínda podería revelar un erro claro e evitable como sinais de adestramento útiles.

Abordamos estas limitacións separando dúas decisións: que sesións conteñen un comportamento que paga a pena imitar e que turnos conteñen erros que paga a pena corrigir. O pipeline de datos toma estas decisións por separado e despois asigna aos turnos do modelo un de tres tratamentos:

Imitar: os turnos sen erros nas sesións exitosas reciben a perda de entropía cruzada (CE) ordinaria, aumentando a probabilidade dos tokens rexistrados.
Corrixir: tanto nas sesións exitosas como nas sen éxito, os turnos de erros cunha pista válida reciben unha perda de diverxencia de Kullback–Leibler (KL), movendo o modelo cara ás predicións do seguinte token que fai cando ve a pista.
Manter como contexto: os turnos en sesións sen éxito que carecen dunha pista validada, e os turnos malos marcados sen unha pista validada en calquera tipo de sesión, serven como contexto pero non reciben ningunha das perdas.

Como resultado, as sesións exitosas poden fornecer tanto obxectivos de imitación como de corrección, mentres que as sesións sen éxito fornecen só obxectivos de corrección. Todos os turnos restantes, incluíndo a saída do sistema, do usuario e da ferramenta, permanecen como contexto.

Diagrama de encamiñamento de sesións: as sesións exitosas fornecen imitación CE e correccións con pistas elixibles; as sesións sen éxito fornecen só correccións elixibles. — Encamiñamento actual de sesións e máscaras de contido do asistente. As sesións exitosas contribúen con obxectivos de imitación; os rexistros de comentarios retidos poden achegar correccións con pistas mesmo cando a sesión non ten éxito. Outro contido permanece como contexto. As sesións incompletas quedan excluídas. A excepción CE de rendemento/token de parada non final non está debuxada, e este diagrama non establece a mestura utilizada por un punto de control anterior.

A parte de imitación utiliza a RFT estándar. A parte correctora utiliza On-Policy Self-Distillation (OPSD): o mesmo modelo actúa como profesor e alumno, recibindo o profesor información privilexiada. Aquí, esa información privilexiada é unha breve pista que explica un erro evitable. Adestramos ao alumno para que coincida coas predicións do seguinte token do profesor sen que se lle entregue a pista.

Ambas as partes importan. O adestramento baseado só en correccións pode expoñer un atallo: o profesor e o alumno poden chegar a un acordo ignorando o contexto en lugar de aprender a corrección. O termo CE ancla o adestramento a un comportamento útil, axudando a desincentivar o acordo que provén de ignorar o contexto.

O alumno post-adestrado convértese entón nunha opción de modelo en Computer. As sesións recentes do uso en directo pasan polos mesmos filtros de elegibilidade e privacidade antes de entrar noutro ciclo do pipeline de adestramento.

A continuación, percorremos un exemplo concreto que contén tanto imitación como corrección.

Considera unha sesión exitosa eventual onde o usuario solicita unha comparación dos cambios de asyncio en Python 3.13 utilizando a documentación oficial. A nosa documentación de ferramentas establece que search.web devolve unha lista de resultados (hits), cada un cun campo url.

O modelo executa primeiro unha busca válida para unha versión como parte da recollida de evidencias para a comparación, o cal é un bo comportamento para imitar.

Con todo, a seguinte chamada de execución de código trata incorrectamente esa lista como un diccionario. A ferramenta de código devolve TypeError: list indices must be integers or slices, not str. Como o tipo de retorno foi documentado antes da chamada, é un erro que o modelo debería ter podido evitar. Pódense xerar unha pista coa chamada correcta para corrixir esa acción.

Sesión de codificación ilustrativa: as entradas do sistema e do usuario e os erros de ferramentas seguen sendo contexto; as chamadas de busca e recuperación útiles rexistradas reciben CE nunha sesión exitosa; unha busca errónea marcada nunha lista recibe KL cara a un profesor ao que se lle deu unha pista fundamentada. — Unha sesión de codificación ilustrativa mostra tres roles de adestramento: entradas só de contexto e saídas de ferramentas (gris), imitación CE de chamadas rexistradas útiles (escura) e corrección KL dun erro marcado (verde azulado). Aquí, o modelo trata incorrectamente unha lista de resultados de busca como un dicionario; unha pista exclusiva do profesor fundamentada na documentación de ferramentas anterior guía a corrección. Os obxectivos CE aplícanse só cando a sesión completada se xulga exitosa, mentres que unha sesión sen éxito aínda pode fornecer un obxectivo de corrección KL elixible.

O pipeline de adestramento ten catro etapas: seleccionar sesións e xulgar os seus resultados, identificar erros e crear pistas a partir dos comentarios dos usuarios e erros de ferramentas, xerar probabilidades do seguinte token tanto do profesor como do alumno, e adestrar o modelo cunha perda combinada de CE e KL.

A canle de mostraxe extrae dun subconxunto elixible para adestramento de sesións reais de Computer servidas por GLM 5.2. As exclusións por desistimento do adestramento e as relacionadas con PII da canle aplícanse antes de seleccionar exemplos para este fluxo de traballo.

O proceso de cribado inicial selecciona os candidatos valorados con 4 ou 5 nunha escala de dificultade de tarefas de cinco puntos por un xuíz de LLM e divídeos en 2 grupos:

O grupo de comentarios dos usuarios contén sesións cun seguimento xenuíno do usuario ou un indicador de insatisfacción media ou alta. Atopamos estes seguimentos de alta intención especialmente útiles para a aprendizaxe: os usuarios están a tentar activamente completar unha tarefa, e as súas correccións sinalan o que o modelo pasou por alto.
O grupo de erros de ferramentas contén sesións con chamadas fallidas sinaladas por comprobacións baseadas en regras, excluíndo fallos de infraestrutura recoñecidos e autorización denegada.

Dous xuíces de LLM avalian entón a entrega final fronte á solicitud do usuario; ambos os xuíces deben emitir un veredicto positivo para etiquetar a sesión como "exitosa". Para os casos que ofrecen artefactos, a fase de resultados pode reconstruír e inspeccionar a entrega, recorrendo aos seus xuízos baseados en texto se esa fase falla. As sesións clasificadas como incompletas, como o traballo á espera do usuario, quedan excluídas.

Este paso identifica posibles fontes de sinais de aprendizaxe; con todo, non todos os erros son atribuíbles ao modelo, xa que algúns xorden de instrucións ambigua ou fallos na infraestrutura. A anotación posterior determina que erros candidatos son realmente evitables e axeitados para o adestramento.

Considera unha sesión de mostra no grupo de comentarios dos usuarios, onde o usuario pregunta: "How do I find my w3 on paychex". O modelo trata "w3" como un erro tipográfico para W-2, busca instrucións sobre W-2 e explica como atopar ese formulario. O seguimento do usuario, "I meant the W-3 transmittal form,", identifica o erro, aínda que a sesión acabe tendo éxito.

A queixa axuda a localizar o erro, pero a causa raíz é a decisión anterior de reinterpretar "w3" como W-2. A solicitude orixinal fai que o erro sexa evitable: o modelo podería ter preservado W-3 ou pedido aclaracións. Resulta que o último turno do asistente antes da queixa é a causa raíz só preto da metade das veces.

O noso pipeline de anotacións mapea a causa e o efecto sistematicamente dentro de cada sesión de comentarios dos usuarios. O anotador primeiro filtra un requisito perdido ou unha intención apoiada polo contexto anterior. Tres xuíces de LLM identifican entón os turnos responsables, esixindo que polo menos dous estean de acordo nun determinado turno. Ás veces, unha declaración anterior establece explicitamente o requisito. Noutros casos, ningunha declaración previa o fai por si só, senón que múltiples pezas da conversa precedente fan conxuntamente que o comportamento pretendido sexa inferible. Este deseño permítelles conectar unha queixa cun erro raíz anterior en vez de atribuíla exclusivamente á última resposta.

Antes de aceptar unha pista, o pipeline tamén comproba que as súas afirmacións correctoras se deriven da información dispoñible antes do turno marcado. Estas comprobacións pretenden reducir o sesgo de retrospectiva, onde unha nova preferencia revelada na queixa se trata como algo que o modelo xa debería saber.

Neste exemplo, a pista dille ao modelo que busque o formulario de transmisión W-3 en Paychex en lugar de W-2, ou que pregunte a que formulario se refire o usuario se a solicitude é ambigua. A corrección ten como obxectivo a interpretación anterior e a decisión de busca, non só a resposta final. O turno orixinal permanece sen cambios; a anotación engade is_bad_turn: true e un hint non baleiro.

Unha solicitude de W-3 interprétase erradamente como W-2; unha queixa posterior rastrease ata a decisión de busca anterior e compárase coa evidencia previa. — Unha sesión real que mostra como se rastrexa unha queixa ata un erro anterior, co procedemento de anotación superposto. O usuario pediu "w3" en Paychex, pero o modelo tratouo como un erro tipográfico para W-2 e buscou o formulario incorrecto. O consenso dos propostas localiza a causa raíz, mentres que dúas comprobacións de fundamentación avalían se a evidencia é anterior ao erro e as afirmacións da pista derívanse da información dispoñible nese momento. As anotacións aceptadas preservan o texto orixinal e engaden marcas e pistas, en lugar de obxectivos reescritos.

Considera outra sesión no grupo de erros de ferramentas cunha chamada de busca onde o axente busca con recency_filter: "year", pero a ferramenta rechátaa porque os valores permitidos son "day", "week" ou "month". Esta é unha clara violación do esquema.

A ruta de erros de ferramentas utiliza regras deterministas para erros coñecidos e o xuízo do modelo para casos ambiciosos. Unha mensaxe de erro por si sa tampouco é suficiente para culpar ao modelo; unha corrección xulgada debe apuntar a algo que o modelo podería saber polo esquema da ferramenta, as instrucións do sistema ou a conversa anterior.

Unha chamada de busca utiliza o valor inválido year de recency_filter; unha pista fundamentada instrue o modelo para que use un valor da lista ou omita un campo opcional. — O argumento de busca inválido do informe ilustra o procedimento actual de erro de ferramentas. O esquema fai que este erro sexa evitable; unha interrupción por si sa non o sería. A chamada orixinal permanece no rexistro e recibe unha pista fundamentada. A pista permite un valor da lista ou a omisión se o campo é opcional; non require "month" para cada solicitude.

Aquí, a pista nomea a chamada fallida, inclúe o erro de validación e instruí ao modelo para que use un valor permitido ou omita o campo se é opcional.

Unha vez marcada unha volta, o adestrador executa o mesmo punto de control dúas veces: unha como profesor e outra como alumno. O profesor ve a pista; o alumno non.

Ambas as pasadas utilizan o forzado do profesor (teacher forcing), onde alimentamos ao modelo coa sesión rexistrada en lugar de deixar que elixa novos tokens. A pasada cara adiante aínda produce unha distribución completa do seguinte token en cada paso, pero sempre está condicionada ao prefixo fixo da gravación, non aos tokens de despregamento (rollout).

Para o exemplo de busca, o mesmo modelo asigna unha probabilidade moito maior a "month" e menor a "year" cando se lle fornece a pista. O adestramento utiliza este cambio distribucional como un obxectivo brando.

O mesmo modelo puntúa un turno rexistrado con e sen pista; as probabilidades do profesor desconectado fornecen obxectivos KL mentres que CE ancla a imitación. — Dúas pasadas, un conxunto de pesos. Ambas as pasadas puntúan a continuación rexistrada; só o profesor recibe pistas. As súas probabilidades do seguinte token desconectadas guían ao alumno a través de KL cara adiante. Os obxectivos CE separados anclan a imitación. Ambas as perdas alimentan unha anovación de peso. As pistas anteriores poden permanecer no segmento actual do profesor; ningunha pasada xera unha resposta de adestramento de substitución.

As predicións do profesor están desconectadas, ou teñen un gradiente detido: fornecen un obxectivo pero non reciben ningunha actualización a través da pasada do profesor. Despois da pasada do alumno, un paso do optimizador anova o modelo compartido.

A perda CE trata os tokens rexistrados seleccionados para a imitación como obxectivos de verdade fundamental (ground-truth) e penaliza o modelo por asignarlles probabilidades baixas. Isto crea un obxectivo de imitación ríxido.

Na posición de token $i$ , sexa $p_i(v)$ a probabilidade do alumno do token $v$ no vocabulario completo $V$ . O seguinte token rexistrado na resposta ou chamada de ferramenta é $y_i$ , a distribución obxectivo one-hot é $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

A entropía cruzada mide o ben que o alumno predí ese token rexistrado. Cun obxectivo one-hot, redúcese á log-probabilidade negativa asignada a $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

A máscara CE $m_i^{\mathrm{CE}}$ é $1$ onde o token debe ser imitado e $0$ en caso contrario. A suma sobre as posicións seleccionadas dá a perda de imitación.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

A perda KL utiliza no seu lugar a distribución de probabilidade completa do seguinte token do profesor $q_i$ como un obxectivo de corrección brando. O contexto do profesor inclúe a pista actual e calquera pista anterior retida nese segmento de adestramento; o contexto do alumno está sempre libre de pistas.

A máscara KL $m_i^{\mathrm{KL}}$ é $1$ onde o token debe ser corrigido e $0$ en caso contrario; as máscaras CE e KL non se superpoñen. Nestas posicións, a KL cara adiante penaliza o desacordo entre o profesor e o alumno en todo o vocabulario:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Ambos os termos compoñen un denominador en lugar de ser normalizados por separado. Este denominador conta o total de tokens seleccionados para a imitación en todo o lote de adestramento global. O peso $\lambda$ controla a contribución do adestramento corrector en relación coa imitación.

Esta normalización compartida axústase á interface de denominador único da nosa infraestrutura de adestramento e recupera a perda SFT estándar cando $\lambda=0$ , simplificando as comparacións de referencia. Como os tokens CE son moito máis abundantes que os tokens KL, utilizar un denominador compartido tamén evita dar aos tokens KL individuais pesos desproporcionadamente grandes en lotes con poucos tokens marcados.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Aplicado aos exemplos anteriores, os turnos que continxan a mestura W-3/W-2 e a chamada de busca inválida reciben KL. Outro contido de asistente sen marcar nunha sesión exitosa aínda recibe CE. Outro contido de asistente nunha sesión sen éxito retense como contexto pero non recibe nin CE nin KL.

As nosas avaliacións responden a dúas preguntas separadas. Primeiro, axuda realmente unha pista a que o modelo corrixa un erro cando a pista está presente? Segundo, axuda o adestramento a que o modelo evite ese erro máis tarde, sen a pista? A primeira proba se as pistas fornecen sinais de adestramento útiles. A segunda proba se o modelo aprende delas.

Probamos a primeira pregunta antes de que se execute o adestramento para garantir que as pistas poden guiar o modelo lonxe dos erros.

Rexeneramos os turnos marcados de comentarios dos usuarios con e sen pista, utilizando o mesmo modelo base GLM-5.2 a temperatura cero. Un xuíza cego ve a queixa posterior, pero nin a pista nin a condición que produciu a resposta.

No exemplo de W-3, a pista despraza a probabilidade do seguinte token cara a "3" e lonxe de "2" despois do prefixo "W-".

As probabilidades do seguinte token despois de W- desprazanse cara a 3 en lugar de 2 cando o modelo base sen modificar recibe unha pista. — Unha pista preserva o formulario W-3 solicitado. As barras mostran as probabilidades medias do seguinte token en oito pasadas cara adiante; os bigotes mostran o rango observado, non un intervalo de confianza. Ambas as condicións utilizan o modelo base sen modificar.

Nunha mostra reservada máis grande de 40 turnos avalada por evidencias anteriores declaradas explicitamente, a proporción xulgada como fixa ou encamiñada sube do 40,0% sen pista ao 75,0% con ela. Noutros 40 turnos avalados pola intención inferida, sube do 32,5% ao 80,0%.

Validación de pistas: as taxas fixas ou encamiñadas aumentan do 40,0% ao 75,0% para a evidencia explícita e do 32,5% ao 80,0% para a intención inferida. — Validación de pistas, non avaliación post-adestramento. Os mesmos 40 turnos marcados en cada grupo de evidencia rexéranse con e sen pista utilizando o GLM-5.2 sen modificar a temperatura cero. O xuíz ve a queixa pero non a pista nin a condición. Os recuentos derívanse das taxas do informe e dos tamaños de mostra; non se informan os intervalos de confianza.

No exemplo de erro da ferramenta de busca, unha pista desprazas de feito a masa de probabilidade do token year ao token month.

Unha pista despraza as probabilidades do seguinte token do modelo base sen modificar lonxe de year e cara ao valor permitido month. — Unha pista despraza a probabilidade cara a un valor permitido. As barras mostran as probabilidades medias do seguinte token en oito pasadas cara adiante; os bigotes mostran o rango observado, non un intervalo de confianza. Ambas as condicións utilizan o mesmo modelo base; non se compara ningún punto de control adestrado.

Nunha mostra reservada máis grande de 985 turnos, rexeneramos cada turno catro veces con e sen pista utilizando o mesmo modelo base. Un xuíza cego avalía se cada rexeneración evita o fallo orixinal. As pistas aumentan a evasión de fallos do 75,1% ao 93,7%, un ganho emparellado de 18,6 puntos porcentuais, e aumentan a proporción que adopta a acción correcta do 60,6% ao 82,3%. Os ganhos son maiores en erros que a mostraxe repetida por si sa ten dificultades para arranxar.

En 985 turnos de erros de ferramentas reservados, as pistas aumentan a evasión de fallos do 75,1% ao 93,7% e as taxas de accións corrigidas do 60,6% ao 82,3%. — Validación de pistas de erros de ferramentas en 985 turnos marcados reservados, con catro rexeneracións por condición. As barras mostran a evasión de fallos e as taxas de accións corrigidas para o modelo base sen modificar, con e sen pistas. Evitar o erro obxectivo non garante o éxito da chamada de ferramenta ou da tarefa.

A continuación, probamos se o modelo adestrado comete menos erros sen recibir pistas. Avaliamos o modelo base e varios puntos de control posadestrados en tarefas de avaliación offline e en sesións reais de usuarios, comprobando se hai menos fallos de ferramentas e menos insatisfacción dos usuarios.

A avaliación fóra de liña utiliza BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, un conxunto representativo de tarefas de Computer, e comproba a carga de habilidades, a revisión de documentos e as citas en liña. Medimos a proporción de chamadas de ferramentas cuxos resultados están marcados explicitamente como erros nas anoxacións de avaliación.

Nestas avaliacións, a taxa de erros de ferramentas rexistrada foi do 2,79% para GLM 5.2 estándar, do 1,35% para o punto de control só con RFT e do 0,87% para un punto de control de RFT máis OPSD. Estes puntos de control foron adestrados en datos diferentes, polo que esta non é unha ablación de datos emparellados de OPSD. Os resultados de referencia a nivel de tarefa foron mixtos, polo que menos erros de ferramentas por si soos non se traducen necesariamente nunha mellora ampla no éxito das tarefas.

Taxas de erros de ferramentas rexistradas fóra de liña: 2,79% para GLM 5.2 estándar, 1,35% para RFT só e 0,87% para RFT máis OPSD; os datos de adestramento diferéncianse. — Taxas de erros de ferramentas fóra de liña para os puntos de control de GLM-5.2 estándar, RFT só e RFT máis OPSD. Os datos de adestramento difiren entre os puntos de control; esta non é unha ablación de datos controlados.

Para GLM-5.2, realizamos dúas probas A/B separadas con preto de cen mil usuarios en cada condición. Na primeira, un punto de control inicial de RFT con OPSD tivo unha taxa de fallos de ferramentas lixeiramente inferior á do GLM 5.2 de serie, un 2,82% fronte ao 2,94%, mais a diferenza non foi estatisticamente significativa.

Na proba posterior, comparamos dous puntos de control de RFT máis OPSD: un anterior (punto de control un) e un posterior (punto de control dous). Os fallos de chamadas de ferramentas caíron do 2,24% ao 1,77% das chamadas cun estado rexistrado. Esta foi unha redución relativa estatisticamente significativa do 21,2%. Non comparamos directamente o punto de control dous con GLM 5.2 estándar en liña.

Os resultados dos comentarios dos usuarios foron menos concluíntes. No segundo experimento con GLM-5.2, a probabilidade media de insatisfacción forte (media ou alta) foi do 2,58% para o primeiro punto de control e do 2,54% para o segundo, sen diferenzas estatisticamente significativas.

Dous probas A/B en liña separadas; só a comparación do punto de control posterior ten unha redución significativa dos fallos de ferramentas, sen cambios significativos na insatisfacción con MID+. — Dúas probas A/B en directo separadas de GLM-5.2. O punto de control 1 compárase co GLM-5.2 de serie; o punto de control 2 compárase co punto de control 1. Destas dúas probas, só a redución posterior de fallos de ferramentas é estatisticamente significativa. As taxas MID+ representan probabilidades medias estimadas de insatisfacción media ou alta, non conteo de queixas.

Para GLM-5.3, comparamos un punto de control post-adestrado directamente co GLM-5.3 base. Os erros de chamadas a ferramentas caíron do 3,56% ao 2,38% das chamadas cun estado rexistrado, o que representa unha redución relativa do 33,04%. A taxa MID+, a probabilidade media estimada de insatisfacción media ou alta, caeu do 4,12% ao 3,41%, o que supón unha redución relativa do 17,2%. Ambas reducións foron estatisticamente significativas.

Proba A/B de GLM-5.3: a taxa de erros de ferramentas cae do 3,56% ao 2,38% e a taxa MID+, a probabilidade media estimada de insatisfacción media ou alta, cae do 4,12% ao 3,41%. As reducións relativas axustadas por CUPED son do 33,04% e do 17,16%, respectivamente. Ambos intervalos secuenciais ao 95% exclúen o cero; a métrica de compromiso principal non é significativa. — GLM-5.3 post-adestrado fronte a GLM-5.3 base nunha proba A/B en liña separada. As taxas de erros de ferramentas e MID+, os cambios relativos e os intervalos de confianza secuenciais ao 95% utilizan o axuste CUPED. Ambas reducións son estatisticamente significativas. As taxas MID+ son probabilidades medias estimadas de insatisfacción media ou alta en fíos de seguimento puntuables elixibles, non contaxes de queixas. As taxas de erros de ferramentas exclúen as chamadas sen un estado de éxito ou erro rexistrado.

A idea central é aprender a nivel da decisión, non só da sesión.

Un resultado exitoso pode ocultar erros, e unha sesión sen éxito aínda pode revelar como mellorar. Mantemos o comportamento útil das sesións exitosas como áncora, utilizamos as queixas e os erros de ferramentas para identificar falhas evitables e adestramos o modelo cara ás predicións que fai cando eses erros e correccións se fan explícitos. O éxito fornece comportamento que preservar; o fallo fornece dirección para a mellora.

O uso no mundo real fai que este enfoque sexa especialmente útil. Os usuarios reais achegan obxectivos, restricións e fluxos de traballo que son difíciles de anticipar nun contorno sintético. As súas correccións revelan requisitos que o modelo pasou por alto, mentres que os erros de ferramentas expoñen fendas entre o que o modelo intentou e o que o contorno permite. Estes sinais complementan o adestramento baseado nos resultados: en vez de preguntar só se unha tarefa tivo éxito, podemos preguntar onde fallou o modelo e que información podería axudalo a tomar unha mellor decisión.

Os límites son igualmente importantes. Os xuíces poden equivocarse, e corrixir unha soa volta non garante que toda a tarefa teña éxito. O obxectivo non é meramente un axente que se recupere despois dunha corrección. É un axente que precisa correccións con menos frecuencia.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

De datos sintéticos a datos do mundo real

Imitar os bos pasos, corrixir os malos

Un exemplo: unha sesión pode ensinar ambas as leccións

Como funciona o adestramento

Seleccionar sesións e despois xulgar o resultado

Atopar os erros a partir dos comentarios dos usuarios

Atopar os erros a partir dos erros de ferramentas

Dúas pasadas cara adiante

A función de perda

A perda CE

Perda KL

Perda combinada

O que mostran as avaliacións

As pistas poden guiar o modelo lonxe dos erros

Comentarios dos usuarios

Erros de ferramentas

Fiabilidade das ferramentas e comentarios dos usuarios despois do adestramento

Avaliación fóra de liña

Avaliación en liña: GLM-5.2

Avaliación en liña: GLM-5.3

Conclusión

Cita