Aprenentatge a partir de l'experiència del món real

Com interactuen els usuaris amb els nostres productes en el món real és una font valuosa per a l’entrenament de models. Les dades són abundants, reflecteixen la distribució real de les tasques dels usuaris i capturen les correccions dels usuaris i les fallades d’eines que els entorns sintètics poden passar per alt.

Una manera comuna d’aprendre de les dades del món real és l’ajust de mostratge de rebuig: jutjar el resultat de cada sessió, quedar-se amb les amb èxit i entrenar el model per imitar-les. Però un resultat ambiciós no significa que cada pas fos correcte, de manera que imitar tota la trajectòria comporta el risc de reforçar els mals comportaments intermedis a més dels bons. Descartar les sessions sense èxit també perd evidència crítica d’on es queda curt el model.

Combinem l'afinació per mostreig de rebuig amb l'autodistil·lació guiada per pistes per aprendre tant de les sessions reeixides com de les no reeixides. Una pista és una instrucció correctora breu basada en informació que el model ja tenia quan va cometre l'error. Els passos útils de les sessions reeixides continuen sent objectius d'imitació, mentre que les pistes basades en dades converteixen els errors evitables en objectius de correcció.

Les correccions dels usuaris i els errors d’eines afegeixen supervisió sobre què ha anat malament pel camí, a més de si la tasca finalment ha tingut èxit. apliquem aquesta etapa després de l’aprenentatge per reforç en entorns sintètics per ajudar a tancar la bretxa entre aquests entorns i l’ús en el món real.

En l'ús en viu, un punt de control GLM-5.2 post-entrenat posterior va reduir les fallades de crides a eines en un 21,2% en relació amb un punt de control entrenat anteriorment. Per a GLM-5.3, el post-entrenament va reduir les fallades de crides a eines en un 33,0% i la probabilitat estimada mitjana d'insatisfacció de l'usuari mitjana o alta en un 17,2% en relació amb el model base.

Les tasques sintètiques ens permeten crear problemes controlats amb resultats fàcils de verificar, però normalment es limiten a un sol missatge i només poden cobrir els escenaris que dissenyem explícitament.

En canvi, els usuaris en sessions del món real aporten diverses instruccions, context i combinacions d’eines en sessions que es desenvolupen al llarg de múltiples girs d’interacció. Aquest ús del món real produeix naturalment dos senyals valuosos d’errors: les correccions dels usuaris revelen on l’agent no ha lliurat el que volien, i els errors d’eines mostren on les seves accions s’han trencat en entorns reals. El nostre pipeline de mostratge respecta la privadesa i les opcions d’entrenament dels usuaris excloent les sessions amb informació d’identificació personal (PII) i d’usuaris que s’han donat de baixa.

Les dades del món real ens donen, per tant, casos de fallada que un entorn sintètic pot no exposar i sovint vénen amb el lloc on es va produir la fallada ja integrat.

Quan s’entrena amb dades del món real, l’ajust de mostratge de rebuig (RFT) estàndard selecciona sessions amb èxit basant-se en els seus resultats finals, sense utilitzar explícitament la retroalimentació d’usuaris i d’eines per distingir les accions intermèdies bones de les dolentes. Un agent pot recuperar-se d’una mala crida d’eina o corregir un error després de la retroalimentació de l’usuari i encara oferir la sortida correcta al final.

Descartar les sessions fallides també limita l’eficiència de la mostra. Una sessió que mai arriba a un bon resultat encara pot revelar un error clar i evitable com a senyals d’entrenament útils.

Abordem aquestes limitacions separant dues decisions: quines sessions contenen un comportament que val la pena imitar i quins girs contenen errors que val la pena corregir. El pipeline de dades pren aquestes decisions per separat i després assigna als girs del model un de tres tractaments:

Imitar: els girs sense error en sessions amb èxit reben la pèrdua d’entropia creuada (CE) estàndard, elevant la probabilitat dels tokens enregistrats.
Correcte: tant en sessions amb èxit com sense èxit, els girs d’error amb una pista vàlida reben una pèrdua de divergència de Kullback–Leibler (KL), movent el model cap a les prediccions del següent token que fa quan veu la pista.
Mantenir com a context: els girs en sessions sense èxit que no tenen una pista validada, i els girs dolents marcats sense una pista validada en qualsevol tipus de sessió, serveixen com a context però no reben cap pèrdua.

Com a resultat, les sessions amb èxit poden subministrar tant objectius d’imitació com de correcció, mentre que les sessions sense èxit subministren només objectius de correcció. Tots els girs restants, inclosa la sortida del sistema, de l’usuari i de l’eina, es mantenen com a context.

Diagrama d’encaminament de sessions: les sessions amb èxit proporcionen imitació CE i correccions indicades elegibles; les sessions sense èxit proporcionen només correccions elegibles. — Encaminament de sessions actual i màscares de contingut d’assistent. Les sessions amb èxit contribueixen a objectius d’imitació; els registres de retroalimentació retinguts poden contribuir a correccions indicades fins i tot quan la sessió no té èxit. Altre contingut es manté com a context. Les sessions incompletes queden excloses. L’excepció CE de rendiment/token d’aturada no final no es dibuixa, i aquest diagrama no estableix la barreja utilitzada per un punt de control anterior.

La part d’imitació utilitza el RFT estàndard. La part correctiva utilitza On-Policy Self-Distillation (OPSD): el mateix model actua com a professor i estudiant, i al professor se li dóna informació privilegiada. Aquí, aquesta informació privilegiada és una pista curta que explica un error evitable. Entrenem l’estudiant perquè coincideixi amb les prediccions del següent token del professor sense que se li lliuri la pista.

Ambdós aspectes importen. L’entrenament només de correcció pot exposar drecera: el professor i l’estudiant poden coincidir ignorant el context en lloc d’aprendre la correcció. El terme CE ancla l’entrenament a un comportament útil, ajudant a desanimar l’acord que prové d’ignorar el context.

L’estudiant postentrenat es converteix llavors en una opció de model a Computer. Les sessions fresques de l’ús en directe passen pels mateixos filtres d’elegibilitat i privadesa abans d’entrar en una altra ronda del pipeline d’entrenament.

A continuació, passem per un exemple concret que conté tant imitació com correcció.

Considereu una sessió eventualment amb èxit on l’usuari demana una comparació de canvis d’asyncio en Python 3.13 utilitzant la documentació oficial. la nostra documentació d’eines estableix que search.web retorna una llista de resultats, cadascun amb un camp url.

El model primer executa una cerca vàlida per a una versió com a part de la recopilació d’evidència per a la comparació, la qual cosa és un bon comportament a imitar.

Tanmateix, la següent crida d’execució de codi tracta incorrectament aquesta llista com un diccionari. L’eina de codi retorna TypeError: list indices must be integers or slices, not str. Com que el tipus de retorn es va documentar abans de la crida, és un error que el model hauria d’haver pogut evitar. Es pot generar una pista amb la crida correcta per corregir aquesta acció.

Sessió de codificació il·lustrativa: l’entrada del sistema i de l’usuari i els errors d’eines romanen com a context; les cerques enregistrades útils i les crides de recuperació reben CE en una sessió amb èxit; una cerca de llista errònia marcada rep KL cap a un professor al qual s’ha donat una pista basada en dades. — Una sessió de codificació il·lustrativa mostra tres rols d’entrenament: entrades només de context i sortides d’eines (gris), imitació CE de crides enregistrades útils (fosc) i correcció KL d’un error marcat (verd blau). Aquí, el model tracta incorrectament una llista de resultats de cerca com un diccionari; una pista només de professor basada en la documentació d’eines anterior guia la correcció. Els objectius CE s’apliquen només quan es jutja que la sessió completada ha tingut èxit, mentre que una sessió sense èxit encara pot subministrar un objectiu de correcció KL elegible.

El pipeline d’entrenament té quatre etapes: seleccionar sessions i jutjar els seus resultats, identificar errors i crear pistes a partir de la retroalimentació d’usuaris i errors d’eines, generar probabilitats del següent token tant del professor com de l’estudiant, i entrenar el model amb una pèrdua combinada CE i KL.

El pipeline de mostreig extreu d’un subconjunt elegible per a entrenament de sessions de Computer del món real servides per GLM 5.2. Les exclusions per desactivació de l’entrenament i les relacionades amb PII del pipeline s’apliquen abans de seleccionar exemples per a aquest flux de treball.

El procés de cribratge inicial selecciona els candidats valorats amb un 4 o 5 en una escala de dificultat de tasca de cinc punts per un jutge LLM i els divideix en 2 grups:

El grup de retroalimentació d’usuari conté sessions amb un seguiment genuïni de l’usuari o un indicator de insatisfacció de mitjana a alta. Trobem aquests seguiments d’alta intenció especialment útils per a l’aprenentatge: els usuaris intenten activament completar una tasca i les seves correccions assenyalen allò que el model s’ha perdut.
El grup d’errors d’eines conté sessions amb crides fallides marcades per comprovacions basades en regles, excloent les fallades d’infraestructura reconegudes i l’autorització denegada.

Dos jutges LLM avaluen llavors el lliurament final en relació amb la sol·licitud de l’usuari; tots dos jutges han de retornar un veredigit positiu per qualificar la sessió com a "èxit". En els casos que produeixen artefactes, l’etapa de resultats pot reconstruir i inspeccionar el lliurament, recorrent a judicis basats en text si aquesta etapa falla. Les sessions classificades com a incompletes, com ara el treball a l’espera de l’usuari, s’exclouen.

Aquest pas identifica possibles fonts de senyals d’aprenentatge; no obstant això, no tots els errors són atribuïbles al model, ja que alguns sorgeixen d’instruccions ambigües o fallades d’infraestructura. L’anotació posterior determina quins errors candidats són realment evitables i adequats per a l’entrenament.

Considereu una sessió de mostratge en el grup de retroalimentació d’usuari, on l’usuari pregunta: "Com puc trobar el meu w3 a paychex". El model tracta "w3" com un error tipogràfic de W-2, cerca instruccions de W-2 i explica com trobar aquest formulari. El seguiment de l’usuari, "Volia dir el formulari de transmissió W-3", identifica l’error, fins i tot si la sessió acaba tenint èxit.

La queixa ajuda a localitzar l’error, però la causa arrel és la decisió anterior de reinterpretar "w3" com a W-2. La sol·licitud original fa que l’error sigui evitable: el model podria haver conservat el W-3 o haver demanat aclariments. Resulta que el darrer gir de l’assistent abans de la queixa és la causa arrel només al voltant de la meitat de les vegades.

El nostre pipeline d’anotació mapeja la causa i l’efecte sistemàticament dins de cada sessió de retroalimentació d’usuari. L’annotador primer filtra per a un requisit perdut o una intenció admesa pel context anterior. Tres jutges LLM identifiquen llavors els girs responsables, exigint que almenys dos coincideixin en un gir determinat. De vegades, una declaració anterior estableix explícitament el requisit. En altres casos, cap declaració prèvia individual ho fa, sinó que múltiples peces de la conversa precedent fan conjuntament que el comportament intentat sigui inferible. Aquest disseny els permet connectar una queixa amb un error arrel anterior en lloc d’atribuir-la exclusivament a la darrera resposta.

Abans d’acceptar una pista, el pipeline també comprova que les seves afirmacions correctives es dedueixin de la informació disponible abans del gir marcat. Aquestes comprovacions pretenen reduir el biaix de retrospectiva, on una nova preferència revelada a la queixa es tracta com quelcom que el model ja hauria d’haver sabut.

En aquest exemple, la pista diu al model que cerqui el formulari de transmissió W-3 a Paychex en lloc de W-2, o que pregunti quin formulari vol dir l’usuari si la sol·licitud és ambigua. La correcció s’adreça a la interpretació i decisió de cerca anteriors, no només a la resposta final. el gir original roman sense canvis; l’anotació afegeix is_bad_turn: true i un hint no buit.

Una sol·licitud W-3 s’interpreta erròniament com a W-2; una queixa posterior es rastreja fins a la decisió de cerca anterior i es comprova amb l’evidència prèvia. — Una sessió real que mostra com es rastreja una queixa fins a un error anterior, amb el procediment d’anotació superposat. L’usuari va demanar "w3" a Paychex, però el model el va tractar com un error tipogràfic per a W-2 i va cercar el formulari equivocat. El consens dels proposants localitza la causa arrel, mentre que dues comprovacions de fonamentació avaluen si l’evidència és anterior a l’error i si les afirmacions de la pista es dedueixen de la informació disponible en aquell moment. Les anotacions acceptades conserven el text original i afegeixen marques i pistes, en lloc de objectius rescrits.

Considereu una altra sessió del grup d’errors d’eines amb una crida de cerca on l’agent cerca amb recency_filter: "year", però l’eina la rebutja perquè els valors permesos són "day", "week" o "month". Això és una violació clara de l’esquema.

El camí d’error d’eines utilitza regles deterministes per a errors coneguts i el judici del model per a casos ambigus. Un missatge d’error sol Tampoc no és suficient per culpar el model; una correcció jutjada ha d’apuntar a alguna cosa que el model podria haver sabut a partir de l’esquema de l’eina, les instruccions del sistema o la conversa anterior.

Una crida de cerca utilitza el valor invàlid recency_filter year; una pista basada en dades instrueix el model a utilitzar un valor llistat o ometre un camp opcional. — L’argument de cerca invàlid de l’informe il·lustra el procediment actual d’error d’eines. L’esquema fa que aquest error sigui evitable; una interrupció sola no ho faria. La crida original es queda al registre i rep una pista basada en dades. La pista permet un valor llistat o l’omissió si el camp és opcional; no requereix "month" per a cada sol·licitud.

Aquí, la pista nomena la crida fallida, inclou l’error de validació i instrueix el model a utilitzar un valor permès o ometre el camp si és opcional.

Un cop marcat un torn, l'entrenador executa el mateix punt de control dues vegades: un cop com a professor i un altre com a estudiant. El professor veu la pista; l'estudiant, no.

Ambdues passades utilitzen el forçament de professors, on alimentem el model amb la sessió registrada en lloc de deixar-lo triar nous tokens. La passada cap endavant encara produeix una distribució completa del següent token a cada pas, però sempre està condicionada al prefix fix del enregistrament, no als tokens de desplegament.

Per a l’exemple de cerca, el mateix model assigna una probabilitat molt més alta a "month" i menys a "year" quan rep la pista. L’entrenament utilitza aquest desplaçament distribucional com a objectiu suau.

El mateix model puntua un gir registrat amb i sense pista; les probabilitats del professor desvinculades subministren objectius KL mentre que CE ancla l’imitació. — Dos passos, un conjunt de pesos. Ambdós passos puntuen la continuació registrada; només el professor rep pistes. Les seves probabilitats del següent token desvinculades guien l’estudiant a través de KL cap endavant. Els objectius CE separats anclen l’imitació. Ambdues pèrdues alimenten una actualització de pesos. Les pistes anteriors poden romandre en el segment actual del professor; cap passada genera una resposta d’entrenament de reemplaçament.

Les prediccions del professor estan desvinculades, o tenen el gradient aturat: subministren un objectiu però no reben cap actualització a través de la passada del professor. Després de la passada de l’estudiant, un pas de l’optimitzador actualitza el model compartit.

La pèrdua CE tracta els tokens enregistrats seleccionats per a l’imitació com a objectius de la veritat del terreny i penalitza el model per assignar-los probabilitats baixes. Això crea un objectiu d’imitació dur.

A la posició del token $i$ , sigui $p_i(v)$ la probabilitat de l’estudiant del token $v$ en el vocabulari complet $V$ . El següent token registrat en la resposta o crida d’eina és $y_i$ , la distribució objectiu one-hot és $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

L’entropia creuada mesura com de bé prediu l’estudiant aquest token registrat. Amb un objectiu one-hot, es redueix a la log-probabilitat negativa assignada a $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

La màscara CE $m_i^{\mathrm{CE}}$ és $1$ on s’ha d’imitar el token i $0$ en cas contrari. Sumar sobre les posicions seleccionades dóna la pèrdua d’imitació.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

La pèrdua KL utilitza en canvi la distribució de probabilitat del següent token completa del professor $q_i$ com a objectiu de correcció suau. El context del professor inclou la pista actual i qualsevol pista anterior retinguda en aquest segment d’entrenament; el context de l’estudiant sempre està lliure de pistes.

La màscara KL $m_i^{\mathrm{KL}}$ és $1$ on el token s’ha de corregir i $0$ en cas contrari; les màscares CE i KL no es superposen. en aquestes posicions, la KL cap endavant penalitza la desacord entre el professor i l’estudiant a través del vocabulari complet:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Tots dos termes comparteixen un denominador en lloc de ser normalitzats per separat. Aquest denominador compta el total de tokens seleccionats per a l’imitació a tot el lot d’entrenament global. El pes $\lambda$ controla la contribució de l’entrenament correctiu en relació amb l’imitació.

Aquesta normalització compartida s’ajusta a la interfície de denominador únic de la nostra infraestructura d’entrenament i recupera la pèrdua SFT estàndard quan $\lambda=0$ , simplificant les comparacions de referència. Com que els tokens CE són molt més abundants que els tokens KL, l’ús d’un denominador compartit també evita donar als tokens KL individuals pesos desproporcionadament grans en lots amb pocs tokens marcats.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Aplicat als exemples anteriors, els girs que contenen la barreja W-3/W-2 i la crida de cerca invàlida reben KL. Altre contingut d’assistent no marcat en una sessió amb èxit encara rep CE. Altre contingut d’assistent en una sessió sense èxit es reté com a context però no rep ni CE ni KL.

Les nostres avaluacions responen a dues preguntes separades. Primer, una pista ajuda realment el model a corregir un error quan la pista està present? Segon, l’entrenament ajuda el model a evitar aquest error més endavant, sense la pista? El primer comprova si les pistes proporcionen senyals d’entrenament útils. El segon comprova si el model aprèn d’elles.

Provem la primera pregunta abans que s’executi l’entrenament per assegurar-nos que les pistes poden guiar realment el model allunyant-lo dels errors.

Hem regenerat els girs de retroalimentació d’usuari marcats amb i sense pista, utilitzant el mateix model base GLM-5.2 a temperatura zero. Un jutge cec veu la queixa posterior, però ni la pista ni quina condició ha produït la resposta.

En l’exemple W-3, la pista desplaça la probabilitat del següent token cap a "3" i lluny de "2" després del prefix "W-".

Les probabilitats del següent token després de W- es desplacen cap a 3 en lloc de 2 quan el model base sense canvis rep una pista. — Una pista preserva el formulari sol·licitat W-3. Les barres mostren les probabilitats mitjanes del següent token en vuit passades cap endavant; els bigotis mostren el rang observat, no un interval de confiança. ambdues condicions utilitzen el model base sense canvis.

En una mostra retinguda de 40 girs més gran recolzada per evidència anterior establerta explícitament, la proporció jutjada fixa o en bon camí puja del 40,0% sense pista al 75,0% amb una. En altres 40 girs recolzats per la intenció inferida, puja del 32,5% al 80,0%.

Validació de pistes: les taxes fixes o en bon camí augmenten del 40,0% al 75,0% per a l’evidència explícita i del 32,5% al 80,0% per a la intenció inferida. — Validació de pistes, no avaluació de postentrenament. Els mateixos 40 girs marcats de cada grup d’evidència es regeneren amb i sense pista utilitzant el GLM-5.2 sense canvis a temperatura zero. El jutge veu la queixa però no la pista o condició. Els recomptes es deriven de les taxes i mides de mostra de l’informe; els intervals de confiança no s’informen.

En l’exemple d’error de l’eina de cerca, una pista desplaça realment la massa de probabilitat del token de l’any al token del mes.

Una pista desplaça les probabilitats del següent token del model base sense canvis lluny de year i cap al valor permès month. — Una pista desplaça la probabilitat cap a un valor permès. Les barres mostren les probabilitats mitjanes del següent token en vuit passades cap endavant; els bigotis mostren el rang observat, no un interval de confiança. Ambdues condicions utilitzen el mateix model base; no es compara cap punt de control entrenat.

En una mostra retinguda de 985 girs més gran, regenerem cada gir quatre vegades amb i sense pista utilitzant el mateix model base. Un jutge cec avalua si cada regeneració evita el fracàs original. Les pistes elevaven l’evitació de fallades del 75,1% al 93,7%, un guany aparellat de 18,6 punts percentuals, i augmenten la proporció que pren l’acció corregida del 60,6% al 82,3%. Els guanys són majors en errors que el mostratge repetit sol té dificultats per solucionar.

En 985 girs d’error d’eines marcats i retinguts, les pistes augmenten l’evitació de fallades del 75,1% al 93,7% i les taxes d’accions corregides del 60,6% al 82,3%. — Validació de pistes d’error d’eines en 985 girs marcats retinguts, amb quatre regeneracions per condició. Les barres mostren l’evitació de fallades i les taxes d’accions corregides per al model base sense canvis, amb i sense pistes. Evitar l’error objectiu no estableix l’èxit de la crida d’eina o de la tasca.

A continuació, provem si el model entrenat comet menys errors sense rebre suggeriments. Avaluem el model estàndard i diversos punts de control postentrenats en tasques de benchmark fora de línia i en sessions d’usuaris en directe, comprovant si hi ha menys errors d’eines i menys insatisfacció dels usuaris.

L’avaluació fora de línia utilitza BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, un conjunt de tasques de Computer representatiu, i comprova la càrrega d’habilitats, la revisió de documents i les citacions en línia. Mesureu la proporció de crides d’eines els resultats de les quals s’etiqueten explícitament com a errors a través de les trajectòries d’avaluació.

En aquestes avaluacions, la taxa d’errors d’eines registrada va ser del 2,79% per al GLM 5.2 de referència, de l’1,35% per al punt de control només RFT i del 0,87% per a un punt de control RFT-més-OPSD. Aquests punts de control es van entrenar amb dades diferents, de manera que això no és una ablació de dades aparellades d’OPSD. Els resultats de referència a nivell de tasca van ser mixts, de manera que menys errors d’eines per si sola no es tradueix necessàriament en una millora àmplia en l’èxit de la tasca.

Taxes d’error d’eines registrades fora de línia: 2,79% per al GLM 5.2 de referència, 1,35% per a només RFT i 0,87% per a RFT més OPSD; les dades d’entrenament difereixen. — Taxes d’error d’eines fora de línia per als punts de control GLM-5.2 de referència, només RFT i RFT-més-OPSD. Les dades d’entrenament difereixen entre els punts de control; això no és una ablació de dades aparellades.

Per a GLM-5.2, vam dur a terme dues proves A/B separades amb prop de cent mil usuaris en cada condició. En la primera, un punt de control inicial de RFT més OPSD va tenir una taxa de fallades d'eines lleugerament inferior a la del GLM 5.2 de referència, un 2,82% enfront d'un 2,94%, però la diferència no va ser estadísticament significativa.

En el test posterior, vam comparar dos punts de control RFT-més-OPSD: un de més antic (punt de control u) i un de més recent (punt de control dos). Les fallades de crides d’eines van baixar del 2,24% a l’1,77% de les crides amb un estat registrat. Això va ser una reducció relativa estadísticament significativa del 21,2%. No vam comparar directament el punt de control dos amb el GLM 5.2 de referència en línia.

Els resultats dels comentaris dels usuaris van ser menys concloents. En el segon experiment de GLM-5.2, la probabilitat mitjana de insatisfacció forta (mitjana o alta) va ser del 2,58% per al punt de control u i del 2,54% per al punt de control dos, sense cap diferència estadísticament significativa.

Dos tests A/B en línia separats; només la comparació de punts de control posteriors té una reducció significativa de fallades d’eines, sense cap canvi significatiu en la insatisfacció MID+. — Dos proves A/B en directe de GLM-5.2 separades. El punt de control 1 es compara amb el GLM-5.2 de referència; el punt de control 2 es compara amb el punt de control 1. D'aquestes dues proves, només la reducció posterior de fallades d'eines és estadísticament significativa. Les taxes MID+ fan referència a probabilitats mitjanes estimades d'insatisfacció mitjana o alta, no a recomptes de queixes.

Per a GLM-5.3, vam comparar un punt de control post-entrenat directament amb el GLM-5.3 base. Les fallades de crides a eines van baixar del 3,56% al 2,38% de les crides amb un estat registrat, una reducció relativa del 33,04%. La taxa MID+, la probabilitat estimada mitjana d'insatisfacció mitjana o alta, va baixar del 4,12% al 3,41%, una reducció relativa del 17,2%. Ambdues reduccions van ser estadísticament significatives.

Prova A/B de GLM-5.3: la taxa de fallades d'eines baixa del 3,56% al 2,38% i la taxa MID+, la probabilitat estimada mitjana d'insatisfacció mitjana o alta, baixa del 4,12% al 3,41%. Les reduccions relatives ajustades per CUPED són del 33,04% i el 17,16%, respectivament. Ambdós intervals seqüencials del 95% exclouen el zero; la mètrica d'interacció principal no és significativa. — GLM-5.3 post-entrenat enfront de GLM-5.3 base en una prova A/B en línia separada. Les taxes de fallades d'eines i MID+, els canvis relatius i els intervals de confiança seqüencials del 95% utilitzen l'ajust CUPED. Ambdues reduccions són estadísticament significatives. Les taxes MID+ fan referència a probabilitats estimades mitjanes d'insatisfacció mitjana o alta en fils de seguiment puntuats elegibles, no a recomptes de queixes. Les taxes de fallades d'eines exclouen les crides sense un estat d'èxit o fallada registrat.

La idea central és aprendre al nivell de la decisió, no només de la sessió.

Un resultat reeixit pot amagar errors, i una sessió sense èxit encara pot revelar com millorar. Mantenim el comportament útil de les sessions amb èxit com a àncora, utilitzem les queixes i els errors d’eines per identificar fallades evitables, i entrenem el model cap a les prediccions que fa quan aquests errors i correccions es fan explícits. L’èxit proporciona comportament per preservar; el fracàs proporciona direcció per a la millora.

L’ús en el món real fa que aquest enfocament sigui especialment útil. Els usuaris reals aporten objectius, restriccions i fluxos de treball que són difícils d’anticipar en un entorn sintètic. Les seves correccions revelen requisits que el model s’ha perdut, mentre que els errors d’eines exposem les bretxes entre el que el model ha intentat i el que l’entorn permet. Aquests senyals complementen l’entrenament basat en resultats: en lloc de preguntar només si una tasca ha tingut èxit, podem preguntar on s’ha equivocat el model i quina informació podria haver-lo ajudat a prendre una decisió millor.

Els límits són igualment importants. Els jutges es poden equivocar, i corregir un torn no garanteix que tota la tasca reeixeixi. L'objectiu no és merament un agent que es recupera després d'una correcció. És un agent que necessita correccions amb menys freqüència.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

De dades sintètiques a dades del món real

Imitar els bons passos, corregir els dolents

Un exemple: una sessió pot ensenyar totes dues lliçons

Com funciona l’entrenament

Seleccionar sessions, després jutjar el resultat

Trobar els errors a partir de la retroalimentació de l’usuari

Trobar els errors a partir dels errors d’eines

Dos passos endavant

La funció de pèrdua

La pèrdua CE

Pèrdua KL

Pèrdua combinada

El que mostren les avaluacions

Les pistes poden guiar el model allunyant-lo dels errors

Retroalimentació d’usuari

Errors d’eines

Fiabilitat de les eines i comentaris dels usuaris després de l'entrenament

Avaluació fora de línia

Avaluació en línia: GLM-5.2

Avaluació en línia: GLM-5.3

Conclusió

Citació