Učenie sa zo skúseností reálneho sveta

To, ako používatelia interagujú s našimi produktmi v reálnom svete, je cenným zdrojom pre tréning modelu. Údaje sú bohaté, odzrkadľujú skutočnú distribúciu úloh používateľov a zachytávajú opravy používateľov a zlyhania nástrojov, ktoré syntetické prostredia môžu prehliadnuť.

Bežným spôsobom, ako sa učiť z údajov reálneho sveta, je jemné doladenie vzorkovaním odmietnutia: posúdiť výsledok každej relácie, ponechať úspešné a trénovať model na ich napodobnenie. Úspešný výsledok však neznamená, že každý krok bol správny, takže napodobnenie celej trajektórie riskuje posilnenie zlých prechodných správaní okrem tých dobrých. Zahodenie neúspešných relácií taktiež stráca kritické dôkazy o tom, kde model zaostáva.

Kombinujeme dolaďovanie vzorkovaním s odmietaním so sebadestiláciou riadenou nápovedou, aby sme sa poučili z úspešných aj neúspešných relácií. Nápoveda je krátka nápravná inštrukcia, ktorá vychádza z informácií, ktoré model mal už v čase, keď urobil chybu. Užitočné kroky z úspešných relácií zostávajú cieľmi imitácie, zatiaľ čo podložené nápovedy menia zbytočné chyby na ciele opravy.

Opravy používateľov a chyby nástrojov pridávajú dohľad o tom, čo sa po ceste pokazilo, okrem toho, či úloha nakoniec uspela. Túto fázu uplatňujeme po spracovaní posilňovaním v syntetických prostrediach, aby sme pomohli preklenúť priepasť medzi týmito prostrediami a použitím v reálnom svete.

Pri reálnom použití znížil neskorší trénovaný kontrolný bod GLM-5.2 zlyhania volania nástrojov o 21,2 % v porovnaní s skorším trénovaným kontrolným bodom. V prípade GLM-5.3 znížilo dodatočné trénovanie zlyhania volania nástrojov o 33,0 % a priemernú odhadovanú pravdepodobnosť strednej až vysokej nespokojnosti používateľov o 17,2 % v porovnaní so základným modelom.

Syntetické úlohy nám umožňujú vytvárať kontrolované problémy s výsledkami, ktoré sa ľahko overujú, ale zvyčajne sú obmedzené na jediný prompt a môžu pokrývať iba scenáre, ktoré explicitne navrhneme.

Naproti tomu používatelia v reláciách reálneho sveta prinášajú rôznorodé pokyny, kontext a kombinácie nástrojov do relácií, ktoré sa odvíjajú počas viacerých otočení interakcie. Takéto použitie v reálnom svete prirodzene prináša dva cenné signály chýb: opravy používateľov odhaľujú, kde agent nedoručil to, čo chceli, a chyby nástrojov ukazujú, kde sa jeho akcie zrútili v reálnych prostrediach. Naše vzorkovacie potrubie rešpektuje súkromie a voľby tréningu používateľov vylúčením relácií s osobnými identifikačnými údajmi (PII) a od používateľov, ktorí sa odhlásili.

Údaje z reálneho sveta nám preto poskytujú prípady zlyhaní, ktoré syntetické prostredie nemusí odhaliť, a často prichádzajú s už zabudovaným miestom, kde k zlyhaniu došlo.

Pri trénovaní na údajoch z reálneho sveta štandardné jemné doladenie vzorkovaním odmietnutia (RFT) vyberá úspešné relácie na základe ich konečných výsledkov bez explicitného použitia spätnej väzby od používateľov a nástrojov na odlíšenie dobrých prechodných akcií od tých zlých. Agent sa môže zotaviť zo zlého volania nástroja alebo opraviť chybu po spätnej väzbe používateľa a napriek tomu nakoniec doručiť správny výstup.

Zahodenie zlyhaných relácií taktiež obmedzuje efektívnosť vzoriek. Relácia, ktorá nikdy nedosiahne dobrý výsledok, môže stále odhaliť jasnú, odstrániteľnú chybu ako užitočné tréningové signály.

Tieto obmedzenia riešime oddelením dvoch rozhodnutí: ktoré relácie obsahujú správanie stojí za napodobnenie a ktoré otočenia obsahujú chyby, ktoré stojí za to opraviť. Dátové potrubie robí tieto rozhodnutia oddelene a potom priraďuje otočeniam modelu jednu z troch liečob:

Napodobniť: otočenia bez chýb v úspešných reláciách dostávajú bežnú stratu krížovej entrópie (CE), čím sa zvyšuje pravdepodobnosť zaznamenaných tokenov.
Správne: v úspešných aj neúspešných reláciách chybové otočenia s platnou nápovedou dostávajú stratu divergencie Kullbacka–Leiblera (KL), čím sa model posúva k predikciám ďalšieho tokenu, ktoré robí, keď vidí nápovedu.
Ponechať ako kontext: otočenia v neúspešných reláciách, ktorým chýba overená nápoveda, a označené zlé otočenia bez overenej nápovedy v oboch typoch relácií slúžia ako kontext, ale nedostávajú žiadnu stratu.

Výsledkom je, že úspešné relácie môžu poskytovať ciele napodobnenia aj korekcie, zatiaľ čo neúspešné relácie poskytujú iba ciele korekcie. Všetky zostávajúce otočenia vrátane systému, používateľa a výstupu nástroja zostávajú ako kontext.

Diagram smerovania relácií: úspešné relácie poskytujú napodobnenie CE a oprávnené nápovedné korekcie; neúspešné relácie poskytujú iba oprávnené korekcie. — Súčasné smerovanie relácií a masky obsahu asistenta. Úspešné relácie prispievajú cieľmi napodobnenia; zachované záznamy spätnej väzby môžu prispieť nápovednými korekciami, aj keď je relácia neúspešná. Ostatný obsah zostáva ako kontext. Neúplné relácie sú vylúčené. Nezverejnená výnimka CE pre výnos/stop-token nie a tento diagram nestanovuje zmes použitú skorším kontrolným bodom.

Napodobňovacia časť využíva štandardný RFT. Korekčná časť využíva On-Policy Self-Distillation (OPSD): rovnaký model pôsobí ako učiteľ a študent, pričom učiteľovi sú poskytnuté privilégiá informácií. Tu sú týmito privilegovanými informáciami krátka nápoveda vysvetľujúca odstrániteľnú chybu. Trénujeme študenta tak, aby sa zhodoval s predikciami ďalšieho tokenu učiteľa bez toho, aby mu bola daná nápoveda.

Oba časti sú dôležité. Tréning zameraný len na korekciu môže odhaliť skratku: učiteľ a študent sa môžu zhodnúť ignorovaním kontextu namiesto učenia sa korekcie. Člen CE kotví tréning k užitočnému správaniu a pomáha odradiť od zhody, ktorá pochádza z ignorovania kontextu.

Následne natrénovaný študent sa potom stáva možnosťou modelu v systéme Computer. Čerstvé relácie zo živého používania prechádzajú rovnakými filtrami spôsobilosti a súkromia predtým, ako vstúpia do ďalšieho kola tréningového potrubia.

Ďalej prejdeme konkrétnym príkladom, ktorý obsahuje napodobnenie aj korekciu.

Zvážte prípadnú úspešnú reláciu, kde používateľ žiada porovnanie zmenách asyncio v Pythone 3.13 pomocou oficiálnej dokumentácie. Naša dokumentácia nástrojov uvádza, že search.web vráti zoznam zásahov, pričom každý má pole url.

Model najskôr spustí platné vyhľadávanie pre jednu verziu ako súčasť zhromažďovania dôkazov na porovnanie, čo je dobré správanie na napodobnenie.

Nasledujúce volanie spúšťania kódu však nesprávne zaobchádza s týmto zoznamom ako so slovníkom. Nástroj kódu vráti TypeError: list indices must be integers or slices, not str. Pretože typ návratu bol dokumentovaný pred volaním, je to chyba, ktorej sa model mal vedieť vyhnúť. Nápoveda so správnym volaním môže byť generovaná na opravu tejto akcie.

Ilustratívna relácia kódovania: systémové a používateľské vstupy a chyby nástrojov zostávajú kontextom; užitočné zaznamenané volania vyhľadávania a obnovy dostávajú CE v úspešnej relácii; označené chybné vyhľadávanie v zozname dostáva KL smerom k učiteľovi, ktorému bola daná podložená nápoveda. — Ilustratívna relácia kódovania ukazuje tri tréningové úlohy: vstupy iba pre kontext a výstupy nástrojov (sivé), napodobnenie CE užitočných zaznamenaných volaní (tmavé) a korekciu KL označenej chyby (modrozelené). Tu model nesprávne zaobchádza so zoznamom výsledkov vyhľadávania ako so slovníkom; nápoveda iba pre učiteľa podložená skoršou dokumentáciou nástrojov vedie opravu. Ciele CE sa uplatňujú iba vtedy, keď je dokončená relácia posúdená ako úspešná, zatiaľ čo neúspešná relácia môže stále poskytnúť oprávnený cieľ korekcie KL.

Tréningové potrubie má štyri fázy: výber relácií a posúdenie ich výsledkov, identifikácia chýb a vytváranie nápovedí zo spätnej väzby používateľa a chýb nástrojov, generovanie pravdepodobností ďalšieho tokenu od učiteľa aj študenta a trénovanie modelu s kombinovanou stratou CE a KL.

Vzorkačovacia pipeline čerpá zo skupiny reálnych relácií Computer spôsobilých na tréning, ktoré sú obsluhované cez GLM 5.2. Vylúčenia z tréningu a vylúčenia súvisiace s PII v rámci pipeline sa uplatnia pred výberom príkladov pre tento pracovný postup.

Počiatočný proces preverovania vyberá kandidátov hodnotených 4 alebo 5 na päťbodovej stupnici náročnosti úlohy hodnotiteľom LLM a rozdeľuje ich do 2 skupín:

Skupina spätnej väzby používateľa obsahuje relácie so skutočným následným krokom používateľa alebo príznakom strednej až vysokej nespokojnosti. Tieto následné kroky s vysokým zámerom považujeme za obzvlášť užitočné na učenie: používatelia sa aktívne snažia dokončiť úlohu a ich opravy presne určujú, čo model prehliadol.
Skupina chýb nástrojov obsahuje relácie so zlyhanými volaniami označenými kontrolami založenými na pravidlách, s výnimkou rozpoznaných zlyhaní infraštruktúry a odmietnutej autorizácie.

Dva hodnotitelia LLM potom posudzujú konečné doručenie vzťahom k požiadavke používateľa; obaja hodnotitelia musia vrátiť kladný verdikt, aby sa relácia označila ako „úspešná“. V prípade prípadov, ktoré poskytujú artefakty, môže fáza výsledku rekonštruovať a skontrolovať doručenie, pričom sa v prípade zlyhania tejto fázy vráti k svojim textovým úsudkom. Relácie klasifikované ako neúplné, napríklad práca čakajúca na používateľa, sú vylúčené.

Tento krok identifikuje potenciálne zdroje tréningových signálov; nie každá chyba je však pripísateľná modelu, pretože niektoré vyplývajú z nejednoznačných pokynov alebo zlyhaní infraštruktúry. Neskoršia anotácia určuje, ktoré kandidátske chyby sú skutočne odstrániteľné a vhodné na tréning.

Zvážte vzorovú reláciu v skupine spätnej väzby používateľa, kde sa používateľ pýta: „How do I find my w3 on paychex“. Model považuje „w3“ za preklep vo W-2, vyhľadá pokyny pre W-2 a vysvetlí, ako daný formulár nájsť. Následná otázka používateľa „I meant the W-3 transmittal form,“ identifikuje chybu, aj keď relácia nakoniec uspeje.

Sťažnosť pomáha lokalizovať chybu, ale hlavnou príčinou je skoršie rozhodnutie reinterpretovať „w3“ ako W-2. Pôvodná požiadavka robí chybu odstrániteľnou: model mohol zachovať W-3 alebo požiadať o objasnenie. Ukazuje sa, že posledné otočenie asistenta pred sťažnosťou je hlavnou príčinou len asi v polovici prípadov.

Naše potrubie anotácií systematicky mapuje príčinu a následok v rámci každej relácie spätnej väzby používateľa. Anotátor najskôr preverí chýbajúcu požiadavku alebo zámer podporený skorším kontextom. Traja hodnotitelia LLM potom identifikujú zodpovedajúce otočenia, pričom vyžadujú, aby sa na danom otočení zhodli aspoň dvaja. Niekedy skoršie vyhlásenie explicitne stanovuje požiadavku. V iných prípadoch to žiadne jednotlivé predchádzajúce vyhlásenie nerobí, ale viacero častí predchádzajúcej konverzácie spoločne umožňuje odvodiť zamýšľané správanie. Tento dizajn im umožňuje prepojiť sťažnosť so skoršou hlavnou chybou namiesto toho, aby ju pripisovali výlučne poslednej odpovedi.

Pred prijatím nápovedy potrubie tiež kontroluje, či jeho nápravné tvrdenia vyplývajú z informácií dostupných pred označeným otočením. Tieto kontroly majú za cieľ obmedziť skreslenie spätného pohľadu, kde sa nová preferencia odhalená v sťažnosti považuje za niečo, čo model mal už vedieť.

V tomto príklade nápoveda hovorí modelu, aby vyhľadal prenosový formulár W-3 na Paychex namiesto W-2, alebo sa opýtal, ktorý formulár používateľ myslí, ak je požiadavka nejednoznačná. Oprava sa zameriava na skoršiu interpretáciu a rozhodnutie o vyhľadávaní, nielen na konečnú odpoveď. Pôvodné otočenie zostáva nezmenené; anotácia pridáva is_bad_turn: true a neprázdnu hint.

Požiadavka W-3 je nesprávne interpretovaná ako W-2; neskoršia sťažnosť je vystopovaná k skoršiemu rozhodnutiu vyhľadávania a skontrolovaná proti predchádzajúcim dôkazom. — Skutočná relácia ukazujúca, ako je sťažnosť vystopovaná späť k skoršej chybe, s prekrývajúcim sa postupom anotácie. Používateľ požiadal o „w3“ na Paychex, ale model to považoval za preklep pre W-2 a vyhľadal nesprávny formulár. Konsenzus navrhovateľov lokalizuje hlavnú príčinu, zatiaľ čo dve kontroly uzemnenia posudzujú, či dôkazy predchádzajú chybe a tvrdenia nápovedy vyplývajú z informácií dostupných v tom bode. Prijaté anotácie zachovávajú pôvodný text a pridávajú značky a nápovedy namiesto prepísaných cieľov.

Zvážte ďalšiu reláciu v skupine chýb nástrojov s volaním vyhľadávania, kde agent vyhľadáva pomocou recency_filter: "year", ale nástroj to odmieta, pretože povolené hodnoty sú „day“, „week“ alebo „month“. Ide o jasné porušenie schémy.

Cesta chýb nástrojov využíva deterministické pravidlá pre známe chyby a úsudok modelu pre nejednoznačné prípady. Samotná chybová správa tiež nestačí na obvinenie modelu; posúdená oprava musí poukazovať na niečo, čo model mohol vedieť zo schémy nástroja, pokynov systému alebo skoršej konverzácie.

Volanie vyhľadávania používa neplatnú hodnotu recency_filter year; podložená nápoveda inštruuje model, aby použil uvedenú hodnotu alebo vynechal voliteľné pole. — Neplatný argument vyhľadávania v správe ilustruje súčasný postup chýb nástrojov. Schéma robí túto chybu odstrániteľnou; samotný výpadok by to neurobil. Pôvodné volanie zostáva v zázname a dostáva podloženú nápovedu. Nápoveda umožňuje uvedenú hodnotu alebo vynechanie, ak je pole voliteľné; nevyžaduje „month“ pre každú požiadavku.

Tu nápoveda uvádza zlyhané volanie, zahŕňa chybu overenia a inštruuje model, aby použil povolenú hodnotu alebo vynechal pole, ak je voliteľné.

Akonáhle je kolo označené, tréner spustí rovnaký kontrolný bod dvakrát: raz ako učiteľ a raz ako študent. Učiteľ vidí nápovedu, študent ju nevidí.

Oba prechody používajú vynútenie učiteľa, kde modelu dodávame zaznamenanú reláciu namiesto toho, aby sme ho nechali vyberať nové tokeny. Dopredný prechod stále produkuje úplnú distribúciu ďalšieho tokenu v každom kroku, ale je vždy podmienený fixnou predponou zo záznamu, nie tokenmi rolloutu.

Pre príklad vyhľadávania ten istý model priraďuje oveľa vyššiu pravdepodobnosť „month“ a menšiu „year“, keď dostane nápovedu. Tréning využíva tento distribučný posun ako mäkký cieľ.

Rovnaký model hodnotí zaznamenané otočenie s nápovedou a bez nej; pravdepodobnosti oddeleného učiteľa dodávajú ciele KL, zatiaľ čo CE kotví napodobnenie. — Dva prechody, jedna sada váh. Oba prechody hodnotia zaznamenané pokračovanie; nápovedy dostáva iba učiteľ. Jeho oddelené pravdepodobnosti ďalšieho tokenu vedú študenta cez dopredné KL. Samostatné ciele CE kotvia napodobnenie. Obidve straty napájajú jednu aktualizáciu váh. Skoršie nápovede môžu zostať v aktuálnom segmente učiteľa; ani jeden prechod nevytvára náhradnú tréningovú odpoveď.

Predikcie učiteľa sú oddelené alebo so zastaveným gradientom: poskytujú cieľ, ale nedostávajú aktualizáciu prostredníctvom prechodu učiteľa. Po prechode študenta jeden krok optimalizátora aktualizuje zdieľaný model.

Strata CE zaobchádza s nahranými tokenmi vybranými na napodobnenie ako s cieľmi základnej pravdy a penalizuje model za priradenie nízkych pravdepodobností. To vytvára tvrdý cieľ napodobnenia.

Na pozícii tokenu $i$ nech $p_i(v)$ je pravdepodobnosť tokenu $v$ študenta v úplnej slovnej zásobe $V$ . Zaznamenaný ďalší token v odpovedi alebo volaní nástroja je $y_i$ , cieľová distribúcia typu one-hot je $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Krížová entrópia meria, ako dobre študent predikuje tento zaznamenaný token. S cieľom one-hot sa redukuje na zápornú log-pravdepodobnosť priradenú k $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

Maska CE $m_i^{\mathrm{CE}}$ je $1$ tam, kde by mal byť token napodobnený, a $0$ inak. Sčítanie cez vybrané pozície poskytuje stratu napodobnenia.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

Stratová funkcia KL namiesto toho využíva úplnú distribučnú pravdepodobnosť ďalšieho tokenu učiteľa $q_i$ ako mäkký cieľ korekcie. Kontext učiteľa zahŕňa aktuálnu nápovedu a akékoľvek skoršie nápovede zachované v tomto tréningovom segmente; kontext študenta je vždy bez nápovedy.

Maska KL $m_i^{\mathrm{KL}}$ je $1$ tam, kde by mal byť token opravený, a $0$ inak; masky CE a KL sa neprerývajú. Na týchto pozíciách dopredné KL penalizuje nezhodu medzi učiteľom a študentom v celej slovnej zásobe:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Oba členy zdieľajú jedného menovateľa namiesto toho, aby boli normalizované oddelene. Tento menovateľ počítajú celkové tokeny vybrané na napodobnenie v rámci globálnej tréningovej dávky. Váha $\lambda$ riadi príspevok korekčného tréningu vzhľadom na napodobnenie.

Táto zdieľaná normalizácia sa hodí k rozhraniu s jedným menovateľom našej tréningovej infraštruktúry a obnovuje štandardnú stratu SFT pri $\lambda=0$ , čo zjednodušuje porovnávanie základných línií. Pretože tokeny CE sú oveľa hojnejšie ako tokeny KL, použitie zdieľaného menovateľa tiež zabraňuje tomu, aby individuálne tokeny KL dostali neúmerne veľké váhy v dávkach s málom označených tokenov.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Aplikované na skoršie príklady, otočenia obsahujúce zámenu W-3/W-2 a neplatné volanie vyhľadávania dostávajú KL. Iný neoznačený obsah asistenta v úspešnej relácii stále dostáva CE. Iný obsah asistenta v neúspešnej relácii sa zachováva ako kontext, ale nedostáva ani CE, ani KL.

Naše hodnotenia odpovedajú na dve samostatné otázky. Po prvé, pomáha nápoveda skutočne modelu opraviť chybu, keď je prítomná? Po druhé, pomáha tréning modelu vyhnúť sa tejto chybe neskôr bez nápovedy? Prvá testuje, či nápovedy poskytujú užitočné tréningové signály. Druhá testuje, či sa z nich model učí.

Prvú otázku testujeme pred spustením tréningu, aby sme sa uistili, že nápovedy dokážu skutočne odviesť model od chýb.

Zregenerovali sme označené otočenia spätnej väzby používateľa s nápovedou aj bez nej, pričom sme použili rovnaký základný model GLM-5.2 pri nulovej teplote. Slepý hodnotiteľ vidí neskoršiu sťažnosť, ale ani nápovedu, ani podmienku, ktorá vytvorila odpoveď.

V príklade W-3 nápoveda posúva pravdepodobnosť ďalšieho tokenu smerom k „3“ a preč od „2“ po predpone „W-“.

Pravdepodobnosti ďalšieho tokenu po W- sa posúvajú smerom k 3 namiesto 2, keď nezmenený základný model dostane nápovedu. — Nápoveda zachováva požadovaný formulár W-3. Stĺpce ukazujú priemerné pravdepodobnosti ďalšieho tokenu v ôsmich dopredných prechodoch; fúzy ukazujú pozorovaný rozsah, nie interval spoľahlivosti. Obidve podmienky používajú nezmenený základný model.

Na väčšej vzorke 40 podržaných otočení podporenej explicitne uvedenými skoršími dôkazmi podiel hodnotený ako opravený alebo na správnej ceste stúpa zo 40,0 % bez nápovedy na 75,0 % s ňou. Na ďalších 40 otočeniach podporených odvodeným zámerom stúpa z 32,5 % na 80,0 %.

Overenie nápovedy: pevné alebo správne miery sa zvyšujú zo 40,0 % na 75,0 % pre explicitné dôkazy a z 32,5 % na 80,0 % pre odvodený zámer. — Overenie nápovedy, nie hodnotenie po tréningu. Tých istých 40 označených otočení v každej skupine dôkazov je zregenerovaných s nápovedou a bez nej pomocou nezmeneného GLM-5.2 pri nulovej teplote. Hodnotiteľ vidí sťažnosť, ale nie nápovedu alebo podmienku. Počty sú odvodené z mier správy a veľkostí vzoriek; intervaly spoľahlivosti nie sú hlásené.

V príklade chyby nástroja vyhľadávania nápoveda skutočne posúva hmotnosť pravdepodobnosti z tokenu year na token month.

Nápoveda posúva pravdepodobnosti ďalšieho tokenu nezmeneného základného modelu preč od year a smerom k povolenej hodnote month. — Nápoveda posúva pravdepodobnosť smerom k povolenej hodnote. Stĺpce ukazujú priemerné pravdepodobnosti ďalšieho tokenu v ôsmich dopredných prechodoch; fúzy ukazujú pozorovaný rozsah, nie interval spoľahlivosti. Obidve podmienky používajú rovnaký základný model; neporovnáva sa žiadny natrénovaný kontrolný bod.

Na väčšej vzorke 985 podržaných otočení regenerujeme každé otočenie štyrikrát s nápovedou a bez nej pomocou rovnakého základného modelu. Slepý hodnotiteľ vyhodnocuje, či každá regenerácia vyhýba pôvodnému zlyhaniu. Nápovedy zvyšujú vyhýbanie sa zlyhaniu zo 75,1 % na 93,7 %, čo je párový nárast o 18,6 percentuálnych bodov, a zvyšujú podiel akcií s opravenou akciou z 60,6 % na 82,3 %. Zisky sú najväčšie pri chybách, ktoré samotné opakované vzorkovanie nedokáže ľahko opraviť.

Na 985 podržaných označených otočeniach chýb nástrojov nápovedy zvyšujú vyhýbanie sa zlyhaniu zo 75,1 % na 93,7 % a miery opravených akcií zo 60,6 % na 82,3 %. — Overenie nápovedy chýb nástrojov na 985 podržaných označených otočeniach so štyrmi regeneráciami na podmienku. Stĺpce ukazujú vyhýbanie sa zlyhaniu a miery opravených akcií pre nezmenený základný model s nápovedami a bez nich. Vyhýbanie sa cieľovej chybe nezakladá úspech volania nástroja ani úlohy.

Ďalej testujeme, či trénovaný model robí menej chýb bez prijímania nápoved. Vyhodnocujeme základný model aj rôzne po natrénované checkpointy na offline benchmarkových úlohách aj v živých reláciách používateľov, pričom sledujeme menej zlyhaní nástrojov a nižšiu mieru nespokojnosti používateľov.

Offline hodnotenie využíva BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, reprezentatívnu sadu úloh systému Computer a kontroluje načítanie Skill, kontrolu dokumentov a vložené citácie. Meriame podiel volaní nástrojov, ktorých výsledky sú explicitne označené ako chyby naprieč trajektóriami hodnotenia.

V týchto hodnoteniach bola zaznamenaná miera chýb nástrojov 2,79 % pre štandardný GLM 5.2, 1,35 % pre kontrolný bod iba pre RFT a 0,87 % pre kontrolný bod RFT plus OPSD. Tieto kontrolné body boli natrénované na rôznych dátach, takže nejde o abláciu OPSD so zhodnými dátami. Výsledky benchmarkov na úrovni úloh boli zmiešané, takže menej chýb nástrojov samo o sebe nutne neprechádza do širokého zlepšenia úspechu úloh.

Offline zaznamenané miery chýb nástrojov: 2,79 % pre štandardný GLM 5.2, 1,35 % pre samotný RFT a 0,87 % pre RFT plus OPSD; tréningové dáta sa líšia. — Offline miery chýb nástrojov pre kontrolné body štandardného GLM-5.2, iba RFT a RFT plus OPSD. Tréningové dáta sa medzi kontrolnými bodmi líšia; nejde o kontrolovanú abláciu.

Pre model GLM-5.2 sme spustili dva samostatné A/B testy s približne stotisíc používateľmi v každej podmienke. V prvom mal skorý kontrolný bod RFT-plus-OPSD o niečo nižšiu mieru zlyhania nástrojov než štandardný model GLM 5.2 (2,82 % oproti 2,94 %), avšak rozdiel nebol štatisticky významný.

V neskoršom teste sme porovnali dva kontrolné body RFT plus OPSD: skorší (kontrolný bod jeden) a neskorší (kontrolný bod dva). Zlyhania volaní nástrojov klesli z 2,24 % na 1,77 % volaní so zaznamenaným stavom. Išlo o štatisticky významné relatívne zníženie o 21,2 %. Kontrolný bod dva sme priamo neporovnávali so štandardným GLM 5.2 online.

Výsledky spätnej väzby od používateľov boli menej jednoznačné. V druhom experimente s modelom GLM-5.2 bola priemerná pravdepodobnosť silnej nespokojnosti (strednej alebo vysokej) 2,58 % pre prvý kontrolný bod a 2,54 % pre druhý kontrolný bod, pričom štatisticky významný rozdiel nezaznamenali.

Dva samostatné online A/B testy; iba neskoršie porovnanie kontrolných bodov má významné zníženie zlyhaní nástrojov bez významnej zmeny nespokojnosti MID+. — Dva samostatné živé A/B testy modelu GLM-5.2. Kontrolný bod 1 sa porovnáva so štandardným modelom GLM-5.2; kontrolný bod 2 sa porovnáva s kontrolným bodom 1. V rámci týchto dvoch testov je štatisticky významné len neskoršie zníženie zlyhaní nástrojov. Mierové sadzby MID+ predstavujú priemerné odhadované pravdepodobnosti strednej až vysokej nespokojnosti, nie počty sťažností.

V prípade GLM-5.3 sme porovnali dodatočne trénovaný kontrolný bod priamo so základným GLM-5.3. Zlyhania volania nástrojov klesli z 3,56 % na 2,38 % volaní so zaznamenaným stavom, čo predstavuje relativne zníženie o 33,04 %. Miera MID+, čo je priemerná odhadovaná pravdepodobnosť strednej až vysokej nespokojnosti, klesla zo 4,12 % na 3,41 %, čo je relatívne zníženie o 17,2 %. Obidva poklesy boli štatisticky významné.

A/B test GLM-5.3: miera zlyhania nástrojov klesá z 3,56 % na 2,38 % a miera MID+, priemerná odhadovaná pravdepodobnosť strednej až vysokej nespokojnosti, klesá zo 4,12 % na 3,41 %. Relatívne zníženia upravené metódou CUPED sú 33,04 %, resp. 17,16 %. Obidva 95 % sériové intervaly vylučujú nulu; primárna metrika angažovanosti nie je významná. — Dodatočne trénovaný model GLM-5.3 verzus základný model GLM-5.3 v samostatnom online A/B teste. Miery zlyhania nástrojov a MID+, relatívne zmeny a 95 % sériové intervaly spoľahlivosti využívajú úpravu CUPED. Obidva poklesy sú štatisticky významné. Miery MID+ sú priemerné odhadované pravdepodobnosti strednej až vysokej nespokojnosti v rámci oprávnených ohodnotených nadväzujúcich vlákien, nie počty sťažností. Miery zlyhania nástrojov nezahŕňajú volania bez zaznamenaného stavu úspechu alebo zlyhania.

Hlavnou myšlienkou je učiť sa na úrovni rozhodnutia, nielen relácie.

Úspešný výsledok môže skrývať chyby a neúspešná relácia môže stále odhaliť, ako sa zlepšiť. Uchovávame užitočné správanie z úspešných relácií ako kotvu, používame sťažnosti a chyby nástrojov na identifikáciu odstrániteľných zlyhaní a trénujeme model smerom k predikciám, ktoré robí, keď sú tieto chyby a opravy urobené explicitnými. Úspech poskytuje správanie na zachovanie; zlyhanie poskytuje smer na zlepšenie.

Použitie v reálnom svete robí tento prístup obzvlášť užitočným. Skutoční používatelia prinášajú góly, obmedzenia a pracovné postupy, ktoré je ťažké predvídať v syntetickom prostredí. Ich opravy odhaľujú požiadavky, ktoré model prehliadol, zatiaľ čo chyby nástrojov odhaľujú medzery medzi tým, o čo sa model pokúsil, a tým, čo prostredie umožňuje. Tieto signály dopĺňajú tréning založený na výsledkoch: namiesto toho, aby sme sa pýtali iba na to, či úloha uspela, môžeme sa spýtať, kde sa model pomýlil a aké informácie mu mohli pomôcť urobiť lepšie rozhodnutie.

Hranice sú rovnako dôležité. Posudzovatelia sa môžu mýliť a oprava jedného kola nezaručuje, že celá úloha bude úspešná. Cieľom nie je len agent, ktorý sa zotaví po oprave. Ide o agenta, ktorý potrebuje opravu menej často.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Od syntetických k reálnym údajom

Napodobnite dobré kroky, opravte tie zlé

Príklad: jedna relácia môže naučiť obe lekcie

Ako tréning funguje

Vyberte relácie, potom posúďte výsledok

Nájdite chyby zo spätnej väzby používateľa

Nájdite chyby z chýb nástrojov

Dva dopredné prechody

Stratová funkcia

Strata CE

Stratová funkcia KL

Kombinovaná strata

Čo ukazujú hodnotenia

Nápovedy dokážu odviesť model od chýb

Spätná väzba od používateľov

Chyby nástrojov

Spoľahlivosť nástrojov a spätná väzba od používateľov po tréningu

Offline hodnotenie

Online vyhodnotenie: GLM-5.2

Online hodnotenie: GLM-5.3

Záver

Citácia