Õppimine reaalsetest kogemustest

See, kuidas kasutajad meie toodetega reaalses maailmas suhtlevad, on väärtuslik allikas mudelite treenimiseks. Andmeid on rohkesti, need peegeldavad kasutajaülesannete tegelikku jaotust ning hõlmavad kasutajate parandusi ja tööriistade tõrkeid, mida sünteetilised keskkonnad võivad kahe silma vahele jätta.

Levinud viis reaalse maailma andmetest õppimiseks on tagasilükkamise valimiga peenhäälestus: hinnake iga seansi tulemust, säilitage õnnestunud seansid ja treenige mudelit neid jäljendama. Kuid õnnestunud tulemus ei tähenda, et iga samm oli õige, seega kogu trajektoori jäljendamine seab ohtu halbade vahepealsete käitumiste tugevdamise heade kõrval. Ebaõnnestunud seansside kõrvaldamine kaotab ka kriitilised tõendid selle kohta, kus mudel alla jääb.

Ühendame tagasilükkamise valikulise peenhäälestuse (rejection sampling fine-tuning) vihjepõhise enesedestillatsiooniga, et õppida nii edukatest kui ka ebaõnnestunud seanssidest. Vihje on lühike parandusjuhis, mis põhineb teabel, mis mudelil vea tegemise ajal juba olemas oli. Edukate seansside kasulikud sammud jäävad jäljendamise sihtmärkideks, samas kui põhjendatud vihjed muudavad välditavad vead parandamise sihtmärkideks.

Kasutajate parandused ja tööriistade vead lisavad järelevalvet selle kohta, mis tee peal valesti läks, lisaks sellele, kas ülesanne lõpuks õnnestus. Rakendame seda etappi pärast tugevdusõpet sünteetilistes keskkondades, et aidata vähendada lõhet nende keskkondade ja reaalse maailma kasutuse vahel.

Reaalses kasutuses vähendas hilisem treeningujärgne GLM-5.2 kontrollpunkt tööriistakutsete tõrkeid 21,2% võrreldes varasema treenitud kontrollpunktiga. Mudeli GLM-5.3 puhul vähendas treeningujärgne õpe tööriistakutsete tõrkeid 33,0% ja keskmist hinnangulist keskmise või kõrge kasutajate rahulolematuse tõenäosust 17,2% võrreldes baasmudeliga.

Sünteetilised ülesanded võimaldavad meil luua kontrollitud probleeme, mille tulemusi on lihtne kontrollida, kuid need piirduvad tavaliselt üheainsa vihjega ja saavad hõlmata ainult stsenaariume, mida me ise selgesõnaliselt kavandame.

Seevastu reaalsete seansside kasutajad toovad seanssidesse mitmekesiseid juhiseid, konteksti ja tööriistade kombinatsioone, mis rulluvad lahti mitme interaktsioonipöörde jooksul. Selline tegeliku maailma kasutus toob loomulikult esile kaks väärtuslikku veasignaali: kasutaja parandused paljastavad, kus agent ei suutnud tarnida seda, mida nad soovisid, ja tööriista vead näitavad, kus selle toimingud reaalsetes keskkondades nurjusid. Meie valimitoru austab kasutajate privaatsust ja treeningvalikuid, välistades isikut tuvastavat teavet (PII) sisaldavad seansid ning loobunud kasutajate seansid.

Reaalse maailma andmed pakuvad seetõttu tõrkejuhtumeid, mida sünteetiline keskkond ei pruugi esile tuua, ning sisaldavad sageli juba eelnevalt teavet selle kohta, kus tõrge ilmnes.

Reaalse maailma andmetega treenimisel valib standardne tagasilükkamise valimiga peenhäälestus (RFT) õnnestunud seansid nende lõplike tulemuste põhjal, kasutamata selgesõnaliselt kasutaja ja tööriista tagasisidet heade vahepealsete tegevuste eristamiseks halbadest. Agent võib halvast tööriistakõnest taastuda või pärast kasutaja tagasisidet vea parandada ja ikkagi lõpus õige väljundi toimetada.

Ebaõnnestunud seansside kõrvaldamine piirab ka valimi tõhusust. Seanss, mis ei jõua kunagi hea tulemuseni, võib siiski paljastada selge ja vlditava vea kasuliku treeningtulemusena.

Käsitleme neid piiranguid, eraldades kaks otsust: millised seansid sisaldavad jäljendamist väärt käitumist ja millised pöörded sisaldavad parandamist väärivaid vigu. Andmetoru teeb need otsused eraldi ja määrab seejärel mudeli pööretele ühe kolmest töötlemisviisist:

Jäljendage: õnnestunud seansside veata pöörded saavad tavapärase ristentroopia (CE) kao, mis tõstab salvestatud märkide tõenäosust.
Parandus: nii õnnestunud kui ka ebaõnnestunud seanssides saavad kehtiva vihjega veapöörded Kullbacki–Leibleri (KL) lahknemise kao, mis viib mudeli lähemale järgmise toodeni jõudmise ennustustele, mida see teeb vihjet nähes.
Säilita kontekstina: ebaõnnestunud seansside pöörded, millel puudub valideeritud vihje, ja märgitud halvad pöörded ilma valideeritud vihjeta kummaski seansitüübis, toimivad kontekstina, kuid ei saa kumbagi kadu.

Selle tulemusena saavad õnnestunud seansid pakkuda nii jäljendamise kui ka parandamise sihtmärke, samas kui ebaõnnestunud seansid pakuvad ainult parandamise sihtmärke. Kõik ülejäänud pöördeid, sealhulgas süsteemi, kasutaja ja tööriista väljundid, jäävad kontekstiks.

Seansside suunamise diagramm: õnnestunud seansid pakuvad CE-jäljendust ja sobivaid vihjega parandusi; ebaõnnestunud seansid pakuvad ainult sobivaid parandusi. — Praegune seansside suunamine ja assistendi sisu maskid. Õnnestunud seansid annavad jäljendamise sihtmärke; säilitatud tagasiside kirjed võivad anda vihjega parandusi isegi siis, kui seanss ebaõnnestub. Muu sisu jääb kontekstiks. Mittetäielikud seansid jäetakse välja. Lõppematu tootluse/peatamismärgi CE erandit ei joonistata ja see diagramm ei kehtesta varasema kontrollpunkti kasutatud segu.

Jäljendamisosa kasutab standardset RFT-d. Parandusosa kasutab On-Policy Self-Distillation (OPSD) (Oma-poliitika enesedestillatsiooni): sama mudel toimib õpetaja ja õpilasena, kusjuures õpetajale antakse privilegeeritud teave. Siin on selleks privilegeeritud teabeks lühike vihje, mis selgitab välditavat viga. Treenime õpilast sobitama õpetaja järgmise toodeni jõudmise ennustusi ilma vihjet kätte andmata.

Mõlemad osad on olulised. Ainult parandustele suunatud treening võib paljastada otsetee: õpetaja ja õpilane võivad nõustuda konteksti eiramise, mitte paranduse õppimise teel. CE-liige ankurdab treeningu kasulikule käitumisele, aidates heidutada nõustumist, mis tuleneb konteksti eiramisest.

Järelkoolitatud õpilasest saab seejärel Computer mudeli valik. Värsked seansid reaalajas kasutamisest läbivad enne treeningtoru teise ringi sisenemist samad sobivuse ja privaatsuse filtrid.

Järgmisena vaatame läbi konkreetse näite, mis sisaldab nii jäljendamist kui ka parandamist.

Vaadelgem lõpuks õnnestunud seanssi, kus kasutaja küsib ametliku dokumentatsiooni abil asyncio muudatuste võrdlust Python 3.13-s. Meie tööriista dokumentatsioon väidab, et search.web tagastab tabamuste loendi, millest igaühel on url-väli.

Mudel käivitab esmalt kehtiva otsingu ühe versiooni jaoks osana võrdluse jaoks tõendite kogumisest, mis on jäljendamist väärt hea käitumine.

Kuid järgmine koodi täitmise kõne kohtleb seda loendit valesti sõnastikuna. Kooditööriist tagastab TypeError: list indices must be integers or slices, not str. Kuna tagastus tüüp dokumenteeriti enne kõnet, on tegemist veaga, mida mudel oleks pidanud saama vältida. Selle tegevuse parandamiseks saab luua õige kõnega vihje.

Illustreeriv kodeerimisseanss: süsteemi ja kasutaja sisend ning tööriista vead jäävad kontekstiks; kasulikud salvestatud otsingu- ja taastekõned saavad CE õnnestunud seansis; märgitud vigane loendi otsing saab KL õpetaja poole, kellele anti põhjendatud vihje. — Illustreeriv kodeerimisseanss näitab kolme treeningrolli: ainult konteksti sisendid ja tööriista väljundid (hall), kasulike salvestatud kõnede CE-jäljendus (tume) ja märgitud vea KL-parandus (türkiissinine). Siin kohtleb mudel otsingutulemuste loendit valesti sõnastikuna; parandust juhendab varasemal tööriista dokumentatsioonil põhinev ainult õpetaja vihje. CE sihtmärgid kehtivad ainult siis, kui lõpetatud seanss loetakse õnnestunuks, samas kui ebaõnnestunud seanss võib siiski pakkuda sobivat KL parandamise sihtmärki.

Treeningtorul on neli etappi: valige seansid ja hinnake nende tulemusi, tuvastage vead ja looge kasutaja tagasisidest ja tööriistavigadest vihjeid, genereerige järgmise toodeni jõudmise tõenäosused nii õpetajalt kui ka õpilaselt ning treenige mudelit kombineeritud CE- ja KL-kaoga.

Valiku torujuhe kasutab GLM 5.2 teenindatud pärismaailma Computeri seansside koolituskõlblikust alamhulgast võetud andmeid. Enne selle töövoo jaoks näidete valimist rakendatakse koolitusest loobumisi ja torujuhtme PII-ga seotud välistusi.

Esialgne sõeluuring valib kandidaadid, mida LLM-i hindaja hindab viieastmelisel ülesande keerukuse skaalal hindega 4 või 5, ja jagab need 2 rühma:

Kasutaja tagasiside grupp sisaldab seansse, millel on tõeline kasutaja järelpärimine või keskmise kuni kõrge rahulolematuse lipp. Peame neid kõrge kavatsusega järelpärimisi õppimisel eriti kasulikuks: kasutajad püüavad aktiivselt ülesannet lõpule viia ja nende parandused täpsustavad, mis mudelil kahe silma vahele jäi.
Tööriistavigade grupp sisaldab seansse, millel on reeglipõhiste kontrollidega märgistatud ebaõnnestunud kõned, välja arvatud tunnustatud taristutõrked ja tagasi lükatud autoriseerimine.

Kaks LLM-põhist hindajat hindavad seejärel lõpptulemust vastavalt kasutaja päringule; mõlemad hindajad peavad andma positiivse otsuse, et seanss klassifitseeritaks „õnnestunuks“. Artefakte edastavate juhtumite puhul saab tulemusfaas edastust taastada ja kontrollida, langedes selle ebaõnnestumisel tagasi tekstipõhiste hinnangute juurde. Mittetäielikeks klassifitseeritud seansid, näiteks kasutajat ootav töö, jäetakse välja.

See samm tuvastab õppematerjali potentsiaalsed allikad; siiski ei ole iga viga mudelile omistatav, kuna mõned tulenevad ebaselgetest juhistest või taristutõrgetest. Hilisem märgistus määrab, millised potentsiaalsed vead on tegelikult välditavad ja treenimiseks sobivad.

Vaadelgem näidisseanssi kasutaja tagasiside grupis, kus kasutaja küsib: „How do I find my w3 on paychex“. Mudel käsitleb kirjaviga „w3“ kujul W-2, otsib W-2 juhiseid ja selgitab, kuidas seda vormi leida. Kasutaja järelpärimine „I meant the W-3 transmittal form,“ tuvastab vea, isegi kui seanss lõppkokkuvõttes õnnestub.

Kaebus aitab viga leida, kuid algpõhjus on varasem otsus tõlgendada „w3“ ümber W-2-ks. Algne päring muudab vea vlditavaks: mudel oleks võinud säilitada W-3 või küsida selgitust. Tuleb välja, et viimane assistendi pöörde enne kaebust on algpõhjuseks vaid umbes pooltel juhtudest.

Meie märgistustoru kaardistab põhjusliku seose süstemaatiliselt igas kasutaja tagasiside seansis. Hindaja otsib esmalt vahele jäänud nõuet või varasema kontekstiga toetatud kavatsust. Seejärel tuvastavad kolm LLM-hindajat vastutavad pöörded, nõudes, et antud pöörde osas nõustuks vähemalt kaks. Mõnikord kehtestab varasem avaldus nõude selgesõnaliselt. Muudel juhtudel ei tee seda ükski varasem avaldus eraldi, kuid eelmise vestluse mitu osa koos muudavad kavandatud käitumise tuletatavaks. See disain võimaldab neil ühendada kaebuse varasema algveaga, selle asemel et omistada see ainult viimasele vastusele.

Enne vihje vastuvõtmist kontrollib toru ka seda, kas selle parandavad väited tulenevad teabest, mis oli saadaval enne märgitud pööret. Nende kontrollide eesmärk on vähendada tagantjärele tarkuse eelarvamust, kus kaebuses ilmnenud uut eelistust käsitletakse millegina, mida mudel oleks pidanud juba teadma.

Selles näites käsib vihje mudelil otsida Paychexilt W-2 asemel W-3 edastusvormi või küsida, millist vormi kasutaja mõtleb, kui päring on ebaselge. Parandus on suunatud varasemale tõlgendusele ja otsinguotsusele, mitte ainult lõplikule vastusele. Algne pööre jääb muutmata; märgistus lisab is_bad_turn: true ja mittetühja hint.

W-3 päring tõlgendatakse valesti W-2-ks; hilisemat kaebust jälgitakse varasema otsinguotsuseni ja kontrollitakse varasemate tõendite suhtes. — Reaalne seanss, mis näitab, kuidas kaebus on jälgitav tagasi varasema veani, koos peale asetatud märgistusprotseduuriga. Kasutaja küsis Paychexil „w3“, kuid mudel kohtles seda kui kirjaviga W-2 jaoks ja otsis valet vormi. Pakkuja konsensus leiab algpõhjuse, samas kui kaks maanduskontrolli hindavad, kas tõendid eelnevad veale ja kas vihje väited tulenevad teabest, mis oli sel hetkel saadaval. Aktsepteeritud märgistused säilitavad algse teksti ning lisavad märke ja vihjeid ülekirjutatud sihtmärkide asemel.

Vaatleme teist seanssi tööriistavigade grupis otsingukõnega, kus agent otsib parameetriga recency_filter: "year", kuid tööriist lükkab selle tagasi, kuna lubatud väärtused on „day“, „week“ või „month“. See on selge skeemi rikkumine.

Tööriistavea tee kasutab teadaolevate vigade jaoks deterministlikke reegleid ja ebaselgete juhtumite jaoks mudeli otsustust. Pelgalt veateatest ei piisa ka mudeli süüdistamiseks; hinnatud parandus peab viitama millelegi, mida mudel oleks võinud teada tööriista skeemist, süsteemijuhistest või varasemast vestlusest.

Otsingukõne kasutab kehtetut väärtust year parameetris recency_filter; põhjendatud vihje juhendab mudelit kasutama loendis olevat väärtust või jätma valikulise välja vahele. — Aruande kehtetu otsingu argument illustreerib praegust tööriistavigade protseduuri. Skeem muudab selle vea vlditavaks; pelgalt katkestus seda ei teeks. Algne kõne jääb kirjesse ja saab põhjendatud vihje. Vihje võimaldab loetletud väärtust või väljajätmist, kui väli on valikuline; see ei nõua iga päringu puhul sõna „month“.

Siin nimetab vihje ebaõnnestunud kõnet, sisaldab valideerimisviga ja juhendab mudelit kasutama lubatud väärtust või jätma välja vahele, kui see on valikuline.

Kui voor on märgitud, käivitab treener sama kontrollpunkti kaks korda: ühe korra õpetajana ja teise korra õpilasena. Õpetaja näeb vihjet; õpilane mitte.

Mõlemad läbimised kasutavad õpetajapoolset sundi, kus me toidame mudelile salvestatud seanssi, selle asemel et lasta sellel uusi märke valida. Edasisuunaline läbimine toodab igas etapis endiselt täieliku järgmise toodeni jõudmise jaotuse, kuid see on alati tingimuslikult seotud salvestise fikseeritud eesliitega, mitte rullimise märkidega.

Otsingu näites määrab sama mudel vihje saamisel palju suurema tõenäosuse sõnale „month“ ja väiksema sõnale „year“. Treening kasutab seda jaotuse nihet pehme sihtmärgina.

Sama mudel hindab sisselogitud pööret vihjega ja vihjeta; eraldatud õpetaja tõenäosused pakuvad KL sihtmärke, samas kui CE ankurdab jäljendamist. — Kaks läbimist, üks kaalude komplekt. Mõlemad läbimised hindavad sisselogitud jätkamist; ainult õpetaja saab vihjeid. Selle eraldatud järgmise toodeni jõudmise tõenäosused juhendavad õpilast edasisuunalise KL kaudu. Eraldatud CE sihtmärgid ankurdavad jäljendamist. Mõlemad kaod toidavad ühte kaaluuuendust. Varasemad vihjed võivad jääda õpetaja praegusesse segmenti; kumbki läbimine ei genereeri asendustreeningu vastust.

Õpetaja ennustused on eraldatud ehk gradienti peatavad: need pakuvad sihtmärki, kuid ei saa õpetajafaasis uuendust. Pärast õpilase faasi uuendab jagatud mudelit üks optimeerija samm.

CE-kadu käsitleb jäljendamiseks valitud salvestatud märke tõeallika sihtmärkidena ja karistab mudelit nende madalate tõenäosuste määramise eest. See loob range jäljendamise sihtmärgi.

Olgu märkide asukohas $i$ õpilase tõenäosus märgile $p_i(v)$ täielikus sõnavaras $v$ $V$ . Salvestatud järgmine märk vastuses või tööriistakõnes on $y_i$ , ühega kuumutatud sihtjaotus on $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Ristentroopia mõõdab, kui hästi õpilane seda salvestatud märki ennustab. Ühega kuumutatud sihtmärgi korral taandub see väärtusele $y_i$ määratud negatiivseks logaritmiliseks tõenäosuseks.

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE mask $m_i^{\mathrm{CE}}$ on $1$ seal, kus luba tuleks jäljendada, ja $0$ muul juhul. Summeerimine valitud positsioonide üle annab jäljenduskao.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL-kadu kasutab selle asemel õpetaja täielikku järgmise toodeni jõudmise tõenäosuse jaotust $q_i$ pehme paranduse sihtmärgina. Õpetaja kontekst sisaldab praegust vihjet ja kõiki varasemaid vihjeid, mida selles treeningsegmendis säilitatakse; õpilase kontekst on alati vihjevaba.

KL mask $m_i^{\mathrm{KL}}$ on $1$ seal, kus luba tuleks parandada, ja $0$ muul juhul; CE ja KL maskid ei kata üksteist. Nendel positsioonidel karistab edasisuunaline KL õpetaja ja õpilase erimeelsust kogu sõnavaras:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Mõlemal liikmel on üks nimetaja, mitte ei normaliseerita neid eraldi. See nimetaja loendab globaalses treeningupartiis jäljendamiseks valitud märkide koguarvu. Kaal $\lambda$ juhib parandustreeningu panust jäljendamise suhtes.

See jagatud normaliseerimine sobib meie treeninginfrastruktuuri ühe nimetajaga liidesega ja taastab $\lambda=0$ korral standardse SFT kao, lihtsustades baasjoonte võrdlusi. Kuna CE-märke on palju rohkem kui KL-märke, hoiab jagatud nimetaja kasutamine ära ka üksikutele KL-märkidele ebaproportsionaalselt suurte kaalude andmise väheste märgitud märkidega partiides.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Rakendatuna varasematele näidetele, saavad W-3/W-2 segadust ja kehtetut otsingukõnet sisaldavad pöördeid KL. Muu märgistamata assistendi sisu õnnestunud seansis saab endiselt CE. Muu assistendi sisu ebaõnnestunud seansis säilitatakse kontekstina, kuid ei saa ei CE-d ega KL-i.

Meie hindamised annavad vastuse kahele eraldi küsimusele. Esiteks, kas vihje aitab mudelil tegelikult viga parandada, kui vihje on olemas? Teiseks, kas treening aitab mudelil seda viga hiljem ilma vihjeta vältida? Esimene testib, kas vihjed pakuvad kasulikke treeningtulemusi. Teine testib, kas mudel õpib neist.

Testime esimest küsimust enne treeningu käivitamist, veendumaks, et vihjed suudavad mudelit tõepoolest vigadest eemale suunata.

Genereerisime märgitud kasutaja tagasiside pöörded uuesti vihjega ja vihjeta, kasutades sama GLM-5.2 baasmudelit temperatuuril null. Pime hindaja näeb hilisemat kaebust, kuid ei vihjet ega seda, milline tingimus vastuse tekitas.

W-3 näites nihutab vihje järgmise toodeni jõudmise tõenäosust numbri „3“ suunas ja eemale numbrist „2“ pärast eesliidet „W-“.

Järgmise toodeni jõudmise tõenäosused pärast W- niituvad 3, mitte aga 2 suunas, kui muutumatu baasmudel saab vihje. — Vihje säilitab soovitud W-3 vormi. Tulbad näitavad järgmise toodeni jõudmise tõenäosuste keskmisi väärtusi kaheksas edasisuunalises läbimises; vuntsid näitavad vaadeldud vahemikku, mitte usaldusvahemikku. Mõlemad tingimused kasutavad muutumatut baasmudelit.

Suuremal 40 pöördega eraldatud valimil, mida toetavad selgesõnaliselt väljendatud varasemad tõendid, tõuseb fikseerituks või õigel teel olevaks tunnistatud osakaal 40,0%-lt ilma vihjeta 75,0%-le vihjega. Teisel 40 pöördel, mida toetab tuletatud kavatsus, tõuseb see 32,5%-lt 80,0%-le.

Vihje valideerimine: fikseeritud või õigel teel olevate määrad tõusevad 40,0%-lt 75,0%-le selgesõnaliste tõendite puhul ja 32,5%-lt 80,0%-le tuletatud kavatsuste puhul. — Vihje valideerimine, mitte koolitusjärgne hindamine. Samad 40 märgitud pööret igas tõendirühmas genereeritakse uuesti vihjega ja vihjeta, kasutades muutumatut GLM-5.2-t temperatuuril null. Hindaja näeb kaebust, kuid mitte vihjet ega tingimust. Arvud on tuletatud aruande määradest ja valimisuurustest; usaldusvahemikke ei raporteerita.

Otsingutööriista vea näites nihutab vihje tõepoolest tõenäosuse massi aasta (year) märgilt kuu (month) märgile.

Vihje nihutab muutumatu baasmudeli järgmise toodeni jõudmise tõenäosusi eemale aastast (year) ja lubatud väärtuse kuu (month) suunas. — Vihje nihutab tõenäosust lubatud väärtuse suunas. Tulbad näitavad järgmise toodeni jõudmise tõenäosuste keskmisi väärtusi kaheksas edasisuunalises läbimises; vuntsid näitavad vaadeldud vahemikku, mitte usaldusvahemikku. Mõlemad tingimused kasutavad sama baasmudelit; treenitud kontrollpunkti ei võrrelda.

Suuremal 985 pöördega eraldatud valimil genereerime iga pöörde neli korda uuesti vihjega ja vihjeta, kasutades sama baasmudelit. Pime hindaja hindab, kas iga uuesti genereerimine hoiab ära algse vea. Vihjed tõstavad vigade vältimise määra 75,1%-lt 93,7%-le, mis on paarisvõit 18,6 protsendipunkti võrra, ning suurendavad parandatud tegevuse teinud osa osakaalu 60,6%-lt 82,3%-le. Kasv on suurim vigade puhul, mida pelgalt korduv valim ei suuda hõlpsasti parandada.

985 eraldatud märgitud tööriistavea pöörde puhul tõstavad vihjed vigade vältimise määra 75,1%-lt 93,7%-le ja parandatud tegevuse määrad 60,6%-lt 82,3%-le. — Tööriistavea vihje valideerimine 985 eraldatud märgitud pöörde põhjal, neli uuesti genereerimist tingimuse kohta. Tulbad näitavad vigade vältimise ja parandatud tegevuse määrasid muutumatu baasmudeli jaoks, vihjega ja vihjeta. Sihtvea vältimine ei taga tööriistakõne või ülesande õnnestumist.

Järgmisena testime, kas treenitud mudel teeb ilma vihjeteta vähem vigu. Hinnangulistes võrdlusülesannetes ja reaalsetes kasutajaseanssides hindame baasmudelit ja erinevaid järeltreeningu kontrollpunkte, kontrollides tööriistatõrgete vähenemist ja kasutajate väiksemat rahulolematust.

Võrguühenduseta hindamisel kasutatakse BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, esinduslikku Computer ülesannete komplekti ning kontrollitakse oskuste laadimist, dokumentide läbivaatamist ja tekstisiseseid viiteid. Mõõdame nende tööriistakõnede osakaalu, mille tulemused on hindamistrajektooridel selgelt vigadeks märgitud.

Nendes hindamistes oli salvestatud tööriistavigade määr standardsummutusega GLM 5.2 jaoks 2,79%, ainult RFT kontrollpunkti jaoks 1,35% ja RFT-plus-OPSD kontrollpunkti jaoks 0,87%. Neid kontrollpunkte treeniti erinevatel andmetel, seega ei ole tegemist OPSD sobitatud andmete ablatiooniga. Ülesande tasemel võrdlusuuringu tulemused olid erinevad, seega ei too vähem tööriistavigu iseenesest tingimata kaasa laiaulatuslikku paranemist ülesannete täitmisel.

Salvestatud tööriistavigade määrad võrguühenduseta: 2,79% standardsummutusega GLM 5.2 jaoks, 1,35% ainult RFT jaoks ja 0,87% RFT pluss OPSD jaoks; treeningandmed on erinevad. — Võrguühenduseta tööriistavigade määrad standardsummutusega GLM-5.2, ainult RFT ja RFT-plus-OPSD kontrollpunktide jaoks. Treeningandmed on kontrollpunktide lõikes erinevad; see ei ole kontrollitud ablatioon.

GLM-5.2 jaoks viisime läbi kaks eraldi A/B-testi, millest kummaski osales umbes sada tuhat kasutajat. Esimeses testis oli varajasel RFT-plus-OPSD kontrollpunktil veidi madalam tööriistatõrgete määr kui standardsel GLM 5.2-l (vastavalt 2,82% ja 2,94%), kuid erinevus ei olnud statistiliselt oluline.

Hilisemas testis võrdlesime kahte RFT-plus-OPSD kontrollpunkti: varasemat (esimene kontrollpunkt) ja hilisemat (teine kontrollpunkt). Tööriistakõnede tõrked langesid 2,24%-lt 1,77%-le salvestatud olekuga kõnedest. See oli statistiliselt oluline 21.2% suhteline vähenemine. Me ei võrrelnud teist kontrollpunkti otse standardsummutusega GLM 5.2-ga veebis.

Kasutajate tagasiside tulemused olid vähem veenvad. Teises GLM-5.2 eksperimendis oli tugeva rahulolematuse (keskmise või kõrge) keskmine tõenäosus esimese kontrollpunkti puhul 2,58% ja teise kontrollpunkti puhul 2,54%, kusjuures statistiliselt oluline erinevus puudus.

Kaks eraldi veebipõhist A/B-testi; ainult hilisemal kontrollpunkti võrdlusel on oluline tööriista tõrgete vähenemine ilma MID+ rahulolematuse märkimisväärse muutusteta. — Kaks eraldi GLM-5.2 reaalajas A/B-testi. Kontrollpunkti 1 võrreldakse standardse GLM-5.2-ga; kontrollpunkti 2 võrreldakse kontrollpunktiga 1. Nende kahe testi raames on statistiliselt oluline ainult hilisem tööriistatõrgete vähenemine. MID+ määrad väljendavad keskmisi hinnangulisi keskmise või kõrge rahulolematuse tõenäosusi, mitte kaebuste arvu.

Võrdlesime mudeli GLM-5.3 treeningujärgset kontrollpunkti otse tavapärase GLM-5.3-ga. Tööriistakutsete tõrked langesid 3,56%-lt 2,38%-le salvestatud olekuga kutsetest, mis on 33,04% suhteline vähenemine. MID+-näitaja ehk keskmine hinnanguline keskmise või kõrge rahulolematuse tõenäosus langes 4,12%-lt 3,41%-le, mis on 17,2% suhteline vähenemine. Mõlemad vähenemised olid statistiliselt olulised.

GLM-5.3 A/B-test: tööriista tõrgete määr langeb 3,56%-lt 2,38%-le ja MID+-näitaja ehk keskmine hinnanguline keskmise või kõrge rahulolematuse tõenäosus langeb 4,12%-lt 3,41%-le. CUPED-korrigeeritud suhtelised vähenemised on vastavalt 33,04% ja 17,16%. Mõlemad 95% järjestikused intervallid ei sisalda nulli; peamine kaasatuse mõõdik ei ole oluline. — Treeningujärgne GLM-5.3 versus tavapärane GLM-5.3 eraldi veebipõhises A/B-testis. Tööriista tõrgete ja MID+-näitaja määrad, suhtelised muudatused ja 95% järjestikused usaldusvahemikud kasutavad CUPED-korrektsiooni. Mõlemad vähenemised on statistiliselt olulised. MID+-näitajad esitavad keskmisi hinnangulisi keskmise või kõrge rahulolematuse tõenäosusi abikõlblikes skooritud järeltöötluse lõimedes, mitte kaebuste arvu. Tööriista tõrgete määrad ei hõlma kutseid, millel puudub salvestatud õnnestumise või ebaõnnestumise olek.

Keskne idee on õppida otsuse, mitte ainult seansi tasemel.

Õnnestunud tulemus võib vigu varjata ja ebaõnnestunud seanss võib siiski paljastada, kuidas paraneda. Säilitame kasuliku käitumise õnnestunud seanssidest ankruna, kasutame kaebusi ja tööriistavigu välditavate tõrgete tuvastamiseks ning treenime mudelit nende ennustuste suunas, mida see teeb siis, kui need vead ja parandused on muudetud selgesõnaliseks. Edu pakub säilitatavat käitumist; ebaõnnestumine pakub suunda paranemiseks.

Reaalse maailma kasutus teeb selle lähenemisviisi eriti kasulikuks. Reaalsed kasutajad toovad kaasa eesmärke, piiranguid ja töövooge, mida sünteetilises keskkonnas on raske ette näha. Nende parandused paljastavad nõudeid, mis mudelil kahe silma vahele jäid, samas kui tööriista vead toovad esile lüngad selle vahel, mida mudel proovis teha ja mida keskkond lubab. Need signaalid täiendavad tulemuspõhist treeningut: selle asemel, et küsida ainult seda, kas ülesanne õnnestus, saame küsida, kus mudel eksis ja milline teave oleks võinud aidata sellel paremat otsust teha.

Piirangud on sama olulised. Hindajad võivad eksida ja ühe vooru parandamine ei taga täieliku ülesande õnnestumist. Eesmärk pole pelgalt agent, mis pärast parandust taastub. Eesmärk on agent, mis vajab parandusi harvem.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Sünteetilistest andmetest reaalseteni

Jäljendage häid samme, parandage halvad

Näide: üks seanss võib õpetada mõlemat õppetundi

Kuidas treening töötab

Valige seansid, seejärel hinnake tulemust

Leidke vead kasutaja tagasisidest

Leidke vead tööriista vigadest

Kaks edasisuunalist läbimist

Kaofunktsioon

CE-kadu

KL-kadu

Kombineeritud kadu

Mida hindamised näitavad

Vihjed saavad mudelit vigadest eemale suunata

Kasutaja tagasiside

Tööriista vead

Tööriista töökindlus ja kasutajate tagasiside pärast koolitust

Võrguühenduseta hindamine

Veebipõhine hindamine: GLM-5.2

Veebipõhine hindamine: GLM-5.3

Kokkuvõte

Viide