Mokymasis iš realios patirties

Tai, kaip naudotojai sąveikauja su mūsų produktais realiame pasaulyje, yra vertingas modelio mokymo šaltinis. Duomenų yra gausu, jie atspindi faktinį naudotojų užduočių paskirstymą ir užfiksuoja naudotojų pataisymus bei įrankių triktis, kurias sintetinė aplinka gali praleisti.

Dažnas būdas mokytis iš realaus pasaulio duomenų yra atmetimo atrankos derinimas: įvertinkite kiekvienos sesijos rezultatą, pasilikite sėkmingas ir apmokykite modelį jas imituoti. Tačiau sėkmingas rezultatas nereiškia, kad kiekvienas žingsnis buvo teisingas, todėl visos trajektorijos imitavimas rizikuoja sustiprinti blogą tarpinį elgesį kartu su geruoju. Nepavykusių sesijų atmetimas taip pat praranda svarbius įrodymus apie tai, kur modelis pasiekia savo ribas.

Atmetimo atrankos tikslinimą deriname su užuominomis valdomu savidistiliavimu, kad mokytumėmės tiek iš sėkmingų, tiek iš nesėkmingų sesijų. Užuomina – tai trumpas korekcinis nurodymas, pagrįstas informacija, kurią modelis jau turėjo padarydamas klaidą. Naudingi žingsniai iš sėkmingų sesijų išlieka imitavimo tikslais, o pagrįstos užuominos paverčia išvengiamas klaidas pataisymo tikslais.

Naudotojo pataisymai ir įrankių klaidos prideda priežiūros apie tai, kas pakeliui nutiko ne taip, be to, ar užduotis galiausiai pavyko. Šį etapą taikome po sustiprinto mokymo sintetinėse aplinkose, kad padėtume sumažinti atotrūkį tarp tų aplinkų ir realaus pasaulio naudojimo.

Naudojant tiesiogiai, vėlesnis po apmokymo gautas GLM-5.2 kontrolinis taškas sumažino įrankių kvietimų triktis 21,2 %, palyginti su ankstesniu apmokytu kontroliniu tašku. GLM-5.3 atveju po apmokymo įrankių kvietimų triktys sumažėjo 33,0 %, o vidutinė numatoma vidutinio ar didelio naudotojų nepasitenkinimo tikimybė sumažėjo 17,2 %, palyginti su baziniu modeliu.

Sintetinės užduotys leidžia mums sukurti kontroliuojamas problemas su rezultatais, kuriuos lengva patikrinti, tačiau jos paprastai apsiriboja viena užklausa ir gali apimti tik tuos scenarijus, kurius aiškiai suprojektuojame.

Priešingai, naudotojai realiojo pasaulio sesijose pateikia įvairias instrukcijas, kontekstą ir įrankių derinius į sesijas, kurios vyksta per kelis sąveikos posūkius. Toks realiojo pasaulio naudojimas natūraliai duoda du vertingus klaidų signalus: naudotojo pataisymai atskleidžia, kur agentas nesuteikė to, ko jie norėjo, o įrankių klaidos parodo, kur jo veiksmai sugedo realiose aplinkose. Mūsų atrankos vamzdynas gerbia naudotojų privatumą ir mokymo pasirinkimus, išskirdamas sesijas su asmens tapatybės informacija (PII) ir nuo naudotojų, kurie atsisakė.

Realaus pasaulio duomenys todėl pateikia nesėkmės atvejus, kurių sintetinė aplinka gali neatskleisti, ir dažnai jau turi įtrauktą vietą, kur įvyko nesėkmė.

Mokantis iš realaus pasaulio duomenų, standartinis atmetimo atrankos derinimas (RFT) atrenka sėkmingas sesijas pagal jų galutinius rezultatus, tiesiogiai nenaudojant naudotojo ir įrankio atsiliepimų gerų tarpinių veiksmų atskyrimui nuo blogų. Agentas gali atsigauti po blogo įrankio iškvietimo arba pataisyti klaidą po naudotojo atsiliepimų ir vis tiek pateikti tinkamą išvestį pabaigoje.

Nepavykusių sesijų atmetimas taip pat riboja pavyzdžių efektyvumą. Sesija, kuri niekada nepasiekia gero rezultato, vis tiek gali atskleisti aiškią, išvengiamą klaidą kaip naudingus mokymo signalus.

Šiuos apribojimus sprendžiame atskirdami du sprendimus: kurios sesijos turi imituotino elgesio, o kurie posūkiai turi ištaisytinų klaidų. Duomenų vamzdynas šiuos sprendimus priima atskirai, o tada modelio posūkiams priskiria vieną iš trijų gydymo būdų:

Imituoti: ne klaidų posūkiai sėkmingose sesijose gauna įprastą kryžminės entropijos (CE) nuostolį, padidindami užregistruotų žetonų tikimybę.
Teisingai: tiek sėkmingose, tiek nesėkmingose sesijose klaidų posūkiai su galiojančia užuomina gauna Kullback–Leibler (KL) divergencijos nuostolį, nukreipdami modelį kito žetono prognozių, kurias jis daro matydamas užuominą, link.
Laikyti kontekstu: posūkiai nesėkmingose sesijose, kuriose trūksta patvirtintos užuominos, ir pažymėti blogi posūkiai be patvirtintos užuominos bet kurioje sesijos tipo tarnauja kaip kontekstas, bet gauna nei vieno nuostolio.

Dėl to sėkmingos sesijos gali pateikti tiek imitavimo, tiek koregavimo tikslus, o nesėkmingos sesijos pateikia tik koregavimo tikslus. Visi likę posūkiai, įskaitant sistemos, naudotojo ir įrankio išvestį, lieka kaip kontekstas.

Sesijų nukreipimo diagrama: sėkmingos sesijos užtikrina CE imitavimą ir tinkamas užuominos korekcijas; nesėkmingos sesijos užtikrina tik tinkamas korekcijas. — Dabartinis sesijų nukreipimas ir asistento turinio kaukės. Sėkmingos sesijos prisideda prie imitavimo taikinių; išsaugoti atsiliepimų įrašai gali prisidėti prie nurodytų korekcijų net tada, kai sesija nesėkminga. Kitas turinys lieka kaip kontekstas. Nepilnos sesijos neįtraukiamos. Ne galutinė yield/stop-token CE išimtis nėra nupiešta, o ši diagrama nenustato mišinio, kurį naudojo ankstesnis patikros taškas.

Imitavimo dalis naudoja standartinį RFT. Korekcinė dalis naudoja On-Policy Self-Distillation (OPSD): tas pats modelis veikia kaip mokytojas ir mokinys, o mokytojui suteikiama privilegijuota informacija. Čia ši privilegijuota informacija yra trumpa užuomina, paaiškinanti išvengiamą klaidą. Mokome mokinį atitikti mokytojo kito žetono prognozes, neįteikiant jam užuominos.

Abi dalys yra svarbios. Tik pataisymui skirtas mokymas gali atskleisti trumpąjį kelią: mokytojas ir mokinys gali sutikti ignoruodami kontekstą, o ne mokydamiesi pataisymo. CE terminas pririša mokymą prie naudingo elgesio, padėdamas atgrasyti nuo susitarimo, kylančio ignoruojant kontekstą.

Mokymą praėjęs mokinys tampa modelio parinktimi „Computer“. Naujos sesijos iš tiesioginio naudojimo pereina per tuos pačius tinkamumo ir privatumo filtrus prieš patekdamos į kitą mokymo vamzdyno ciklą.

Toliau pereiname prie konkretaus pavyzdžio, kuriame yra ir imitavimas, ir koregavimas.

Apsvarstykite galimą sėkmingą sesiją, kurioje naudotojas prašo palyginti asyncio pakeitimus Python 3.13 naudojant oficialią dokumentaciją. Mūsų įrankių dokumentacijoje nurodyta, kad search.web grąžina pataikymų sąrašą, kurių kiekvienas turi url lauką.

Modelis pirmiausia atlieka galiojančią vienos versijos paieškos užklausą kaip dalį įrodymų rinkimo palyginimui, o tai yra geras elgesys imituoti.

Tačiau kitas kodo vykdymo iškvietimas neteisingai laiko šį sąrašą žodynu. Kodo įrankis grąžina TypeError: list indices must be integers or slices, not str. Kadangi grąžinamas tipas buvo dokumentuotas prieš iškvietimą, tai yra klaida, kurios modelis turėjo būti pajėgus išvengti. Siekiant ištaisyti šį veiksmą, galima sugeneruoti užuominą su teisingu iškvietimu.

Iliustratyvi kodavimo sesija: sistemos ir naudotojo įvestis bei įrankio klaidos lieka kontekstu; naudingi užregistruoti paieškos ir atkūrimo iškvietimai gauna CE sėkmingoje sesijoje; pažymėta klaidinga sąrašo paieška gauna KL mokytojo atžvilgiu, kai pateikiama pagrįsta užuomina. — Iliustratyvi kodavimo sesija rodo tris mokymo vaidmenis: tik konteksto įvestis ir įrankio išvestis (pilka), CE naudingų užregistruotų iškvietimų imitavimas (tamsi) ir KL pažymėtos klaidos koregavimas (žalsvai melsva). Čia modelis neteisingai traktuoja paieškos pataikymų sąrašą kaip žodyną; koregavimą vadovauja tik mokytojo užuomina, pagrįsta ankstesne įrankių dokumentacija. CE taikiniai taikomi tik tada, kai užbaigta sesija įvertinama kaip sėkminga, o nesėkminga sesija vis tiek gali pateikti tinkamą KL koregavimo taikinį.

Mokymo vamzdynas turi keturis etapus: pasirinkti sesijas ir įvertinti jų rezultatus, identifikuoti klaidas ir sukurti užuominas iš naudotojų atsiliepimų bei įrankių klaidų, sugeneruoti kito žetono tikimybes tiek iš mokytojo, tiek iš mokinio ir apmokyti modelį su kombinuotu CE ir KL nuostoliu.

Atrankos vamzdynas ima duomenis iš mokymui tinkamo tikrų Computer sesijų poaibio, kurias pateikė GLM 5.2. Prieš atrenkant šio darbo eigos pavyzdžius, taikomi atsisakymai dalyvauti mokyme ir vamzdyno su PII susijusios išimtys.

Pradinis patikros procesas atrenka kandidatus, LLM teisėjo įvertintus 4 arba 5 balais pagal penkių balų užduoties sunkumo skalę, ir padalija juos į 2 grupes:

Naudotojo atsiliepimų grupė apima sesijas su tikru naudotojo tolesniu veiksmu arba vidutinio ar didelio nepasitenkinimo vėliavėle. Šiuos didelės intencijos tolesnius veiksmus randame ypač naudingus mokymuisi: naudotojai aktyviai bando užbaigti užduotį, o jų pataisymai tiksliai nurodo, ką modelis praleido.
Įrankio klaidų grupė apima sesijas su nepavykusiais iškvietimais, pažymėtais taisyklėmis pagrįstų patikrinimų, išskyrus pripažintas infrastruktūros triktis ir atmestą autorizaciją.

Du LLM teisėjai tada įvertina galutinį rezultatą pagal naudotojo užklausą; abu teisėjai turi pateikti teigiamą verdiktą, kad sesija būtų pažymėta kaip „sėkminga“. Tais atvejais, kai pateikiami artefaktai, rezultatų etapas gali atkurti ir patikrinti pateiktį, o jei tas etapas patiria nesėkmę, grįžtama prie tekstinių sprendimų. Sesijos, kurios klasifikuojamos kaip nepilnos, pavyzdžiui, darbas, laukiantis naudotojo, yra neįtraukiamos.

Šis žingsnis identifikuoja galimus mokymo signalų šaltinius; tačiau ne kiekviena klaida priskirtina modeliui, nes kai kurios kyla dėl dviprasmiškų instrukcijų ar infrastruktūros trikčių. Vėlesnis anotavimas nustato, kurios galimos klaidos iš tikrųjų yra išvengiamos ir tinkamos mokymui.

Apsvarstykite pavyzdinę sesiją naudotojo atsiliepimų grupėje, kurioje naudotojas klausia: „Kaip rasti savo w3 svetainėje paychex“. Modelis „w3“ traktuoja kaip rašybos klaidą, ieško W-2 instrukcijų ir paaiškina, kaip rasti tą formą. Naudotojo papildomas klausimas „Turėjau omenyje W-3 perdavimo formą“ nustato klaidą, net jei sesija galiausiai yra sėkminga.

Skundas padeda nustatyti klaidą, tačiau pagrindinė priežastis yra ankstesnis sprendimas perinterpretuoti „w3“ kaip W-2. Pradinė užklausa padaro klaidą išvengiamą: modelis galėjo išsaugoti W-3 arba paprašyti paaiškinimo. Pasirodo, kad paskutinis asistento posūkis prieš skundą yra pagrindinė priežastis tik maždaug pusę laiko.

Mūsų anotavimo vamzdynas sistemingai susieja priežastį ir pasekmę kiekvienoje naudotojo atsiliepimų sesijoje. Anotatorius iš pradžių patikrina, ar nėra praleisto reikalavimo, arba intencijos, palaikomos ankstesnio konteksto. Tada trys LLM teisėjai identifikuoja atsakingus posūkius, reikalaudami, kad bent du sutartų dėl tam tikro posūkio. Kartais ankstesnis teiginys aiškiai nustato reikalavimą. Kitais atvejais joks ankstesnis teiginys to nedaro, tačiau kelios ankstesnio pokalbio dalys bendrai leidžia daryti išvadą apie numatomą elgesį. Šis dizainas leidžia jiems sujungti skundą su ankstesne pagrindine klaida, o ne priskirti jį tik paskutiniam atsakymui.

Prieš priimdamas užuominą, vamzdynas taip pat patikrina, ar jo korekciniai teiginiai išplaukia iš informacijos, prieinamos prieš pažymėtą posūkį. Šie patikrinimai skirti sumažinti retrospektyvinį šališkumą, kai nauja skunde atskleista preferencija laikoma tuo, ką modelis jau turėjo žinoti.

Šiame pavyzdyje užuomina nurodo modeliui ieškoti W-3 perdavimo formos svetainėje „Paychex“, o ne W-2, arba paklausti, kurią formą naudotojas turi omenyje, jei užklausa dviprasmiška. Koregavimas taikomas ankstesniam interpretavimui ir paieškos sprendimui, o ne tik galutiniam atsakymui. Originalus posūkis lieka nepakeistas; anotacija prideda is_bad_turn: true ir netuščią hint.

W-3 užklausa neteisingai interpretuojama kaip W-2; vėlesnis skundas atsekamas iki ankstesnio paieškos sprendimo ir patikrinamas su ankstesniais įrodymais. — Reali sesija, parodanti, kaip skundas atsekamas iki ankstesnės klaidos, uždėjus anotavimo procedūrą. Naudotojas paprašė „w3“ svetainėje „Paychex“, tačiau modelis tai palaikė „W-2“ rašybos klaida ir ieškojo netinkamos formos. Pasiūlymo konsensusas nustato pagrindinę priežastį, o du pagrindimo patikrinimai įvertina, ar įrodymai yra ankstesni už klaidą ir ar užuominos teiginiai išplaukia iš informacijos, prieinamos tuo metu. Priimtos anotacijos išsaugo originalų tekstą ir prideda žymes bei užuominas, o ne perrašytus taikinius.

Apsvarstykite kitą sesiją įrankio klaidų grupėje su paieškos iškvietimu, kur agentas ieško su recency_filter: "year", tačiau įrankis tai atmeta, nes leidžiamos reikšmės yra „day“, „week“ arba „month“. Tai aiškus schemos pažeidimas.

Įrankio klaidų kelias naudoja deterministines taisykles žinomoms klaidoms ir modelio sprendimą dviprasmiškis atvejais. Vien klaidos pranešimo taip pat neužtenka norint apkaltinti modelį; įvertintas pataisymas turi nurodyti kažką, ką modelis galėjo žinoti iš įrankio schemos, sistemos instrukcijų ar ankstesnio pokalbio.

Paieškos iškvietimas naudoja netinkamą recency_filter reikšmę „year“; pagrįsta užuomina nurodo modeliui naudoti sąrašo reikšmę arba praleisti pasirenkamą lauką. — Ataskaitos netinkamas paieškos argumentas iliustruoja dabartinę įrankio klaidų procedūrą. Dėl schemos ši klaida tampa išvengiama; vien tik triktis to nepadarytų. Originalus iškvietimas lieka įraše ir gauna pagrįstą užuominą. Užuomina leidžia naudoti įtrauktą reikšmę arba praleidimą, jei laukas yra pasirenkamas; ji nereikalauja „month“ kiekvienai užklausai.

Čia užuomina įvardija nepavykusį iškvietimą, apima patvirtinimo klaidą ir nurodo modeliui naudoti leistiną reikšmę arba praleisti lauką, jei jis pasirenkamas.

Pažymėjus žingsnį, mokymo priemonė du kartus paleidžia tą patį kontrolinį tašką: vieną kartą kaip mokytoją, o kitą – kaip studentą. Mokytojas mato užuominą, o studentas – ne.

Abu praleidimai naudoja mokytojo prievartą, kai modeliui tiekiame užregistruotą sesiją, o neleisdami jam pasirinkti naujų žetonų. Priekinis praleidimas vis tiek sukuria pilną kito žetono paskirstymą kiekviename žingsnyje, tačiau jis visada yra sąlygotas fiksuoto prefikso iš įrašo, o ne iš eigos žetonų.

Paieškos pavyzdyje tas pats modelis priskiria daug didesnę tikimybę „month“ ir mažesnę „year“, kai pateikiama užuomina. Mokymui ši paskirstymo poslinkis naudojamas kaip lankstus tikslas.

Tas pats modelis įvertina užregistruotą posūkį su užuomina ir be jos; atskirtos mokytojo tikimybės pateikia KL taikinius, o CE pririša imitavimą. — Du praleidimai, vienas svorių rinkinys. Abi praleidimai įvertina užregistruotą tęsinį; tik mokytojas gauna užuominas. Jo atskirtos kito žetono tikimybės nukreipia mokinį per priekinį KL. Atskiri CE taikiniai pririša imitavimą. Abu nuostoliai maitina vieną svorio atnaujinimą. Ankstesnės užuominos gali likti dabartiniame mokytojo segmente; nei vienas praleidimas nesukuria pakaitinio mokymo atsakymo.

Mokytojo prognozės yra atskirtos arba sustabdomo gradiento: jos pateikia tikslą, bet negauna atnaujinimo per mokytojo etapą. Po mokinio etapo vienas optimizatoriaus žingsnis atnaujina bendrą modelį.

CE nuostolis įrašo žetonus, pasirinktus imitavimui, laiko tiesos taikiniais ir baudžia modelį už jiems priskirtas mažas tikimybes. Tai sukuria griežtą imitavimo taikinį.

Žetono pozicijoje $i$ tegu $p_i(v)$ yra mokinio žetono $v$ tikimybė visame žodyne $V$ . Užregistruotas kitas žetonas atsakyme arba įrankio iškvietime yra $y_i$ , vieno aktyvaus elemento taikinio paskirstymas yra $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Kryžminė entropija matuoja, kaip gerai mokinys numato šį užregistruotą žetoną. Turint vieno aktyvaus elemento taikinį, ji sumažėja iki neigiamos žurnalo tikimybės, priskirtos $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE kaukė $m_i^{\mathrm{CE}}$ yra $1$ , kur žetonas turėtų būti imituojamas, ir $0$ kitu atveju. Sudėjus pasirinktas pozicijas gautas imitavimo nuostolis.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL nuostolis vietoj to naudoja visą mokytojo kito žetono tikimybių paskirstymą $q_i$ kaip lankstų pataisymo tikslą. Mokytojo kontekstas apima dabartinę užuominą ir visas ankstesnes užuominas, išsaugotas tame mokymo segmente; mokinio kontekstas visada yra be užuominų.

KL kaukė $m_i^{\mathrm{KL}}$ yra $1$ , kur žetonas turėtų būti ištaisytas, ir $0$ kitu atveju; CE ir KL kaukės nesidengia. Šiose pozicijose priekinis KL baudžia nesutarimą tarp mokytojo ir mokinio visame žodyne:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Abu terminai dalijasi vienu vardiku, o ne yra normalizuojami atskirai. Šis vardiklis suskaičiuoja bendrą žetonų, pasirinktų imitavimui, skaičių visoje mokymo partijoje. Svoris $\lambda$ kontroliuoja korekcinio mokymo indėlį lyginant su imitavimu.

Šis bendras normalizavimas atitinka mūsų mokymo infrastruktūros vieno vardiklio sąsają ir atkuria standartinį SFT nuostolį, kai $\lambda=0$ , supaprastindamas bazinius palyginimus. Kadangi CE žetonų yra daug daugiau nei KL žetono, bendro vardiklio naudojimas taip pat leidžia išvengti neproporcingai didelių svorių suteikimo atskiriems KL žetonams partijose su keliais pažymėtais žetonais.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Pritaikius ankstesniems pavyzdžiams, posūkiai, kuriuose yra W-3/W-2 sumaišymas ir netinkamas paieškos iškvietimas, gauna KL. Kitas nepažymėtas asistento turinys sėkmingoje sesijoje vis tiek gauna CE. Kitas asistento turinys nesėkmingoje sesijoje išlaikomas kaip kontekstas, bet negauna nei CE, nei KL.

Mūsų vertinimai atsako į du atskirus klausimus. Pirma, ar užuomina iš tikrųjų padeda modeliui ištaisyti klaidą, kai ji yra? Antra, ar mokymas padeda modeliui išvengti šios klaidos vėliau, be užuominos? Pirmasis patikrina, ar užuominos suteikia naudingų mokymo signalų. Antrasis patikrina, ar modelis iš jų mokosi.

Prieš paleidžiant mokymą, išbandome pirmąjį klausimą, kad įsitikintume, jog užuominos iš tiesų gali nukreipti modelį toliau nuo klaidų.

Atgaminome pažymėtus naudotojo atsiliepimų posūkius su užuomina ir be jos, naudodami tą patį GLM-5.2 bazinį modelį nulinėje temperatūroje. Aklas teisėjas mato vėlesnį skundą, bet nei užuominą, nei sąlygą, kuri lėmė atsakymą.

W-3 pavyzdyje užuomina perkelia kito žetono tikimybę „3“ link ir toliau nuo „2“ po prefikso „W-“.

Kito žetono tikimybės po W- pasislenka 3 link, o ne 2, kai nepakeistas bazinis modelis gauna užuominą. — Užuomina išsaugo pageidaujamą W-3 formą. Stulpeliai rodo vidutines kito žetono tikimybes aštuonių priekinių praleidimų metu; ūsai rodo stebimą diapazoną, o ne pasikliaututinį intervalą. Abiejose sąlygose naudojamas nepakeistas bazinis modelis.

Didesniame 40 posūkių išlaikytame pavyzdyje, pagrįstame aiškiai nurodytais ankstesniais įrodymais, dalis, įvertinta kaip pataisyta arba einanti teisingu keliu, pakyla nuo 40,0% be užuominos iki 75,0% su ja. Kitame 40 posūkių, pagrįstų numanoma intencija, ji pakyla nuo 32,5% iki 80,0%.

Užuominos patvirtinimas: fiksuoti arba teisingi rodikliai padidėja nuo 40,0% iki 75,0% aiškiais įrodymais ir nuo 32,5% iki 80,0% numanoma intencija. — Užuominos patvirtinimas, o ne po-mokymo vertinimas. Tie patys 40 pažymėtų posūkių kiekvienoje įrodymų grupėje yra iš naujo sugeneruojami su užuomina ir be jos, naudojant nepakeistą GLM-5.2 nulinėje temperatūroje. Teisėjas mato skundą, bet ne užuominą ar sąlygą. Skaičiai yra gauti iš ataskaitos rodiklių ir pavyzdžių dydžių; pasikliaututiniai intervalai nepranešami.

Paieškos įrankio klaidos pavyzdyje užuomina iš tiesų perkelia tikimybių masę nuo „year“ žetono prie „month“ žetono.

Užuomina perkelia nepakeisto bazinio modelio kito žetono tikimybes toliau nuo year ir link leidžiamos reikšmės month. — Užuomina perkelia tikimybės svorį leistinos reikšmės link. Stulpeliai rodo vidutines kito žetono tikimybes aštuonių priekinių praleidimų metu; ūsai rodo stebimą diapazoną, o ne pasikliaututinį intervalą. Abiejose sąlygose naudojamas tas pats bazinis modelis; joks apmokytas patikros taškas nelyginamas.

Didesniame 985 posūkių išlaikytame pavyzdyje mes iš naujo sugeneruojame kiekvieną posūkį keturis kartus su užuomina ir be jos, naudodami tą patį bazinį modelį. Aklas teisėjas įvertina, ar kiekvienas naujas generavimas išvengia pradinės nesėkmės. Užuominos padidina nesėkmių išvengimą nuo 75,1% iki 93,7%, porinis prieaugis sudaro 18,6 procentinio punkto, o koreguotų veiksmų dalis padidėja nuo 60,6% iki 82,3%. Priedai yra didžiausi klaidoms, kurių vien pasikartojanti atranka negali lengvai pataisyti.

985 išlaikytuose pažymėtuose įrankio klaidos posūkiuose užuominos padidina nesėkmių išvengimą nuo 75,1% iki 93,7%, o koreguotų veiksmų rodiklius nuo 60,6% iki 82,3%. — Įrankio klaidos užuominos patvirtinimas 985 išlaikytuose pažymėtuose posūkiuose, su keturiais atgaminimais vienai sąlygai. Stulpeliai rodo nesėkmių išvengimą ir koreguotų veiksmų rodiklius nepakeistam baziniam modeliui, su užuominomis ir be jų. Tikslinės klaidos išvengimas nepatvirtina įrankio iškvietimo ar užduoties sėkmės.

Toliau tikriname, ar apmokytas modelis daro mažiau klaidų negaudamas užuominų. Vertiname bazinį modelį ir įvairius poapmokymo kontrolinius taškus atliekant neprisijungusias etalonines užduotis ir tiesioginėse vartotojų sesijose, tikrindami, ar sumažėja įrankių gedimų ir vartotojų nepasitenkinimo.

Atsijungęs vertinimas naudoja BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, reprezentatyvų „Computer“ užduočių rinkinį ir tikrina įgūdžių įkėlimą, dokumentų peržiūrą bei tiesiogines nuorodas. Mes matuojame įrankio iškvietimų dalį, kurių rezultatai tiesiogiai pažymėti kaip klaidos vertinimo trajektorijose.

Šiuose vertinimuose užregistruotas įrankio klaidų dažnis buvo 2,79% baziniam GLM 5.2, 1,35% tik RFT patikros taškui ir 0,87% RFT-plus-OPSD patikros taškui. Šie patikros taškai buvo apmokyti naudojant skirtingus duomenis, todėl tai nėra suderintų duomenų OPSD abliacija. Užduoties lygio etalono rezultatai buvo įvairūs, todėl mažesnis įrankio klaidų skaičius nebūtinai reiškia platų užduoties sėkmės pagerėjimą.

Atsijungę užregistruoti įrankio klaidų rodikliai: 2,79% baziniam GLM 5.2, 1,35% tik RFT ir 0,87% RFT plius OPSD; mokymo duomenys skiriasi. — Atsijungę įrankio klaidų rodikliai baziniam GLM-5.2, tik RFT ir RFT-plus-OPSD patikros taškams. Mokymo duomenys skiriasi tarp patikros taškų; tai nėra kontroliuojama abliacija.

GLM-5.2 atveju atlikome du atskirus A/B testus, kurių kiekvienoje sąlygoje dalyvavo apie šimtas tūkstančių naudotojų. Pirmajame ankstyvasis RFT-plus-OPSD kontrolinis taškas turėjo šiek tiek mažesnį įrankių klaidų dažnį nei bazinis GLM 5.2 (atitinkamai 2,82 % ir 2,94 %), tačiau skirtumas nebuvo statistiškai reikšmingas.

Vėlesniame teste palyginome du RFT-plus-OPSD patikros taškus: ankstesnį (pirmąjį patikros tašką) ir vėlesnį (antrąjį patikros tašką). Įrankio iškvietimo klaidos sumažėjo nuo 2,24% iki 1,77% iškvietimų su užregistruotu statusu. Tai buvo statistiškai reikšmingas 21,2% santykinis sumažėjimas. Antrojo patikros taško tiesiogiai internete su baziniu GLM 5.2 nelyginome.

Naudotojų atsiliepimų rezultatai buvo mažiau vienareikšmiai. Antrajame GLM-5.2 eksperimente vidutinė stipraus nepasitenkinimo (vidutinio arba didelio) tikimybė buvo 2,58 % pirmam kontroliniam taškui ir 2,54 % antram kontroliniam taškui, o statistiškai reikšmingo skirtumo nebuvo.

Du atskiri internetiniai A/B testai; tik vėlesnis patikros taško palyginimas rodo reikšmingą įrankio klaidų sumažėjimą, be reikšmingo MID+ nepasitenkinimo pokyčio. — Du atviri GLM-5.2 A/B testai. 1 kontrolinis taškas lyginamas su baziniu GLM-5.2; 2 kontrolinis taškas lyginamas su 1 kontroliniu tašku. Šiuose dviejuose testuose tik vėlesnis įrankių klaidų sumažėjimas yra statistiškai reikšmingas. MID+ rodikliai reiškia vidutines numatomas vidutinio arba didelio nepasitenkinimo tikimybes, o ne skundų skaičių.

GLM-5.3 atveju tiesiogiai palyginome po apmokymo gautą kontrolinį tašką su baziniu GLM-5.3. Įrankių kvietimų triktys sumažėjo nuo 3,56 % iki 2,38 % visų kvietimų su užfiksuotu statusu, t. y. santykinai sumažėjo 33,04 %. MID+ rodiklis (vidutinė numatoma vidutinio ar didelio nepasitenkinimo tikimybė) sumažėjo nuo 4,12 % iki 3,41 %, t. y. santykinai sumažėjo 17,2 %. Abu sumažėjimai buvo statistiškai reikšmingi.

GLM-5.3 A/B testas: įrankių trikčių dažnis sumažėjo nuo 3,56 % iki 2,38 %, o MID+ rodiklis (vidutinė numatoma vidutinio ar didelio nepasitenkinimo tikimybė) sumažėjo nuo 4,12 % iki 3,41 %. CUPED pritaikytas santykinis sumažėjimas yra atitinkamai 33,04 % ir 17,16 %. Abu 95 % nuoseklūs intervalai neapima nulio; pagrindinis įsitraukimo rodiklis nėra reikšmingas. — Po apmokymo gautas GLM-5.3, palyginti su baziniu GLM-5.3 atskirame internetiniame A/B teste. Įrankių trikčių ir MID+ rodikliai, santykiniai pokyčiai ir 95 % nuoseklūs pasikliautinieji intervalai apskaičiuoti taikant CUPED koregavimą. Abu sumažėjimai yra statistiškai reikšmingi. MID+ rodikliai rodo vidutines numatomas vidutinio ar didelio nepasitenkinimo tikimybes tinkamose įvertintose tolesnėse gijose, o ne skundų skaičių. Įrankių trikčių rodikliai neapima kvietimų, kurių sėkmės ar trikties statusas neužfiksuotas.

Centrinė idėja yra mokytis sprendimo, o ne tik sesijos lygiu.

Sėkmingas rezultatas gali paslėpti klaidas, o nesėkminga sesija vis tiek gali atskleisti, kaip patobulėti. Išsaugome naudingą elgesį iš sėkmingų sesijų kaip atramą, naudojame skundus ir įrankių klaidas išvengiamoms nesėkmėms nustatyti ir mokome modelį prognozių, kurias jis daro, kai šios klaidos ir pataisymai pateikiami aiškiai. Sėkmė suteikia išsaugotinu elgesiu; nesėkmė suteikia kryptį tobulėjimui.

Realaus pasaulio naudojimas daro šį požiūrį ypač naudingą. Realūs naudotojai pateikia tikslus, apribojimus ir darbo eiga, kuriuos sunku numatyti sintetinėje aplinkoje. Jų pataisymai atskleidžia reikalavimus, kuriuos modelis praleido, o įrankių klaidos atskleidžia atotrūkį tarp to, ką modelis bandė padaryti, ir to, ką leidžia aplinka. Šie signalai papildo rezultatais pagrįstą mokymą: vietoj to, kad klaustume tik ar užduotis pavyko, galime klausti, kur modelis pasuko ne į tą pusę ir kokia informacija galėjo jam padėti priimti geresnį sprendimą.

Ribos yra vienodai svarbios. Teisėjai gali klysti, o vieno žingsnio ištaisymas negarantuoja, kad visa užduotis pavyks. Tikslas yra ne tik agentas, kuris atsigauna po pataisymo. Tai agentas, kuriam pataisymų reikia rečiau.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Nuo sintetinių prie realaus pasaulio duomenų

Imituokite gerus žingsnius, ištaisykite blogus

Pavyzdys: viena sesija gali išmokyti abu pamokas

Kaip veikia mokymas

Pasirinkite sesijas, tada įvertinkite rezultatą

Rasti klaidas iš naudotojų atsiliepimų

Rasti klaidas iš įrankių klaidų

Du priekiniai praleidimai

Nuostolių funkcija

CE nuostolis

KL nuostolis

Kombinuoti nuostoliai

Ką rodo vertinimai

Užuominos gali nukreipti modelį toliau nuo klaidų

Naudotojo atsiliepimai

Įrankio klaidos

Įrankių patikimumas ir naudotojų atsiliepimai po mokymo

Atsijungęs vertinimas

Internetinis įvertinimas: GLM-5.2

Internetinis vertinimas: GLM-5.3

Išvada

Citata