Mācīšanās no reālās pasaules pieredzes

Tas, kā lietotāji reālajā pasaulē mijiedarbojas ar mūsu produktiem, ir vērtīgs avots modeļa apmācībai. Datu ir daudz, tie atspoguļo lietotāju uzdevumu faktisko sadalījumu un uztver lietotāju labojumus un rīku kļūdas, kuras sintētiskā vide var palaist garām.

Izplatīts veids, kā mācīties no reālās pasaules datiem, ir noraidīšanas paraugu ņemšanas fine-tuning: novērtēt katras sesijas rezultātu, paturēt veiksmīgās un apmācīt modeli tās atdarināt. Taču veiksmīgs rezultāts nenozīmē, ka katrs solis bija pareizs, tāpēc visas trajektorijas atdarināšana draud pastiprināt sliktu starpposma uzvedību papildus labajai. Neveiksmīgo sesiju izmešana zaudē arī kritiskus pierādījumus par to, kur modelis neizbēgami kļūdās.

Mēs apvienojam noraidījuma izlases precīzo regulēšanu ar mājienu vadītu pašdestilāciju, lai mācītos gan no veiksmīgām, gan neveiksmīgām sesijām. Mājiens ir īss koriģējošs norādījums, kura pamatā ir informācija, kas modelim jau bija pieejama kļūdas pieļaušanas brīdī. Noderīgi soļi no veiksmīgām sesijām joprojām ir imitācijas mērķi, savukārt pamatoti mājieni pārvērš novēršamas kļūdas par korekcijas mērķiem.

Lietotāju labojumi un rīka kļūdas pievieno uzraudzību par to, kas nogāja greizi procesa gaitā, papildus tam, vai uzdevums galu galā izdevās. Mēs piemērojam šo posmu pēc pastiprinātā mācīšanās sintētiskajā vidē, lai palīdzētu mazināt plaisu starp šo vidi un reālās pasaules lietojumu.

Reālos lietošanas apstākļos vēlāks pēcapmācīts GLM-5.2 kontpunkts samazināja rīku izsaukumu kļūmes par 21,2%, salīdzinot ar agrāku apmācītu kontpunktu. Modelim GLM-5.3 pēcapmācība samazināja rīku izsaukumu kļūmes par 33,0%, bet vidējo aptuveno vidējas vai augstas lietotāju neapmierinātības varbūtību – par 17,2%, salīdzinot ar bāzes modeli.

Sintētiskie uzdevumi ļauj mums izveidot kontrolētas problēmas ar viegli verificējamiem rezultātiem, taču tie parasti aprobežojas ar vienu uzvedni un var aptvert tikai tos scenārijus, kurus mēs esam skaidri izstrādājuši.

Turpretī lietotāji reālās pasaules sesijās ienes dažādas instrukcijas, kontekstu un rīku kombinācijas sesijās, kas risinās vairāku mijiedarbības gājienu laikā. Šāda reālās pasaules lietošana dabiski rada divus vērtīgus kļūmju signālus: lietotāju labojumi atklāj, kur aģents nav nodrošinājis to, ko viņi vēlējās, un rīka kļūdas parāda, kur tā darbības izgāzās reālā vidē. Mūsu paraugu ņemšanas konveijers respektē lietotāju privātumu un apmācības izvēles, izslēdzot sesijas ar personu identificējošu informāciju (PII) un no lietotājiem, kuri ir atteikušies.

Tāpēc reālās pasaules dati sniedz mums kļūmju gadījumus, kurus sintētiskā vide var neuzrādīt, un bieži vien tajos jau ir ietverts tas, kur kļūme radās.

Apmācot ar reālās pasaules datiem, standarta noraidīšanas paraugu ņemšanas fine-tuning (RFT) atlasa veiksmīgas sesijas, pamatojoties uz to gala rezultātiem, nepielietojot lietotāja un rīka atgriezenisko saiti, lai skaidri atšķirtu labas starpposma darbības no sliktām. Aģents var atgūties no slikta rīka izsaukuma vai labot kļūdu pēc lietotāja atgriezeniskās saites un galu galā tomēr sniegt pareizo izvadi.

Neveiksmīgo sesiju izmešana arī ierobežo paraugu efektivitāti. Sesija, kas nekad nesasniedz labu rezultātu, joprojām var atklāt skaidru, novēršamu kļūdu kā noderīgus apmācības signālus.

Mēs risinām šos ierobežojumus, nodalot divus lēmumus: kuras sesijas satur uzvedību, kuru ir vērts atdarināt, un kuri gājieni satur kļūdas, kuras ir vērts labot. Datu konveijers šos lēmumus pieņem atsevišķi, pēc tam modeļa gājieniem piešķir vienu no trim apstrādes veidiem:

Atdarināt: ne-kļūdu gājieni veiksmīgās sesijās saņem parastu krusteniskās entropijas (CE) zudumu, palielinot reģistrēto tokenu varbūtību.
Pareizi: gan veiksmīgās, gan neveiksmīgās sesijās kļūdu gājieni ar derīgu norādi saņem Kullbaka–Leibleres (KL) diverģences zudumu, virzot modeli uz nākamā tokena prognozēm, ko tas veic, kad redz norādi.
Saglabāt kā kontekstu: gājieni neveiksmīgās sesijās, kurās trūkst apstiprinātas norādes, un atzīmētie sliktie gājieni bez apstiprinātas norādes jebkurā sesijas veidā kalpo kā konteksts, bet saņem abu veidu zudumus.

Tā rezultātā veiksmīgas sesijas var nodrošināt gan atdarināšanas, gan korekcijas mērķus, savukārt neveiksmīgas sesijas nodrošina tikai korekcijas mērķus. Visi atlikušie gājieni, tostarp sistēmas, lietotāja un rīka izvade, paliek kā konteksts.

Sesijas maršrutēšanas diagramma: veiksmīgas sesijas nodrošina CE atdarināšanu un atbilstošas norādītas korekcijas; neveiksmīgas sesijas nodrošina tikai atbilstošas korekcijas. — Pašreizējā sesijas maršrutēšana un asistenta satura maskas. Veiksmīgas sesijas sniedz atdarināšanas mērķus; saglabātie atgriezeniskās saites ieraksti var sniegt norādītas korekcijas pat tad, ja sesija nav veiksmīga. Cits saturs paliek kā konteksts. Nepilnīgas sesijas tiek izslēgtas. Ne-gala yield/stop-token CE izņēmums nav uzzīmēts, un šī diagramma neiestata maisījumu, ko izmantoja agrāka kontroldaļa.

Atdarināšanas daļa izmanto standarta RFT. Korekcijas daļa izmanto On-Policy pašdistilāciju (OPSD): tas pats modelis darbojas kā skolotājs un skolēns, turklāt skolotājam tiek sniegta priviliģēta informācija. Šeit šī priviliģētā informācija ir īsa norāde, kas paskaidro novēršamu kļūdu. Mēs apmācām skolēnu atbilst skolotāja nākamā tokena prognozēm, neizsniedzot viņam norādi.

Abas daļas ir svarīgas. Tikai korekcijas apmācība var atklāt saīsni: skolotājs un skolēns var vienoties, ignorējot kontekstu, nevis mācoties korekciju. CE termins piesaista apmācību noderīgai uzvedībai, palīdzot novērst vienošanos, kas rodas, ignorējot kontekstu.

Pēc apmācības apmācītais skolēns kļūst par modeļa opciju sistēmā Computer. Jaunas sesijas no tiešraides lietojuma iziet cauri tiem pašiem piemērotības un privātuma filtriem, pirms tās nonāk nākamajā apmācības konveijera kārtā.

Tālāk mēs apskatīsim konkrētu piemēru, kas satur gan atdarināšanu, gan korekciju.

Apsveriet gadījuma veiksmīgu sesiju, kurā lietotājs lūdz salīdzināt asyncio izmaiņas Python 3.13, izmantojot oficiālo dokumentāciju. Mūsu rīka dokumentācija norāda, ka search.web atgriež trāpījumu sarakstu, no kuriem katram ir url lauks.

Modelis vispirms veic derīgu meklēšanu vienai versijai kā daļu no pierādījumu vākšanas salīdzinājumam, kas ir laba uzvedība, ko atdarināt.

Tomēr nākamais koda izpildes izsaukums nepareizi uztver šo sarakstu kā vārdnīcu. Koda rīks atgriež TypeError: list indices must be integers or slices, not str. Tā kā atgriešanas tips tika dokumentēts pirms izsaukuma, tā ir kļūda, no kuras modelim vajadzēja spēt izvairīties. Lai labotu šo darbību, var ģenerēt norādi ar pareizo izsaukumu.

Ilustratīva kodēšanas sesija: sistēmas un lietotāja ievade un rīka kļūdas paliek konteksts; noderīgi reģistrēti meklēšanas un atgūšanas izsaukumi saņem CE veiksmīgā sesijā; atzīmēts kļūdains saraksta meklējums saņem KL virzienā uz skolotāju, kuram dota pamatota norāde. — Ilustratīva kodēšanas sesija parāda trīs apmācības lomas: tikai konteksta ievades un rīka izvades (pelēkas), noderīgu reģistrēto izsaukumu CE atdarināšana (tumšas) un atzīmētas kļūdas KL korekcija (tirkīzzila). Šeit modelis nepareizi uztver meklēšanas trāpījumu sarakstu kā vārdnīcu; korekciju vada tikai skolotāja norāde, kas pamatota ar agrāku rīka dokumentāciju. CE mērķi attiecas tikai tad, ja pabeigtā sesija tiek atzīta par veiksmīgu, savukārt neveiksmīga sesija joprojām var nodrošināt atbilstošu KL korekcijas mērķi.

Apmācības konveijeram ir četri posmi: atlasīt sesijas un novērtēt to rezultātus, identificēt kļūdas un izveidot norādes no lietotāju atgriezeniskās saites un rīku kļūdām, ģenerēt nākamā tokena varbūtības gan no skolotāja, gan skolēna, un apmācīt modeli ar kombinētu CE un KL zudumu.

Izlases cauruļvads ņem paraugus no apmācībai piemērota reālās pasaules Computer sesiju apakškopas, ko apkalpo GLM 5.2. Pirms šī darbplūsmas parauga atlases tiek piemēroti atteikumi no apmācības un cauruļvada ar PII saistītie izslēgšanas gadījumi.

Sākotnējā skrīninga process atlasa kandidātus, kurus LLM vērtētājs novērtējis ar 4 vai 5 punktiem piecu punktu uzdevuma sarežģītības skalā, un sadala tos 2 grupās:

Lietotāja atgriezeniskās saites grupa satur sesijas ar patiesu lietotāja turpmāko jautājumu vai vidējas līdz augstas neapmierinātības karodziņu. Mēs uzskatām šos augsta nodoma turpmākos jautājumus par īpaši noderīgiem mācībām: lietotāji aktīvi cenšas pabeigt uzdevumu, un viņu labojumi norāda, ko modelis palaidis garām.
Rīka kļūdu grupa satur sesijas ar neizdevušos izsaukumiem, ko atzīmējušas uz noteikumiem balstītas pārbaudes, izslēdzot atpazītas infrastruktūras kļūmes un noraidītu autorizāciju.

Divi LLM vērtētāji pēc tam izvērtē galīgo rezultātu attiecībā pret lietotāja pieprasījumu; abiem vērtētājiem ir jāsniedz pozitīvs verdikts, lai sesija tiktu apzīmēta kā „veiksmīga”. Gadījumos, kad tiek sniegti artefakti, rezultātu posmā var rekonstruēt un pārbaudīt piegādi, atgriežoties pie teksta balstītiem vērtējumiem, ja šis posms neizdodas. Sesijas, kas klasificētas kā nepilnīgas, piemēram, darbs, kas gaida lietotāju, tiek izslēgtas.

Šis solis identificē iespējamos mācīšanās signālu avotus; tomēr ne katra kļūda ir attiecināma uz modeli, jo dažas rodas no neskaidrām instrukcijām vai infrastruktūras kļūmēm. Vēlāka anotācija nosaka, kuras kļūdu kandidātes patiesībā ir novēršamas un piemērotas apmācīšanai.

Apsveriet parauga sesiju lietotāja atgriezeniskās saites grupā, kur lietotājs jautā: „Kā es varu atrast savu w3 pakalpojumā paychex”. Modelis uztver „w3” kā drukas kļūdu vārdam W-2, meklē W-2 instrukcijas un izskaidro, kā atrast šo veidlapu. Lietotāja turpmākais jautājums „Es domāju W-3 pārsūtīšanas veidlapu” identificē kļūdu, pat ja sesija galu galā ir veiksmīga.

Sūdzība palīdz atrast kļūdu, taču saknes cēlonis ir agrākais lēmums pārinterpretēt „w3” kā W-2. Sākotnējais pieprasījums padara kļūdu novēršamu: modelis varēja saglabāt W-3 vai lūgt precizējumu. Izrādās, ka pēdējais asistenta gājiens pirms sūdzības ir saknes cēlonis tikai aptuveni pusē gadījumu.

Mūsu anotāciju konveijers sistemātiski kartē cēloni un sekas katrā lietotāja atgriezeniskās saites sesijā. Anotators vispirms pārbauda, vai nav palaista garām prasība vai nolūks, ko pamato agrāks konteksts. Trīs LLM vērtētāji pēc tam identificē atbildīgos gājienus, pieprasot, lai vismaz divi vienojas par konkrētu gājienu. Dažkārt kāds agrāks izteikums skaidri nosaka prasību. Citos gadījumos neviens iepriekšējais izteikums to nedara atsevišķi, bet vairākas iepriekšējās sarunas daļas kopā padara paredzēto uzvedību secināmu. Šis dizains ļauj viņiem savienot sūdzību ar agrāku saknes kļūdu, nevis piedēvēt to tikai pēdējai atbildei.

Pirms norādes pieņemšanas konveijers pārbauda arī to, vai tās koriģējošie apgalvojumi izriet no informācijas, kas bija pieejama pirms atzīmētā gājiena. Šīs pārbaudes ir paredzētas, lai samazinātu pēcmudrāšanās aizspriedumus, kad sūdzībā atklāta jauna preference tiek uztverta kā kaut kas tāds, ko modelim jau vajadzēja zināt.

Šajā piemērā norāde liek modelim meklēt W-3 pārsūtīšanas veidlapu pakalpojumā Paychex, nevis W-2, vai prasīt, kuru veidlapu lietotājs domā, ja pieprasījums ir neskaidrs. Korekcija ir vērsta uz agrāko interpretāciju un meklēšanas lēmumu, nevis tikai uz galīgo atbildi. Sākotnējais gājiens paliek nemainīts; anotācija pievieno is_bad_turn: true un netukšu hint.

W-3 pieprasījums tiek nepareizi interpretēts kā W-2; vēlāka sūdzība tiek izsekota līdz agrākam meklēšanas lēmumam un pārbaudīta pret iepriekšējiem pierādījumiem. — Reāla sesija, kas parāda, kā sūdzība tiek izsekota līdz agrākai kļūdai, ar uzliktu anotācijas procedūru. Lietotājs lūdza „w3” pakalpojumā Paychex, bet modelis to uzskatīja par drukas kļūdu vārdam W-2 un meklēja nepareizu veidlapu. Piedāvātāju vienprātība atrod saknes cēlonis, savukārt divas pamatojuma pārbaudes novērtē, vai pierādījumi ir pirms kļūdas un vai norādes apgalvojumi izriet no informācijas, kas bija pieejama tajā brīdī. Pieņemtās anotācijas saglabā oriģinālo tekstu un pievieno atzīmes un norādes, nevis pārrakstītus mērķus.

Apsveriet citu sesiju rīka kļūdu grupā ar meklēšanas izsaukumu, kurā aģents meklē ar recency_filter: "year", bet rīks to noraida, jo atļautās vērtības ir „day”, „week” vai „month”. Šis ir skaidrs shēmas pārkāpums.

Rīka kļūdu ceļš izmanto deterministiskus noteikumus zināmām kļūdām un modeļa vērtējumu neskaidriem gadījumiem. Arī tikai kļūdas ziņojums nav pietiekams, lai vainotu modeli; izvērtētam labojumam ir jānorāda uz kaut ko tādu, ko modelis varēja zināt no rīka shēmas, sistēmas instrukcijām vai iepriekšējās sarunas.

Meklēšanas izsaukums izmanto nederīgu recency_filter vērtību year; pamatota norāde uzdod modelim izmantot sarakstā iekļautu vērtību vai izlaist izvēles lauku. — Pārskata nederīgais meklēšanas arguments ilustrē pašreizējo rīka kļūdu procedūru. Shēma padara šo kļūdu novēršamu; vienīgi pārtraukums to nepadarītu. Sākotnējais izsaukums paliek ierakstā un saņem pamatotu norādi. Norāde ļauj izmantot sarakstā iekļautu vērtību vai izlaist lauku, ja tas nav obligāts; tā nepieprasa „month” katram pieprasījumam.

Šeit norāde nosauc neizdevušos izsaukumu, ietver validācijas kļūdu un uzdod modelim izmantot atļautu vērtību vai izlaist lauku, ja tas nav obligāts.

Kad kārta ir atzīmēta, apmācītājs palaiž to pašu kontrolpunktu divreiz: vienreiz kā skolotājs un vienreiz kā skolēns. Skolotājs redz mājienu; skolēns to neredz.

Abās caurlaidēs tiek izmantota skolotāja piespiešana, kad mēs barojam modeli ar reģistrēto sesiju, neļaujot tam izvēlēties jaunus tokenus. Virzītā caurlaide katrā solī joprojām ģenerē pilnu nākamā tokena sadalījumu, taču tas vienmēr ir nosacīts pret fiksēto prefiksu no ieraksta, nevis pret izvēršanas tokeniem.

Meklēšanas piemērā tas pats modelis piešķir daudz augstāku varbūtību „month” un mazāku „year”, ja tiek dota norāde. Apmācībā šī sadalījuma nobīde tiek izmantota kā mīkstais mērķis.

Tas pats modelis novērtē reģistrētu gājienu ar norādi un bez tās; atdalītas skolotāja varbūtības nodrošina KL mērķus, kamēr CE balsta atdarināšanu. — Divas caurlaides, viena svara kopa. Abas caurlaides novērtē reģistrēto turpinājumu; tikai skolotājs saņem norādes. Tā atdalītās nākamā tokena varbūtības vada skolēnu caur virzītu KL. Atsevišķi CE mērķi balsta atdarināšanu. Abi zudumi baro vienu svara atjauninājumu. Agrākas norādes var palikt skolotāja pašreizējā segmentā; neviena caurlaide neģenerē aizvietojošu apmācības atbildi.

Skolotāja prognozes tiek atdalītas jeb pārtraukts gradients: tās nodrošina mērķi, bet nesaņem atjauninājumu caur skolotāja caurlaidi. Pēc skolēna caurlaides viens optimizētāja solis atjaunina kopīgo modeli.

CE zudums uzskata reģistrētos tokenus, kas atlasīti atdarināšanai, par absolūtās patiesības mērķiem un soda modeli par zemu varbūtību piešķiršanu tiem. Tas rada stingru atdarināšanas mērķi.

Tokena pozīcijā apzīmēsim skolēna varbūtību tokenam pilnā vārdnīcā ar . Reģistrētais nākamais tokens atbildē vai rīka izsaukumā ir , vienas karstās vērtības (one-hot) mērķa sadalījums ir . $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

Krusteniskā entropija mēra, cik labi skolēns paredz šo reģistrēto tokenu. Izmantojot vienas karstās vērtības mērķi, tā reducējas uz negatīvo logaritmisko varbūtību, kas piešķirta $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE maska $m_i^{\mathrm{CE}}$ ir $1$ , kur tokens ir jāatdarina, un $0$ pretējā gadījumā. Summējot atlasītās pozīcijas, tiek iegūts atdarināšanas zudums.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL zudums tā vietā izmanto skolotāja pilnu nākamā tokena varbūtības sadalījumu $q_i$ kā mīksto korekcijas mērķi. Skolotāja konteksts ietver pašreizējo norādi un visas agrākās norādes, kas saglabātas šajā apmācības segmentā; skolēna konteksts vienmēr ir bez norādēm.

KL maska $m_i^{\mathrm{KL}}$ ir $1$ , kur tokens ir jālabo, un $0$ pretējā gadījumā; CE un KL maskas nepārklājas. Šajās pozīcijās virzīts KL soda par nesaskaņām starp skolotāju un skolēnu visā vārdnīcā:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Abi termini koplieto vienu saucēju, nevis tiek normalizēti atsevišķi. Šis saucējs skaita kopējos tokenus, kas atlasīti atdarināšanai visā globālajā apmācības partijā. Svars $\lambda$ kontrolē koriģējošās apmācības ieguldījumu attiecībā pret atdarināšanu.

Šī kopīgā normalizācija atbilst mūsu apmācības infrastruktūras vienas saucēja saskarnei un atjauno standarta SFT zudumu, kad $\lambda=0$ , vienkāršojot bāzlīnijas salīdzinājumus. Tā kā CE tokeni ir daudz bagātīgāki nekā KL tokeni, kopīga saucēja izmantošana arī novērš individuālo KL tokenu nesamērīgi lielu svaru piešķiršanu partijās ar maz atzīmētiem tokeniem.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Piemērojot iepriekšējiem piemēriem, gājieni, kas satur W-3/W-2 sajaukumu un nederīgo meklēšanas izsaukumu, saņem KL. Cits neatzīmēts asistenta saturs veiksmīgā sesijā joprojām saņem CE. Cits asistenta saturs neveiksmīgā sesijā tiek saglabāts kā konteksts, bet saņem ne CE, ne KL.

Mūsu novērtējumi atbild uz diviem atsevišķiem jautājumiem. Pirmkārt, vai norāde faktiski palīdz modelim labot kļūdu, kad norāde ir klāt? Otrkārt, vai apmācība palīdz modelim izvairīties no šīs kļūdas vēlāk, bez norādes? Pirmais pārbauda, vai norādes nodrošina noderīgus apmācības signālus. Otrais pārbauda, vai modelis no tām mācās.

Mēs pārbaudām pirmo jautājumu pirms apmācības sākuma, lai pārliecinātos, ka norādes patiešām var novirzīt modeli prom no kļūdām.

Mēs reģenerējām atzīmētos lietotāja atgriezeniskās saites gājienus ar norādi un bez tās, izmantojot to pašu GLM-5.2 bāzes modeli nulles temperatūrā. Akls tiesnesis redz vēlāko sūdzību, bet ne norādi, ne to, kurš nosacījums radīja atbildi.

W-3 piemērā norāde novirza nākamā tokena varbūtību uz „3” un prom no „2” pēc prefiksa „W-”.

Nākamā tokena varbūtības pēc W- novirzās uz 3, nevis 2, kad nemainīts bāzes modelis saņem norādi. — Norāde saglabā pieprasīto W-3 veidlapu. Stabiņi parāda vidējās nākamā tokena varbūtības astoņās virzītās caurlaidēs; ūsas parāda novēroto diapazonu, nevis ticamības intervālu. Abos nosacījumos tiek izmantots nemainīts bāzes modelis.

Lielākā 40 gājienu neiekļautā paraugā, ko pamato skaidri deklarēti agrāki pierādījumi, to gājienu īpatsvars, kuri novērtēti kā salaboti vai uz pareizā ceļa, pieaug no 40,0% bez norādes līdz 75,0% ar norādi. Citā 40 gājienu paraugā, ko pamato secināts nolūks, tas pieaug no 32,5% līdz 80,0%.

Norāžu validācija: fiksētie vai pareizā virzienā ejošie rādītāji palielinās no 40,0% līdz 75,0% skaidriem pierādījumiem un no 32,5% līdz 80,0% secinātam nolūkam. — Norāžu validācija, nevis novērtējums pēc apmācības. Tādi paši 40 atzīmētie gājieni katrā pierādījumu grupā tiek reģenerēti ar norādi un bez tās, izmantojot nemainītu GLM-5.2 nulles temperatūrā. Tiesnesis redz sūdzību, bet ne norādi vai nosacījumu. Skaitļi ir atvasināti no pārskata rādītājiem un paraugu izmēriem; ticamības intervāli netiek ziņoti.

Meklēšanas rīka kļūdas piemērā norāde patiešām pārvieto varbūtības masu no gada tokena uz mēneša tokenu.

Norāde novirza nemainītā bāzes modeļa nākamā tokena varbūtības prom no gida un uz atļauto vērtību mēnesi. — Norāde novirza varbūtību uz atļauto vērtību. Stabiņi parāda vidējās nākamā tokena varbūtības astoņās virzītās caurlaidēs; ūsas parāda novēroto diapazonu, nevis ticamības intervālu. Abos nosacījumos tiek izmantots viens un tas pats bāzes modelis; apmācīta kontroldaļa netiek salīdzināta.

Lielākā 985 gājienu neiekļautā paraugā mēs reģenerējam katru gājienu četras reizes ar norādi un bez tās, izmantojot to pašu bāzes modeli. Akls vērtētājs novērtē, vai katra reģenerācija novērš sākotnējo kļūmi. Norādes palielina kļūmju novēršanu no 75,1% līdz 93,7%, kas ir pāra ieguvums par 18,6 procentpunktiem, un palielina to darbību īpatsvaru, kuras veic koriģējošu darbību, no 60,6% līdz 82,3%. Ieguvumi ir vislielāki pie kļūdām, kuras vienkārši atkārtota paraugu ņemšana nespēj novērst.

985 neiekļautos atzīmētos rīka kļūdu gājienos norādes palielina kļūmju novēršanu no 75,1% līdz 93,7% un laboto darbību rādītājus no 60,6% līdz 82,3%. — Rīka kļūdu norāžu validācija 985 neiekļautos atzīmētos gājienos, veicot četras reģenerācijas uz nosacījumu. Stabiņi parāda kļūmju novēršanas un laboto darbību rādītājus nemainītam bāzes modelim ar norādēm un bez tām. Mērķa kļūdas novēršana negarantē rīka izsaukuma vai uzdevuma veiksmīgu izpildi.

Tālāk mēs pārbaudām, vai apmācītais modelis pieļauj mazāk kļūdu, nesaņemot mājienus. Mēs novērtējam standarta modeli un dažādus pēcapmācības kontrolpunktus bezsaistes etalontestos un tiešajās lietotāju sesijās, pārbaudot, vai ir mazāk rīku kļūmju un mazāka lietotāju neapmierinātība.

Bezsaistes novērtējumā tiek izmantoti BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, reprezentatīva Computer uzdevumu kopkopa, kā arī tiek pārbaudīta prasmju ielāde, dokumentu pārskatīšana un iekļautās atsauces. Mēs mērām to rīka izsaukumu īpatsvaru, kuru rezultāti ir skaidri atzīmēti kā kļūdas visās novērtēšanas trajektorijās.

Šajos novērtējumos reģistrētais rīka kļūdu īpatsvars bija 2,79% bāzes GLM 5.2, 1,35% tikai RFT kontroldaļai un 0,87% RFT-plus-OPSD kontroldaļai. Šīs kontroldaļas tika apmācītas ar dažādiem datiem, tāpēc tā nav OPSD saskaņotu datu ablācija. Uzdevumu līmeņa starpatskaites rezultāti bija dažādi, tāpēc mazāk rīku kļūdu vien ne vienmēr nozīmē plašu uzdevuma izpildes panākumu uzlabošanos.

Bezsaistē reģistrētie rīka kļūdu rādītāji: 2,79% bāzes GLM 5.2, 1,35% tikai RFT un 0,87% RFT plus OPSD; apmācības dati atšķiras. — Bezsaistes rīka kļūdu rādītāji bāzes GLM-5.2, tikai RFT un RFT-plus-OPSD kontroldaļām. Apmācības dati dažādām kontroldaļām atšķiras; tā nav kontrolēta ablācija.

GLM-5.2 gadījumā mēs veicām divus atsevišķus A/B testus ar apmēram simtu tūkstošu lietotāju katrā nosacījumā. Pirmajā testā agrīnam RFT-plus-OPSD kontrolpunktam bija nedaudz zemāks rīku kļūmju rādītājs nekā bāzes GLM 5.2 (2,82% pret 2,94%), taču atšķirība nebija statistiski nozīmīga.

Vēlākajā testā mēs salīdzinājām divas RFT-plus-OPSD kontroldaļas: agrāku (kontroldaļa viens) un vēlāku (kontroldaļa divi). Rīka izsaukumu kļūdas samazinājās no 2,24% līdz 1,77% no izsaukumiem ar reģistrētu statusu. Tas bija statistiski nozīmīgs relatīvais samazinājums par 21,2%. Mēs tieši nesalīdzinājām kontroldaļu divi ar bāzes GLM 5.2 tiešsaistē.

Lietotāju atsauksmju rezultāti bija mazāk pārliecinoši. Otrajā GLM-5.2 eksperimentā vidējā stipras neapmierinātības (vidējas vai augstas) varbūtība pirmajam kontrolpunktam bija 2,58% un otrajam kontrolpunktam – 2,54%, bez statistiski nozīmīgas atšķirības.

Divi atsevišķi tiešsaistes A/B testi; tikai vēlākajai kontroldaļu salīdzināšanai ir būtiska rīka kļūdu samazināšanās bez būtiskām MID+ neapmierinātības izmaiņām. — Divi atsevišķi GLM-5.2 reāllaika A/B testi. 1. kontrolpunkts tiek salīdzināts ar bāzes GLM-5.2; 2. kontrolpunkts tiek salīdzināts ar 1. kontrolpunktu. Šajos divos testos tikai vēlākā rīku kļūmju samazināšanās ir statistiski nozīmīga. MID+ rādītāji atspoguļo vidējās paredzamās vidējas vai augstas neapmierinātības varbūtības, nevis sūdzību skaitu.

Modelim GLM-5.3 mēs salīdzinājām pēcapmācītu kontpunktu tieši ar bāzes GLM-5.3. Rīku izsaukumu kļūmes samazinājās no 3,56% līdz 2,38% no izsaukumiem ar reģistrētu statusu, kas ir relatīvs samazinājums par 33,04%. MID+ rādītājs (vidējā aptuvenā vidējas vai augstas neapmierinātības varbūtība) samazinājās no 4,12% līdz 3,41%, kas ir relatīvs samazinājums par 17,2%. Abi samazinājumi bija statistiski nozīmīgi.

GLM-5.3 A/B tests: rīku kļūmju īpatsvars samazinās no 3,56% līdz 2,38%, un MID+ rādītājs (vidējā aptuvenā vidējas vai augstas neapmierinātības varbūtība) samazinās no 4,12% līdz 3,41%. Ar CUPED koriģētie relatīvie samazinājumi ir attiecīgi 33,04% un 17,16%. Abi 95% secīgie intervāli neietver nulli; galvenais iesaistes metrika nav nozīmīga. — Pēcapmācīts GLM-5.3 pret bāzes GLM-5.3 atsevišķā tiešsaistes A/B testā. Rīku kļūmju un MID+ rādītāji, relatīvās izmaiņas un 95% secīgie ticamības intervāli izmanto CUPED korekciju. Abi samazinājumi ir statistiski nozīmīgi. MID+ rādītāji ir vidējās aptuvenās vidējas vai augstas neapmierinātības varbūtības attiecīgajās novērtētajās turpinājuma pavedienos, nevis sūdzību skaits. Rīku kļūmju rādītāji neietver izsaukumus bez reģistrēta sekmīgas vai nesekmīgas izpildes statusa.

Galvenā ideja ir mācīties lēmuma līmenī, nevis tikai sesijas līmenī.

Veiksmīgs rezultāts var noslēpt kļūdas, un neveiksmīga sesija joprojām var atklāt, kā uzlabot sniegumu. Mēs saglabājam noderīgu uzvedību no veiksmīgām sesijām kā atbalsta punktu, izmantojam sūdzības un rīku kļūdas, lai identificētu novēršamas kļūmes, un apmācām modeli virzībā uz prognozēm, ko tas izdara, kad šīs kļūdas un korekcijas tiek padarītas skaidras. Veiksme nodrošina saglabājamu uzvedību; neveiksme nodrošina virzienu uzlabojumiem.

Reālās pasaules lietojums padara šo pieeju īpaši noderīgu. Reāli lietotāji ienes mērķus, ierobežojumus un darbplūsmas, kuras ir grūti paredzēt sintētiskajā vidē. Viņu labojumi atklāj prasības, kuras modelis palaidis garām, savukārt rīka kļūdas atklāj nepilnības starp to, ko modelis mēģināja izdarīt, un to, ko vide atļauj. Šie signāli papildina rezultātu balstītu apmācību: tā vietā, lai jautātu tikai to, vai uzdevums izdevās, mēs varam jautāt, kur modelis kļūdījās un kāda informācija varētu tam palīdzēt pieņemt labāku lēmumu.

Ierobežojumi ir tikpat svarīgi. Tiesneši var kļūdīties, un vienas kārtas labošana negarantē pilnu uzdevuma sekmīgu izpildi. Mērķis nav vienīgi aģents, kas atjaunojas pēc labojuma. Tas ir aģents, kuram labojumi ir nepieciešami retāk.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

No sintētiskajiem datiem uz reālās pasaules datiem

Atdarināt labos soļus, labot sliktos

Piemērs: viena sesija var iemācīt abas mācības

Kā darbojas apmācība

Atlasīt sesijas, pēc tam novērtēt rezultātu

Atrast kļūdas no lietotāja atgriezeniskās saites

Atrast kļūdas no rīku kļūdām

Divas virzītas caurlaides

Zuduma funkcija

CE zudums

KL zudums

Kombinētais zudums

Ko uzrāda novērtējumi

Norādes var novirzīt modeli prom no kļūdām

Lietotāja atgriezeniskā saite

Rīka kļūdas

Rīku uzticamība un lietotāju atsauksmes pēc apmācības

Bezsaistes novērtējums

Tiešsaistes novērtējums: GLM-5.2

Tiešsaistes novērtējums: GLM-5.3

Secinājums

Citāts