Učenje iz iskustva u stvarnom svetu

Kako korisnici stupaju u interakciju sa našim proizvodima u stvarnom svetu je vredan izvor za obuku modela. Podaci su u izobilju, odražavaju stvarnu distribuciju korisničkih zadataka i hvataju ispravke korisnika i kvarove alata koje sintetička okruženja mogu propustiti.

Uobičajeni način učenja iz podataka u stvarnom svetu je fino podešavanje uzorkovanja odbacivanja: procenite ishod svake sesije, zadržite uspešne i obučite model da ih oponaša. Ali uspešan ishod ne znači da je svaki korak bio tačan, tako da oponašanje cele trajektorije rizikuje da ojača loša međuponašanja pored dobrih. Odbacivanje neuspelih sesija takođe gubi kritične dokaze o tome gde model podbacuje.

Kombinujemo fino podešavanje uzorkovanjem odbacivanja sa samodestilacijom vođenom nagoveštajima kako bismo učili i iz uspešnih i iz neuspešnih sesija. Nagoveštaj je kratko korektivno uputstvo zasnovano na informacijama koje je model već imao kada je napravio grešku. Korisni koraci iz uspešnih sesija ostaju ciljevi imitacije, dok prizemljeni nagoveštaji pretvaraju greške koje je moguće izbeći u ciljeve korekcije.

Ispravke korisnika i greške alata dodaju nadzor o tome šta je pošlo po zlu usput, pored toga da li je zadatak na kraju uspeo. Primenjujemo ovu fazu nakon učenja sa potkrepljenjem u sintetičkim okruženjima kako bismo pomogli u premošćavanju jaza između tih okruženja i upotrebe u stvarnom svetu.

U upotrebi uživo, kasnija naknadno obučena GLM-5.2 tačka provere smanjila je broj neuspešnih poziva alata za 21,2% u poređenju sa ranije obučenom tačkom provere. Za GLM-5.3, naknadno obučavanje je smanjilo broj neuspešnih poziva alata za 33,0%, a prosečnu procenjenu verovatnoću srednjeg ili visokog nezadovoljstva korisnika za 17,2% u poređenju sa osnovnim modelom.

Sintetički zadaci nam omogućavaju da kreiramo kontrolisane probleme sa ishodima koje je lako proveriti, ali su obično ograničeni na jedan prompt i mogu pokriti samo scenarije koje izričito dizajniramo.

Nasuprot tome, korisnici u sesijama u stvarnom svetu donose različita uputstva, kontekst i kombinacije alata u sesije koje se odvijaju kroz više okreta interakcije. Takva upotreba u stvarnom svetu prirodno daje dva vredna signala grešaka: ispravke korisnika otkrivaju gde agent nije uspeo da isporuči ono što su želeli, a greške alata pokazuju gde su se njegove radnje raspale u stvarnim okruženjima. Naš cevovod za uzorkovanje poštuje privatnost korisnika i izbore obuke isključivanjem sesija sa lično prepoznatljivim informacijama (PII) i od korisnika koji su isključeni.

Podaci iz stvarnog sveta nam stoga daju slučajeve grešaka koje sintetičko okruženje možda neće otkriti i često dolaze sa već ugrađenim mestom gde se greška dogodila.

Pri obuci na podacima iz stvarnog sveta, standardno fino podešavanje uzorkovanja odbacivanja (RFT) bira uspešne sesije na osnovu njihovih konačnih ishoda, bez izričitog korišćenja povratnih informacija korisnika i alata za razlikovanje dobrih srednjih radnji od loših. Agent može da se oporavi od lošeg poziva alata ili da ispravi grešku nakon povratnih informacija korisnika i i dalje da isporuči pravi izlaz na kraju.

Odbacivanje neuspelih sesija takođe ograničava efikasnost uzoraka. Sesija koja nikada ne dostiže dobar rezultat i dalje može otkriti jasnu, izbegnutu grešku kao korisne signale za obuku.

Rešavamo ova ograničenja odvajanjem dve odluke: koje sesije sadrže ponašanje vredno oponašanja i koji okreti sadrže greške vredne ispravljanja. Cevovod podataka donosi ove odluke zasebno, a zatim dodeljuje skretanja modela jednom od tri tretmana:

Oponašaj: okreti bez grešaka u uspešnim sesijama primaju običan gubitak unakrsne entropije (CE), povećavajući verovatnoću zabeleženih tokena.
Tačno: i u uspešnim i u neuspešnim sesijama, okreti grešaka sa važećim nagoveštajem primaju Kullback–Leibler (KL) gubitak divergencije, pomerajući model ka predviđanjima sledećeg tokena koja pravi kada vidi nagoveštaj.
Zadrži kao kontekst: okreti u neuspelim sesijama kojima nedostaje potvrđeni nagoveštaj i označeni loši okreti bez potvrđenog nagoveštaja u bilo kom tipu sesije, služe kao kontekst ali ne primaju nijedan gubitak.

Kao rezultat toga, uspešne sesije mogu da obezbede i ciljeve oponašanja i korekcije, dok neuspešne sesije obezbeđuju samo ciljeve korekcije. Svi preostali okreti, uključujući sistem, korisnika i izlaz alata, ostaju kao kontekst.

Dijagram usmeravanja sesije: uspešne sesije obezbeđuju CE oponašanje i ispunjavajuće nagoveštene korekcije; neuspešne sesije obezbeđuju samo ispunjavajuće korekcije. — Trenutno usmeravanje sesije i maske sadržaja asistenta. Uspešne sesije doprinose ciljevima oponašanja; zadržani zapisi povratnih informacija mogu doprineti nagoveštenim korekcijama čak i kada je sesija neuspešna. Drugi sadržaj ostaje kao kontekst. Nepotpune sesije su isključene. CE izuzetak nefinalnog prinosa/zaustavnog tokena nije nacrtan, i ovaj dijagram ne uspostavlja mešavinu koju koristi ranija tačka provere.

Deo oponašanja koristi standardni RFT. Korektivni deo koristi On-Policy Self-Distillation (OPSD): isti model deluje kao nastavnik i učenik, pri čemu nastavnik dobija privilegovane informacije. Ovde su te privilegovane informacije kratak nagoveštaj koji objašnjava grešku koja se može izbeći. Obučavamo učenika da odgovara predviđanjima sledećeg tokena nastavnika bez predavanja nagoveštaja.

Oba dela su važna. Obuka samo za korekciju može otkriti prečicu: nastavnik i učenik se mogu složiti zanemarivanjem konteksta umesto učenja korekcije. CE član usidruje obuku na korisno ponašanje, pomažući da se odvrati slaganje koje dolazi od zanemarivanja konteksta.

Nakon obuke obučen student tada postaje opcija modela u računaru. Sveže sesije iz upotrebe uživo prolaze kroz iste filtere podobnosti i privatnosti pre nego što uđu u drugi krug cjevovoda obuke.

Zatim prolazimo kroz konkretan primer koji sadrži i oponašanje i korekciju.

Razmotrite eventualnu uspešnu sesiju u kojoj korisnik traži poređenje promena asyncio-a u Pythonu 3.13 koristeći zvaničnu dokumentaciju. Naša dokumentacija alata navodi da search.web vraća listu pogodaka, od kojih svaki ima polje url.

Model prvo pokreće važeću pretragu za jednu verziju kao deo prikupljanja dokaza za poređenje, što je dobro ponašanje koje treba oponašati.

Međutim, sledeći poziv za izvršenje koda netačno tretira tu listu kao rečnik. Alat za kod vraća TypeError: list indices must be integers or slices, not str. Pošto je povratni tip dokumentovan pre poziva, to je greška koju je model trebao moći izbeći. Nagoveštaj sa desnim pozivom može se generisati da ispravi tu radnju.

Ilustrativna sesija kodiranja: sistemski i korisnički unos i greške alata ostaju kontekst; korisna zabeležena pretraga i pozivi oporavka primaju CE u uspešnoj sesiji; označeno pogrešno pretraživanje liste prima KL prema nastavniku kojem je dat utemeljeni nagoveštaj. — Ilustrativna sesija kodiranja prikazuje tri uloge obuke: unose samo za kontekst i izlaze alata (sivo), CE oponašanje korisnih zabeleženih poziva (tamno) i KL korekciju označene greške (zelenoplavo). Ovde model netačno tretira listu pogodaka pretrage kao rečnik; nagoveštaj samo za nastavnika utemeljen u ranijoj dokumentaciji alata vodi korekciju. CE ciljevi se primenjuju samo kada se proceni da je završena sesija uspešna, dok neuspešna sesija i dalje može da obezbedi prihvatljiv cilj KL korekcije.

Cevovod obuke ima četiri faze: izaberite sesije i procenite njihove ishode, identifikujte greške i kreirajte nagoveštaje iz povratnih informacija korisnika i grešaka alata, generišite verovatnoće sledećeg tokena od nastavnika i učenika i obučite model sa kombinovanim CE i KL gubitkom.

Samplingni pipeline uzima iz podskupa stvarnih Computer sesija koje ispunjavaju uslove za obuku, a koje servisira GLM 5.2. Isključenja za korisnike koji su se odjavili od obuke i isključenja vezana za PII u pipeline-u primenjuju se pre odabira primera za ovaj radni tok.

Početni proces skrininga bira kandidate ocenjene sa 4 ili 5 na skali težine zadatka od pet poena od strane LLM sudije i deli ih u 2 grupe:

Grupa povratnih informacija korisnika sadrži sesije sa originalnim praćenjem od strane korisnika ili zastavicom srednjeg do visokog nezadovoljstva. Nalazimo da su ova praćenja visoke namere posebno korisna za učenje: korisnici aktivno pokušavaju da završe zadatak, a njihove ispravke precizno određuju šta je model propustio.
Grupa grešaka alata sadrži sesije sa neuspelim pozivima označenim proverama zasnovanim na pravilima, isključujući prepoznate kvarove infrastrukture i odbijenu autorizaciju.

Dva LLM sudije zatim procenjuju konačnu isporuku u odnosu na korisnikov zahtev; oba sudije moraju vratiti pozitivnu presudu da bi se sesija označila kao „uspešna“. Za slučajeve koji isporučuju artefakte, faza rezultata može rekonstrukciju i pregled isporuke, vraćajući se na procene zasnovane na tekstu ako ta faza ne uspe. Sesije koje su klasifikovane kao nepotpune, kao što je rad koji čeka korisnika, su isključene.

Ovaj korak identifikuje potencijalne izvore signala učenja; međutim, nije svaka greška pripisana modelu, jer neke proističu iz dvosmislenih uputstava ili kvarova infrastrukture. Kasnija anotacija utvrđuje koje su kandidatske greške zapravo izbegnute i pogodne za obuku.

Razmotrite uzorak sesije u grupi za povratne informacije korisnika, gde korisnik pita: „Kako da pronađem svoj w3 na paychex-u“. Model tretira „w3“ kao štamparsku grešku za W-2, traži uputstva za W-2 i objašnjava kako pronaći taj obrazac. Naknadno pitanje korisnika, „Mislio sam na W-3 obrazac za prenos“, identifikuje grešku, čak i ako sesija na kraju uspe.

Žalba pomaže u lociranju greške, ali korenski uzrok je ranija odluka da se „w3“ reinterpretira kao W-2. Prvobitni zahtev čini grešku izbegnutom: model je mogao da sačuva W-3 ili da zatraži pojašnjenje. Ispostavilo se da je poslednji okret asistenta pre žalbe korenski uzrok samo oko polovine vremena.

Naš cevovod za anotaciju sistematski mapira uzrok i posledicu unutar svake sesije povratnih informacija korisnika. Anotator prvo proverava propušteni zahtev ili nameru podržanu ranijim kontekstom. Tri LLM sudije zatim identifikuju odgovorne okrete, zahtevajući da se najmanje dva slože oko datog okreta. Ponekad ranija izjava izričito utvrđuje zahtev. U drugim slučajevima, nijedna prethodna izjava to ne čini, ali više delova prethodnog razgovora zajedno čine nameravano ponašanje zaključivim. Ovaj dizajn im omogućava da povežu žalbu sa ranijom korenskom greškom umesto da je pripišu isključivo poslednjem odgovoru.

Pre prihvatanja nagoveštaja, cevovod takođe proverava da li njene korektivne tvrdnje slede iz informacija dostupnih pre označenog okreta. Ove provere imaju za cilj da smanje pristrasnost naknadne pameti, gde se nova preferencija otkrivena u žalbi tretira kao nešto što je model već trebao da zna.

U ovom primeru, nagoveštaj govori modelu da traži W-3 obrazac za prenos na Paychex-u umesto W-2, ili da pita na koji obrazac korisnik misli ako je zahtev dvosmislen. Korekcija cilja na raniju interpretaciju i odluku o pretrazi, a ne samo na konačni odgovor. Originalni okret ostaje nepromenjen; anotacija dodaje is_bad_turn: true i neprazan hint.

Zahtev za W-3 je pogrešno protumačen kao W-2; kasnija žalba se prati do ranije odluke o pretrazi i proverava u odnosu na prethodne dokaze. — Stvarna sesija koja pokazuje kako se žalba prati do ranije greške, sa prekrivenom procedurom anotacije. Korisnik je tražio „w3“ na Paychex-u, ali ga je model tretirao kao štamparsku grešku za W-2 i tražio pogrešan obrazac. Konsenzus predlagača locira korenski uzrok, dok dve provere utemeljenja procenjuju da li dokazi prethode grešci i da li tvrdnje nagoveštaja slede iz informacija dostupnih u tom trenutku. Prihvaćene anotacije čuvaju originalni tekst i dodaju oznake i nagoveštaje, umesto prepisanih ciljeva.

Razmotrite još jednu sesiju u grupi grešaka alata sa pozivom pretrage gde agent pretražuje sa recency_filter: "year", ali alat to odbija zato što su dozvoljene vrednosti „day“, „week“ ili „month“. Ovo je jasno kršenje šeme.

Putanja greške alata koristi deterministička pravila za poznate greške i prosuđivanje modela za dvosmislene slučajeve. Sama poruka o grešci takođe nije dovoljna da okrivi model; ocenjena korekcija mora ukazivati na nešto što je model mogao znati iz šeme alata, sistemskih uputstava ili ranijeg razgovora.

Poziv pretrage koristi nevažeću vrednost recency_filter godina; utemeljeni nagoveštaj instruira model da koristi navedenu vrednost ili izostavi opcionalno polje. — Nevažeći argument pretrage u izveštaju ilustruje trenutnu proceduru greške alata. Šema ovu grešku čini izbegnutom; samo prekid ne bi. Prvobitni poziv ostaje u zapisu i prima utemeljeni nagoveštaj. Nagoveštaj dozvoljava navedenu vrednost ili izostavljanje ako je polje opcionalno; ne zahteva „mesec“ za svaki zahtev.

Ovde nagoveštaj imenuj neuspešni poziv, uključuje grešku validacije i instruira model da koristi dozvoljenu vrednost ili izostavi polje ako je opcionalno.

Kada je korak označen, trener pokreće istu kontrolnu tačku dvaput: jednom kao nastavnik i jednom kao učenik. Nastavnik vidi nagoveštaj; učenik ne.

Oba prolaza koriste primenu nastavnika, gde modelu ubacujemo zabeleženu sesiju umesto da mu dozvolimo da bira nove tokene. Prolaz napred i dalje proizvodi punu distribuciju sledećeg tokena u svakom koraku, ali je uvek uslovljen fiksnim prefiksom iz snimka, a ne tokenima uvođenja.

Za primer pretrage, isti model dodeljuje mnogo veću verovatnoću za „mesec“ i manju za „godinu“ kada mu se da nagoveštaj. Obuka koristi ovu distribucionu promenu kao meki cilj.

Isti model boduje zabeleženi okret sa i bez nagoveštaja; verovatnoće odvojenog nastavnika isporučuju KL ciljeve dok CE usidruje oponašanje. — Dva prolaza, jedan set težina. Oba prolaza boduju prijavljeni nastavak; samo nastavnik prima nagoveštaje. Njegove odvojene verovatnoće sledećeg tokena vode učenika kroz napredni KL. Odvojeni CE ciljevi usidruju oponašanje. Oba gubitka napajaju jedno ažuriranje težine. Raniji nagoveštaji mogu ostati u trenutnom segmentu nastavnika; nijedan prolaz ne generiše zamenski odgovor za obuku.

Predviđanja nastavnika su odvojena ili zaustavljaju gradijent: oni obezbeđuju cilj, ali ne primaju ažuriranje kroz prolaz nastavnika. Nakon prolaza učenika, jedan korak optimizatora ažurira deljeni model.

CE gubitak tretira zabeležene tokene izabrane za oponašanje kao ciljeve istine i kažnjava model za dodeljivanje niskih verovatnoća. Ovo stvara težak cilj oponašanja.

Na poziciji tokena $i$ , neka $p_i(v)$ bude verovatnoća tokena učenika $v$ u punom rečniku $V$ . Zabeleženi sledeći token u odgovoru ili pozivu alata je $y_i$ , ciljna distribucija sa jednim vrućim je $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Unakrsna entropija meri koliko dobro učenik predviđa taj zabeleženi token. Sa jednim vrućim ciljem, svodi se na negativnu log-verovatnoću dodeljenu $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE maska $m_i^{\mathrm{CE}}$ je $1$ tamo gde token treba oponašati i $0$ inače. Sabiranje po izabranim pozicijama daje gubitak oponašanja.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL gubitak umesto toga koristi punu verovatnoću distribucije sledećeg tokena nastavnika $q_i$ kao meki cilj korekcije. Kontekst nastavnika uključuje trenutni nagoveštaj i sve ranije nagoveštaje zadržane u tom segmentu obuke; kontekst učenika je uvek bez nagoveštaja.

KL maska $m_i^{\mathrm{KL}}$ je $1$ tamo gde token treba korigovati i $0$ inače; CE i KL maske se ne preklapaju. Na ovim pozicijama, napredni KL kažnjava neslaganje između nastavnika i učenika u celom rečniku:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Oba člana dele jedan imenilac umesto da se normalizuju odvojeno. Ovaj imenilac broji ukupne tokene izabrane za oponašanje u globalnoj seriji obuke. Težina $\lambda$ kontroliše doprinos korektivne obuke u odnosu na oponašanje.

Ova deljena normalizacija odgovara interfejsu sa jednim imeniocem naše infrastrukture obuke i oporavlja standardni SFT gubitak kada $\lambda=0$ , pojednostavljujući poređenja osnove. Pošto su CE tokeni mnogo brojniji od KL tokena, korišćenje deljenog imenioca takođe izbegava dodeljivanje nesrazmerno velikih težina pojedinačnim KL tokenima u serijama sa malo označenih tokena.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Primenjeno na ranije primere, okreti koji sadrže mešanje W-3/W-2 i nevažeći poziv pretrage primaju KL. Drugi neoznačeni sadržaj asistenta u uspešnoj sesiji i dalje prima CE. Drugi sadržaj asistenta u neuspešnoj sesiji se zadržava kao kontekst, ali ne prima ni CE ni KL.

Naše evaluacije odgovaraju na dva odvojena pitanja. Prvo, da li nagoveštaj zapravo pomaže modelu da ispravi grešku kada je nagoveštaj prisutan? Drugo, da li obuka pomaže modelu da izbegne tu grešku kasnije, bez nagoveštaja? Prvi testira da li nagoveštaji obezbeđuju korisne signale za obuku. Drugi testira da li model uči iz njih.

Testiramo prvo pitanje pre početka obuke kako bismo bili sigurni da nagoveštaji zaista mogu da usmere model dalje od grešaka.

Regenerisali smo označene poteze povratnih informacija korisnika sa i bez nagoveštaja, koristeći isti osnovni model GLM-5.2 na nultoj temperaturi. Slijepi sudija vidi kasniju žalbu, ali ni nagoveštaj ni koji uslov je proizveo odgovor.

U primeru W-3, nagoveštaj pomera verovatnoću sledećeg tokena prema „3“ i dalje od „2“ nakon prefiksa „W-“.

Verovatnoće sledećeg tokena nakon W- se pomeraju ka 3, a ne ka 2 kada nepromenjeni osnovni model primi nagoveštaj. — Nagoveštaj čuva traženi W-3 obrazac. Trake pokazuju srednje verovatnoće sledećeg tokena u osam prolaza napred; brkovi pokazuju uočeni opseg, a ne interval poverenja. Oba uslova koriste nepromenjeni osnovni model.

Na većem uzorku od 40 okreta koji su zadržani i podržani izričito navedenim ranijim dokazima, udeo procenjen kao fiksiran ili na putu raste sa 40,0% bez nagoveštaja na 75,0% sa njim. Na drugih 40 okreta podržanih izvedenom namerom, raste sa 32,5% na 80,0%.

Validacija nagoveštaja: fiksne ili na putu stope se povećavaju sa 40,0% na 75,0% za eksplicitne dokaze i sa 32,5% na 80,0% za izvedenu nameru. — Validacija nagoveštaja, a ne evaluacija nakon obuke. Istih 40 označenih okreta u svakoj grupi dokaza se regeneriše sa i bez nagoveštaja koristeći nepromenjeni GLM-5.2 na nultoj temperaturi. Sudija vidi žalbu, ali ne i nagoveštaj ili uslov. Brojevi su izvedeni iz stopa i veličina uzoraka izveštaja; intervali poverenja se ne prijavljuju.

U primeru greške alata za pretragu, nagoveštaj zaista pomera masu verovatnoće sa tokena godine na token meseca.

Nagoveštaj pomera verovatnoće sledećeg tokena nepromenjenog osnovnog modela sa godine na dozvoljenu vrednost mesec. — Nagoveštaj pomera verovatnoću ka dozvoljenoj vrednosti. Trake pokazuju srednje verovatnoće sledećeg tokena u osam prolaza napred; brkovi pokazuju uočeni opseg, a ne interval poverenja. Oba uslova koriste isti osnovni model; nijedna obučena tačka provere se ne upoređuje.

Na većem uzorku od 985 okreta koji su zadržani, regenerišemo svaki okret četiri puta sa i bez nagoveštaja koristeći isti osnovni model. Slijepi sudija procenjuje da li svaka regeneracija izbegava prvobitni kvar. Nagoveštaji podižu izbegavanje kvara sa 75,1% na 93,7%, upareni dobitak od 18,6 procentnih poena, i povećavaju udeo preuzimanja ispravljene radnje sa 60,6% na 82,3%. Dobici su najveći kod grešaka koje samo ponovljeno uzorkovanje teško popravlja.

Na 985 zadržanih označenih okreta greške alata, nagoveštaji podižu izbegavanje kvara sa 75,1% na 93,7% i stope ispravljenih radnji sa 60,6% na 82,3%. — Validacija nagoveštaja greške alata na 985 zadržanih označenih okreta, sa četiri regeneracije po uslovu. Trake prikazuju izbegavanje kvara i stope ispravljenih radnji za nepromenjeni osnovni model, sa i bez nagoveštaja. Izbegavanje ciljane greške ne uspostavlja uspeh poziva alata ili zadatka.

Zatim testiramo da li obučeni model pravi manje grešaka bez dobijanja tragova. Procenjujemo stock model i razne post-trenirane kontrolne tačke na oflajn benchmark zadacima i u živim sesijama korisnika, proveravajući da li ima manje grešaka alata i manje nezadovoljstva korisnika.

Ofllajn evaluacija koristi BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, reprezentativni skup zadataka računara i proverava učitavanje veština, pregled dokumenata i inline citate. Merimo udeo poziva alata čiji su rezultati izričito označeni kao greške u trajektorijama evaluacije.

U ovim evaluacijama, zabeležena stopa grešaka alata bila je 2,79% za standardni GLM 5.2, 1,35% za tačku provere samo za RFT i 0,87% za tačku provere RFT-plus-OPSD. Ove tačke provere su obučavane na različitim podacima, tako da ovo nije ablacija uparenih podataka OPSD. Rezultati benčmarka na nivou zadatka bili su mešoviti, tako da manje grešaka alata samo po sebi ne znači nužno i široko poboljšanje uspeha zadatka.

Zabeležene stope grešaka alata van mreže: 2,79% za standardni GLM 5.2, 1,35% za samo RFT i 0,87% za RFT plus OPSD; podaci o obuci se razlikuju. — Stope grešaka alata van mreže za GLM-5.2 zaliha, samo RFT i tačke provere RFT-plus-OPSD. Podaci o obuci se razlikuju u različitim tačkama provere; ovo nije kontrolisana ablacija.

Za GLM-5.2 pokrenuli smo dva odvojena A/B testa sa oko sto hiljada korisnika u svakom uslovu. U prvom, rana RFT-plus-OPSD kontrolna tačka imala je neznatno nižu stopu grešaka alata od standardnog GLM 5.2, 2,82% prema 2,94%, ali razlika nije bila statistički značajna.

U kasnijem testu uporedili smo dve RFT-plus-OPSD tačke provere: raniju (tačka provere jedan) i kasniju (tačka provere dva). Kvarovi poziva alata pali su sa 2,24% na 1,77% poziva sa zabeleženim statusom. Ovo je bilo statistički značajno relativno smanjenje od 21,2%. Nismo direktno uporedili tačku provere dva sa standardnim GLM 5.2 na mreži.

Rezultati povratnih informacija korisnika bili su manje ubedljivi. U drugom GLM-5.2 eksperimentu, prosečna verovatnoća snažnog nezadovoljstva (srednjeg ili visokog) iznosila je 2,58% za prvu kontrolnu tačku i 2,54% za drugu kontrolnu tačku, bez statistički značajne razlike.

Dva odvojena onlajn A/B testa; samo kasnija poređenja tačaka provere imaju značajno smanjenje kvarova alata, bez značajnih promena nezadovoljstva sa MID+. — Dva odvojena GLM-5.2 A/B testa uživo. Kontrolna tačka 1 se poredi sa standardnim GLM-5.2; kontrolna tačka 2 se poredi sa kontrolnom tačkom 1. Unutar ova dva testa, samo je kasnije smanjenje grešaka alata statistički značajno. MID+ stope predstavljaju prosečne procenjene verovatnoće srednjeg ili visokog nezadovoljstva, a ne brojeve žalbi.

Za GLM-5.3 uporedili smo tačku provere nakon naknadnog obučavanja direktno sa osnovnim modelom GLM-5.3. Neuspeli pozivi alata pali su sa 3,56% na 2,38% poziva sa zabeleženim statusom, što predstavlja relativno smanjenje od 33,04%. Stopa MID+, odnosno prosečna procenjena verovatnoća srednjeg ili visokog nezadovoljstva, pala je sa 4,12% na 3,41%, što predstavlja relativno smanjenje od 17,2%. Oba smanjenja bila su statistički značajna.

A/B test za GLM-5.3: stopa neuspeha alata pala je sa 3,56% na 2,38%, a stopa MID+, što predstavlja prosečnu procenjenu verovatnoću srednjeg ili visokog nezadovoljstva, pala je sa 4,12% na 3,41%. Relativna smanjenja prilagođena pomoću CUPED-a iznose 33,04% odnosno 17,16%. Oba sekvencijalna intervala od 95% ne uključuju nulu; primarna metrika angažovanja nije značajna. — Naknadno obučeni GLM-5.3 u odnosu na osnovni GLM-5.3 u zasebnom onlajn A/B testu. Stope neuspeha alata i MID+, relativne promene i sekvencijalni intervali poverenja od 95% koriste CUPED prilagođavanje. Oba smanjenja su statistički značajna. Stope MID+ predstavljaju prosečne procenjene verovatnoće srednjeg ili visokog nezadovoljstva tokom ispunjenih ocenjenih niti praćenja, a ne broj žalbi. Stope neuspeha alata ne uključuju pozive bez zabeleženog statusa uspeha ili neuspeha.

Centralna ideja je učenje na nivou odluke, a ne samo sesije.

Uspešan ishod može sakriti greške, a neuspešna sesija i dalje može otkriti kako se poboljšati. Zadržavamo korisno ponašanje iz uspešnih sesija kao sidro, koristimo pritužbe i greške alata da identifikujemo neuspehe koji se mogu izbeći i obučavamo model ka predviđanjima koja pravi kada te greške i korekcije postanu eksplicitne. Uspeh obezbeđuje ponašanje koje treba sačuvati; neuspeh obezbeđuje pravac za poboljšanje.

Upotreba u stvarnom svetu čini ovaj pristup posebno korisnim. Stvarni korisnici donose ciljeve, ograničenja i radne tokove koje je teško predvidjeti u sintetičkom okruženju. Njihove ispravke otkrivaju zahteve koje je model propustio, dok greške alata izlažu jaz između onoga što je model pokušao i onoga što okruženje dozvoljava. Ovi signali dopunjuju obuku zasnovanu na ishodima: umesto da pitamo samo da li je zadatak uspeo, možemo pitati gde je model pogrešio i koje informacije su mu mogle pomoći da donese bolju odluku.

Ograničenja su podjednako važna. Procenjivači mogu pogrešiti, a ispravka jednog koraka ne garantuje da će ceo zadatak uspeti. Cilj nije samo agent koji se oporavlja nakon ispravke. To je agent kojem je ispravka ređe potrebna.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Od sintetičkih do podataka iz stvarnog sveta

Oponašajte dobre korake, ispravite loše

Primer: jedna sesija može podučavati obe lekcije

Kako obuka funkcioniše

Izaberite sesije, a zatim procenite ishod

Pronađite greške iz povratnih informacija korisnika

Pronađite greške iz grešaka alata

Dva prosleđivanja napred

Funkcija gubitka

CE gubitak

KL gubitak

Kombinovani gubitak

Šta evaluacije pokazuju

Nagoveštaji mogu usmeriti model dalje od grešaka

Povratne informacije korisnika

Greške alata

Pouzdanost alata i povratne informacije korisnika nakon obuke

Ofllajn evaluacija

Onlajn procena: GLM-5.2

Onlajn procena: GLM-5.3

Zaključak

Citiranje