Učenje iz iskustva u stvarnom svijetu

Način na koji korisnici komuniciraju s našim proizvodima u stvarnom svijetu vrijedan je izvor za učenje modela. Podaci su u izobilju, odražavaju stvarnu distribuciju korisničkih zadataka i bilježe korisničke ispravke i kvarove alata koje sintetička okruženja mogu propustiti.

Uobičajeni način učenja iz podataka iz stvarnog svijeta je fino podešavanje uzorkovanjem odbacivanjem: ocijeni ishod svake sesije, zadrži uspješne i istreniraj model da ih oponaša. Ali uspješan ishod ne znači da je svaki korak bio točan, stoga oponašanje cijele trajektorije rizikira pojačavanje loših međuponašanja uz dobra. Odbacivanje neuspjelih sesija također gubi kritične dokaze o tome gdje model zakazuje.

Kombiniramo fino podešavanje uz uzorkovanje odbijanjem i samodestilaciju vođenu natuknicama kako bismo učili iz uspješnih i neuspješnih sesija. Natuknica je kratka korektivna uputa temeljena na informacijama koje je model već imao kada je napravio pogrešku. Korisni koraci iz uspješnih sesija ostaju ciljevi oponašanja, dok utemeljene natuknice pretvaraju pogreške koje se mogu izbjeći u ciljeve ispravljanja.

Korisničke ispravke i pogreške alata dodaju nadzor o tome što je pošlo po zlu usput, uz to je li zadatak na kraju uspio. Primjenjujemo ovu fazu nakon učenja s potkrepljenjem u sintetičkim okruženjima kako bismo pomogli premostiti jaz između tih okruženja i upotrebe u stvarnom svijetu.

U korištenju uživo, kasnija naknadno obučena GLM-5.2 kontrolna točka smanjila je broj neuspješnih poziva alata za 21,2% u odnosu na ranije obučenu kontrolnu točku. Za GLM-5.3, naknadno obučavanje smanjilo je broj neuspješnih poziva alata za 33,0%, a prosječnu procijenjenu vjerojatnost srednjeg ili visokog nezadovoljstva korisnika za 17,2% u odnosu na osnovni model.

Sintetički zadaci omogućuju nam stvaranje kontroliranih problema s ishodima koje je lako provjeriti, ali su obično ograničeni na jedan upit i mogu pokriti samo scenarije koje izričito dizajniramo.

Nasuprot tome, korisnici u sesijama u stvarnom svijetu unose različite upute, kontekst i kombinacije alata u sesije koje se odvijaju kroz više koraka interakcije. Takva upotreba u stvarnom svijetu prirodno daje dva vrijedna signala o pogreškama: korisničke ispravke otkrivaju gdje agent nije isporučio ono što su htjeli, a pogreške alata pokazuju gdje su se njegove radnje srušile u stvarnim okruženjima. Naš cjevovod za uzorkovanje poštuje privatnost korisnika i izbore treniranja isključivanjem sesija s osobnim podacima (PII) i korisnika koji su se isključili.

Podaci iz stvarnog svijeta stoga nam daju slučajeve pogrešaka koje sintetičko okruženje možda neće otkriti i često dolaze s već ugrađenim mjestom gdje se dogodio kvar.

Pri učenju na podacima iz stvarnog svijeta, standardno fino podešavanje uzorkovanjem odbacivanjem (RFT) odabire uspješne sesije na temelju njihovih konačnih ishoda, bez izričitog korištenja povratnih informacija korisnika i alata za razlikovanje dobrih međuradnji od loših. Agent se može oporaviti od lošeg poziva alata ili ispraviti pogrešku nakon povratnih informacija korisnika i još uvijek isporučiti pravi izlaz na kraju.

Odbacivanje neuspjelih sesija također ograničava učinkovitost uzorka. Sesija koja nikada ne dosegne dobar rezultat ipak može otkriti jasnu, izbjeżivu pogrešku kao koristan signal za treniranje.

Rješavamo ova ograničenja odvajanjem dviju odluka: koje sesije sadrže ponašanje vrijedno oponašanja i koji koraci sadrže pogreške vrijedne ispravljanja. Cjevovodi podataka donose ove odluke zasebno, a zatim dodjeljuju koracima modela jedan od tri tretmana:

Oponašaj: koraci koji nisu pogreške u uspješnim sesijama primaju običan gubitak unakrsne entropije (CE), podižući vjerojatnost zabilježenih tokena.
Točno: u uspješnim i neuspješnim sesijama, koraci pogreške s valjanom naznakom primaju gubitak Kullback–Leiblerove (KL) divergencije, pomičući model prema predviđanjima sljedećeg tokena koja čini kada vidi naznaku.
Zadrži kao kontekst: koraci u neuspjelim sesijama kojima nedostaje potvrđena naznaka i označeni loši koraci bez potvrđene naznake u bilo kojoj vrsti sesije služe kao kontekst, ali ne primaju nijedan gubitak.

Kao rezultat toga, uspješne sesije mogu pružiti i ciljeve oponašanja i korekcije, dok neuspješne sesije pružaju samo ciljeve korekcije. Svi preostali koraci, uključujući izlaz sustava, korisnika i alata, ostaju kao kontekst.

Dijagram usmjeravanja sesije: uspješne sesije pružaju CE oponašanje i prihvatljive ispravljene naznake; neuspješne sesije pružaju samo prihvatljive korekcije. — Trenutno usmjeravanje sesije i maske sadržaja asistenta. Uspješne sesije doprinose ciljevima oponašanja; zadržani zapisi povratnih informacija mogu doprinijeti nagoviještenim korekcijama čak i kada sesija nije uspješna. Ostali sadržaj ostaje kao kontekst. Nepotpune sesije su isključene. Nezavršna iznimka CE prinosa/tokena za zaustavljanje nije nacrtana, i ovaj dijagram ne uspostavlja mješavinu koju koristi ranija kontrolna točka.

Dio oponašanja koristi standardni RFT. Korektivni dio koristi Samodestilaciju unutar politike (OPSD): isti model djeluje kao učitelj i učenik, pri čemu učitelj dobiva privilegirane informacije. Ovdje su te privilegirane informacije kratka naznaka koja objašnjava izbježivost pogreške. Učimo učenika da odgovara predviđanjima sljedećeg tokena učitelja bez da mu je predana naznaka.

Oba su dijela važna. Trening koji se temelji samo na korekciji može otkriti prečac: učitelj i učenik se mogu složiti ignorirajući kontekst umjesto da uče korekciju. CE član sidri trening za korisno ponašanje, pomažući u odvraćanju slaganja koje dolazi iz ignoriranja konteksta.

Nakon treninga istrenirani učenik tada postaje opcija modela u Computeru. Nove sesije iz korištenja uživo prolaze kroz iste filtre prihvatljivosti i privatnosti prije ulaska u drugi krug cjevovoda za treniranje.

Zatim prolazimo kroz konkretan primjer koji sadrži i oponašanje i korekciju.

Razmotrite eventualnu uspješnu sesiju u kojoj korisnik traži usporedbu asyncio promjena u Pythonu 3.13 koristeći službenu dokumentaciju. Naša dokumentacija alata navodi da search.web vraća popis pogodaka, od kojih svaki ima url polje.

Model prvo pokreće valjano pretraživanje jedne verzije kao dio prikupljanja dokaza za usporedbu, što je dobro ponašanje koje treba oponašati.

Međutim, sljedeći poziv izvršavanja koda netočno tretira taj popis kao rječnik. Alat za kod vraća TypeError: list indices must be integers or slices, not str. Budući da je povratna vrsta dokumentirana prije poziva, to je pogreška koju je model trebao moći izbjeći. Može se generirati naznaka s desnim pozivom kako bi se ispravila ta radnja.

Ilustrativna sesija kodiranja: unos sustava i korisnika i pogreške alata ostaju kontekst; korisno zabilježeno pretraživanje i pozivi oporavka primaju CE u uspješnoj sesiji; označeno pogrešno pretraživanje popisa prima KL prema učitelju s obzirom na uzemljenu naznaku. — Ilustrativna sesija kodiranja prikazuje tri uloge u učenju: unosi samo za kontekst i izlazi alata (sivo), CE oponašanje korisnih zabilježenih poziva (tamno) i KL korekcija označene pogreške (tirkizno). Ovdje model netočno tretira popis pogodaka pretraživanja kao rječnik; naznaka samo za učitelja utemeljena na ranijoj dokumentaciji alata vodi korekciju. CE ciljevi primjenjuju se samo kada je dovršena sesija ocijenjena uspješnom, dok neuspješna sesija i dalje može pružiti prihvatljiv cilj KL korekcije.

Cjevovod za treniranje ima četiri faze: odabir sesija i ocjenjivanje njihovih ishoda, prepoznavanje pogrešaka i stvaranje naznaka iz povratnih informacija korisnika i pogrešaka alata, generiranje vjerojatnosti sljedećeg tokena od učitelja i učenika te treniranje modela s kombiniranim CE i KL gubitkom.

Sustav za uzorkovanje crpi iz podskupa stvarnih sesija Computer koje ispunjavaju uvjete za treniranje, a koje poslužuje GLM 5.2. Isključenja iz treniranja i isključenja povezana s PII-jem u sklopu sustava primjenjuju se prije odabira primjera za ovaj tijek rada.

Početni postupak provjere odabire kandidate ocijenjene s 4 ili 5 na ljestvici težine zadatka od pet točaka od strane LLM suca i dijeli ih u 2 skupine:

Grupa povratnih informacija korisnika sadrži sesije s pravim naknadnim pitanjem korisnika ili zastavicom srednjeg do visokog nezadovoljstva. Smatramo ove naknadne radnje s visokom namjerom posebno korisnima za učenje: korisnici aktivno pokušavaju dovršiti zadatak, a njihove ispravke točno pokazuju što je model propustio.
Grupa pogrešaka alata sadrži sesije s neuspjelim pozivima označenim provjerama temeljenim na pravilima, isključujući prepoznate kvarove infrastrukture i odbijenu autorizaciju.

Dva LLM suca zatim procjenjuju konačni ishod u odnosu na korisnikov zahtjev; oba suca moraju vratiti pozitivnu ocjenu kako bi se sesija označila kao "uspješna". Za slučajeve koji isporučuju artefakte, faza ishoda može rekonstruirati i pregledati isporuku, s mogućnošću vraćanja na procjene temeljene na tekstu ako ta faza ne uspije. Sesije klasificirane kao nepotpune, poput rada koji čeka korisnika, isključene su.

Ovaj korak identificira potencijalne izvore signala za učenje; međutim, nije svaka pogreška pripisana modelu, jer neke proizlaze iz dvosmislenih uputa ili kvarova infrastrukture. Kasnija anotacija utvrđuje koje su kandidatske pogreške zapravo izbjeżive i prikladne za treniranje.

Razmotrite uzorak sesije u grupi povratnih informacija korisnika, gdje korisnik pita: „Kako mogu pronaći svoj w3 na paychexu”. Model tretira „w3” kao tipfeler za W-2, traži upute za W-2 i objašnjava kako pronaći taj obrazac. Naknadno pitanje korisnika: „Mislio sam na obrazac za prijenos W-3”, identificira pogrešku, čak i ako sesija na kraju uspije.

Pritužba pomaže u lociranju pogreške, ali korijenski uzrok je ranija odluka da se „w3” reinterpretira kao W-2. Izvorni zahtjev čini pogrešku izbježivom: model je mogao sačuvati W-3 ili zatražiti pojašnjenje. Pokazuje se da je posljednji korak asistenta prije pritužbe korijenski uzrok samo u oko polovici slučajeva.

Naš cjevovod za anotaciju sustavno mapira uzrok i posljedicu unutar svake sesije povratnih informacija korisnika. Anotator prvo provjerava propušteni zahtjev ili namjeru podržanu ranijim kontekstom. Tri LLM suca zatim identificiraju odgovorne korake, zahtijevajući da se najmanje dvojica slože oko danog koraka. Ponekad ranija izjava izričito uspostavlja zahtjev. U drugim slučajevima, nijedna prethodna izjava to ne čini sama po sebi, ali više dijelova prethodnog razgovora zajedno čini namjeravano ponašanje zaključivim. Ovaj dizajn im omogućuje da povežu pritužbu s ranijom korijenskom pogreškom umjesto da je pripišu isključivo posljednjem odgovoru.

Prije prihvaćanja naznake, cjevovod također provjerava slijede li njezine korektivne tvrdnje iz informacija dostupnih prije označenog koraka. Ove provjere imaju za cilj smanjiti pristranost naknadne pameti, gdje se nova preferencija otkrivena u pritužbi tretira kao nešto što je model već trebao znati.

U ovom primjeru, naznaka govori modelu da traži obrazac za prijenos W-3 na Paychexu umjesto W-2, ili da pita na koji obrazac korisnik misli ako je zahtjev dvosmislen. Korekcija cilja raniju interpretaciju i odluku o pretraživanju, a ne samo konačni odgovor. Izvorni korak ostaje nepromijenjen; anotacija dodaje is_bad_turn: true i nepraznu naznaku (hint).

Zahtjev za W-3 pogrešno se tumači kao W-2; kasnija pritužba prati se do ranije odluke o pretraživanju i provjerava u odnosu na prethodne dokaze. — Stvarna sesija koja pokazuje kako se pritužba prati natrag do ranije pogreške, s prekrivenim postupkom anotacije. Korisnik je zatražio „w3” na Paychexu, ali ga je model tretirao kao tipfeler za W-2 i tražio pogrešan obrazac. Konsenzus predlagatelja locira korijenski uzrok, dok dvije provjere uzemljenosti procjenjuju jesu li dokazi prethodili pogrešci i proizlaze li tvrdnje naznake iz informacija dostupnih u tom trenutku. Prihvaćene anotacije čuvaju izvorni tekst i dodaju oznake i naznake, umjesto prepisanih ciljeva.

Razmotrite drugu sesiju u grupi pogrešaka alata s pozivom pretraživanja gdje agent pretražuje s recency_filter: "year", ali alat to odbija jer su dopuštene vrijednosti „day”, „week” ili „month”. Ovo je jasno kršenje sheme.

Putanja pogreške alata koristi deterministička pravila za poznate pogreške i prosuđivanje modela za dvosmislene slučajeve. Sama poruka o pogrešci također nije dovoljna da se okrivi model; ocijenjena korekcija mora ukazivati na nešto što je model mogao znati iz sheme alata, sistemskih uputa ili ranijeg razgovora.

Poziv pretraživanja koristi nevažeću vrijednost recency_filter godina; uzemljena naznaka upućuje model da koristi navedenu vrijednost ili izostavi opcionalno polje. — Nevažeći argument pretraživanja u izvješću ilustrira trenutni postupak pogreške alata. Shema ovu pogrešku čini izbježivom; samo ispad sustava ne bi. Izvorni poziv ostaje u zapisniku i prima uzemljenu naznaku. Naznaka dopušta navedenu vrijednost ili izostavljanje ako je polje opcionalno; ne zahtijeva „mjesec” za svaki zahtjev.

Ovdje naznaka imenuje neuspjeli poziv, uključuje pogrešku validacije i upućuje model da koristi dopuštenu vrijednost ili izostavi polje ako je opcionalno.

Nakon što je korak označen, sustav za treniranje pokreće istu kontrolnu točku dvaput: jednom kao učitelj, a jednom kao učenik. Učitelj vidi natuknicu; učenik je ne vidi.

Oba prolaza koriste prisiljavanje učitelja (teacher forcing), gdje modelu dovodimo zabilježenu sesiju umjesto da mu dopustimo odabir novih tokena. Prijelazni prolaz i dalje proizvodi potpunu distribuciju sljedećeg tokena u svakom koraku, ali je uvijek uvjetovan fiksnim prefiksom iz snimke, a ne tokenima uvođenja (rollout).

Za primjer pretraživanja, isti model dodjeljuje znatno veću vjerojatnost riječi „mjesec”, a manju riječi „godina” kada mu je dana naznaka. Trening koristi ovaj distribucijski pomak kao blagi cilj.

Isti model ocjenjuje zabilježeni korak s naznakom i bez nje; vjerojatnosti odvojenog učitelja daju KL ciljeve dok CE sidri oponašanje. — Dva prolaza, jedan skup težina. Oba prolaza boduju zabilježeni nastavak; samo učitelj prima naznake. Njegove odvojene vjerojatnosti sljedećeg tokena vode učenika kroz naprijed KL. Odvojeni CE ciljevi sidre oponašanje. Oba gubitka napajaju jedno ažuriranje težine. Ranije naznake mogu ostati u trenutnom segmentu učitelja; nijedan prolaz ne generira zamjenski odgovor za treniranje.

Predviđanja učitelja su odvojena ili s zaustavljenim gradijentom (stop-gradient): one pružaju cilj, ali ne primaju ažuriranje kroz prolaz učitelja. Nakon prolaza učenika, jedan korak optimizatora ažurira zajednički model.

CE gubitak tretira zabilježene tokene odabrane za oponašanje kao ciljeve istinite istine (ground-truth) i kažnjava model za dodjeljivanje niskih vjerojatnosti istima. Ovo stvara cilj teškog oponašanja.

Na poziciji tokena $i$ , neka $p_i(v)$ bude vjerojatnost tokena $v$ učenika u punom rječniku $V$ . Zabilježeni sljedeći token u odgovoru ili pozivu alata je $y_i$ , ciljna distribucija s jednim vrućim bitom (one-hot) je $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Unakrsna entropija mjeri koliko dobro učenik predviđa taj zabilježeni token. S ciljem s jednim vrućim bitom (one-hot), svodi se na negativnu log-vjerojatnost dodijeljenu $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE maska $m_i^{\mathrm{CE}}$ je $1$ tamo gdje token treba oponašati i $0$ inače. Zbrajanje preko odabranih pozicija daje gubitak oponašanja.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL gubitak umjesto toga koristi potpunu distribuciju vjerojatnosti sljedećeg tokena učitelja $q_i$ kao blagi ciljni korektivni cilj. Kontekst učitelja uključuje trenutnu naznaku i sve ranije naznake zadržane u tom segmentu treninga; kontekst učenika je uvijek bez naznaka.

KL maska $m_i^{\mathrm{KL}}$ je $1$ tamo gdje token treba ispraviti i $0$ inače; CE i KL maske se ne preklapaju. Na tim pozicijama, naprijed KL kažnjava neslaganje između učitelja i učenika u cijelom rječniku:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Oba člana dijele jedan nazivnik umjesto da se normaliziraju zasebno. Ovaj nazivnik broji ukupne tokene odabrane za oponašanje preko globalne serije za treniranje. Težina $\lambda$ kontrolira doprinos korektivnog treninga u odnosu na oponašanje.

Ova zajednička normalizacija odgovara sučelju s jednim nazivnikom naše infrastrukture za treniranje i obnavlja standardni SFT gubitak kada je $\lambda=0$ , pojednostavljujući usporedbe s osnovnom linijom. Budući da su CE tokeni puno brojniji od KL tokena, korištenje zajedničkog nazivnika također izbjegava davanje nerazmjerno velikih težina pojedinačnim KL tokenima u serijama s malo označenih tokena.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Primijenjeno na ranije primjere, koraci koji sadrže mješavinu W-3/W-2 i nevažeći poziv pretraživanja primaju KL. Drugi neoznačeni sadržaj asistenta u uspješnoj sesiji i dalje prima CE. Drugi sadržaj asistenta u neuspješnoj sesiji zadržava se kao kontekst, ali ne prima ni CE ni KL.

Naše evaluacije odgovaraju na dva odvojena pitanja. Prvo, pomaže li naznaka doista modelu da ispravi pogrešku kada je naznaka prisutna? Drugo, pomaže li trening modelu da kasnije izbjegne tu pogrešku, bez naznake? Prvo testira pružaju li naznake korisne signale za treniranje. Drugo testira uči li model iz njih.

Testiramo prvo pitanje prije izvođenja treninga kako bismo bili sigurni da naznake doista mogu usmjeriti model dalje od pogrešaka.

Regenerirali smo označene korake povratnih informacija korisnika s naznakom i bez nje, koristeći isti osnovni model GLM-5.2 pri temperaturi nula. Slijepi sudac vidi kasniju pritužbu, ali ne i naznaku niti koje je stanje proizvelo odgovor.

U primjeru W-3, naznaka pomiče vjerojatnost sljedećeg tokena prema „3”, a dalje od „2” nakon prefiksa „W-”.

Vjerojatnosti sljedećeg tokena nakon W- pomiču se prema 3, a ne prema 2 kada nepromijenjeni osnovni model primi naznaku. — Naznaka čuva traženi W-3 obrazac. Stupci prikazuju srednje vjerojatnosti sljedećeg tokena kroz osam prolaza unaprijed; brkovi prikazuju uočeni raspon, a ne interval pouzdanosti. Oba uvjeta koriste nepromijenjeni osnovni model.

Na većem izdvojenom uzorku od 40 koraka potkrijepljenom izričito navedenim ranijim dokazima, udio ocijenjen kao fiksni ili na dobrom putu raste s 40,0% bez naznake na 75,0% s njom. Na drugih 40 koraka potkrijepljenih zaključenom namjerom, raste s 32,5% na 80,0%.

Validacija naznake: fiksne ili ispravne stope rastu s 40,0% na 75,0% za eksplicitne dokaze i s 32,5% na 80,0% za zaključenu namjeru. — Validacija naznake, a ne evaluacija nakon treniranja. Istih 40 označenih koraka u svakoj skupini dokaza regenerira se s naznakom i bez nje koristeći nepromijenjeni GLM-5.2 pri temperaturi nula. Sudac vidi pritužbu, ali ne i naznaku ili uvjet. Brojke su izvedene iz stopa izvješća i veličina uzoraka; intervali pouzdanosti nisu prijavljeni.

U primjeru pogreške alata za pretraživanje, naznaka doista pomiče masu vjerojatnosti s tokena godine na token mjeseca.

Naznaka pomiče vjerojatnosti sljedećeg tokena nepromijenjenog osnovnog modela dalje od godine i prema dopuštenoj vrijednosti mjesec. — Naznaka pomiče vjerojatnost prema dopuštenoj vrijednosti. Stupci prikazuju srednje vjerojatnosti sljedećeg tokena kroz osam prolaza unaprijed; brkovi prikazuju uočeni raspon, a ne interval pouzdanosti. Oba uvjeta koriste isti osnovni model; nijedna istrenirana kontrolna točka nije uspoređena.

Na većem izdvojenom uzorku od 985 koraka, regeneriramo svaki korak četiri puta s naznakom i bez nje koristeći isti osnovni model. Slijepi sudac procjenjuje izbjegava li svaka regeneracija izvorni kvar. Naznake podižu izbjegavanje kvara s 75,1% na 93,7%, što je upareni dobitak od 18,6 postotnih bodova, i povećavaju udio poduzimanja ispravljene radnje s 60,6% na 82,3%. Dobici su najveći kod pogrešaka koje ponovljeno uzorkovanje samo po sebi teško ispravlja.

Na 985 izdvojenih označenih koraka pogreške alata, naznake podižu izbjegavanje kvara s 75,1% na 93,7%, a stope ispravljenih radnji s 60,6% na 82,3%. — Validacija naznake pogreške alata na 985 izdvojenih označenih koraka, s četiri regeneracije po uvjetu. Stupci prikazuju izbjegavanje kvara i stope ispravljenih radnji za nepromijenjeni osnovni model, s naznakama i bez njih. Izbjegavanje ciljane pogreške ne uspostavlja uspjeh poziva alata ili zadatka.

Zatim testiramo čini li trenirani model manje pogrešaka bez primanja savjeta. Procjenjujemo osnovni model i različite post-trenirane kontrolne točke na offline benchmark zadacima i u živim sesijama korisnika, provjeravajući ima li manje kvarova alata i manje nezadovoljstva korisnika.

Izvanmrežna evaluacija koristi BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, reprezentativni skup zadataka za Computer i provjerava učitavanje vještina, pregled dokumenata i ugrađene citate. Mjerimo udio poziva alata čiji su rezultati izričito označeni kao pogreške u trajektorijama evaluacije.

U ovim evaluacijama, zabilježena stopa pogrešaka alata iznosila je 2,79% za osnovni GLM 5.2, 1,35% za kontrolnu točku samo za RFT i 0,87% za kontrolnu točku RFT-plus-OPSD. Ove kontrolne točke trenirane su na različitim podacima, tako da ovo nije ablacija s usklađenim podacima OPSD-a. Rezultati mjerila na razini zadatka bili su mješoviti, tako da manje pogrešaka alata samo po sebi ne znači nužno i široko poboljšanje uspjeha zadatka.

Izvanmrežne stope pogrešaka zabilježenih alata: 2,79% za osnovni GLM 5.2, 1,35% samo za RFT i 0,87% za RFT plus OPSD; podaci za treniranje se razlikuju. — Izvanmrežne stope pogrešaka alata za kontrolne točke osnovnog GLM-5.2, samo RFT i RFT-plus-OPSD. Podaci za treniranje razlikuju se među kontrolnim točkama; ovo nije kontrolirana ablacija.

Za model GLM-5.2 pokrenuli smo dva zasebna A/B testa s oko sto tisuća korisnika u svakom uvjetu. U prvom je rana kontrolna točka RFT-plus-OPSD imala nešto manju stopu pogrešaka alata od osnovnog modela GLM 5.2 (2,82 % naspram 2,94 %), ali razlika nije bila statistički značajna.

U kasnijem testu usporedili smo dvije kontrolne točke RFT-plus-OPSD: raniju (kontrolna točka jedan) i kasniju (kontrolna točka dva). Kvarovi poziva alata pali su s 2,24% na 1,77% poziva sa zabilježenim statusom. Ovo je bilo statistički značajno relativno smanjenje od 21,2%. Nismo izravno usporedili kontrolnu točku dva s osnovnim GLM 5.2 na mreži.

Rezultati povratnih informacija korisnika bili su manje uvjerljivi. U drugom eksperimentu s modelom GLM-5.2, prosječna vjerojatnost snažnog nezadovoljstva (srednjeg ili visokog) iznosila je 2,58 % za prvu kontrolnu točku i 2,54 % za drugu kontrolnu točku, bez statistički značajne razlike.

Dva odvojena mrežna A/B testa; samo kasnija usporedba kontrolne točke (checkpoint) ima značajno smanjenje kvarova alata, bez značajne promjene nezadovoljstva MID+. — Dva zasebna GLM-5.2 A/B testa uživo. Kontrolna točka 1 uspoređuje se s osnovnim modelom GLM-5.2; kontrolna točka 2 uspoređuje se s kontrolnom točkom 1. U ova dva testa statistički je značajno samo kasno smanjenje broja pogrešaka alata. Stope MID+ predstavljaju prosječne procijenjene vjerojatnosti srednjeg ili visokog nezadovoljstva, a ne broj pritužbi.

Za GLM-5.3, usporedili smo naknadno obučenu kontrolnu točku izravno s osnovnim modelom GLM-5.3. Neuspješni pozivi alata pali su s 3,56% na 2,38% poziva sa zabilježenim statusom, što predstavlja relativno smanjenje od 33,04%. Stopa MID+, koja predstavlja prosječnu procijenjenu vjerojatnost srednjeg ili visokog nezadovoljstva, pala je s 4,12% na 3,41%, što je relativno smanjenje od 17,2%. Obje su smanjenja bila statistički značajna.

A/B test za GLM-5.3: stopa neuspjeha alata pala je s 3,56% na 2,38%, a stopa MID+, koja predstavlja prosječnu procijenjenu vjerojatnost srednjeg ili visokog nezadovoljstva, pala je s 4,12% na 3,41%. Relativna smanjenja prilagođena CUPED-om iznose redom 33,04% i 17,16%. Oba 95-postotna sekvencijalna intervala ne uključuju nulu; primarna metrika angažmana nije značajna. — Naknadno obučeni GLM-5.3 u odnosu na osnovni GLM-5.3 u zasebnom mrežnom A/B testu. Stope neuspjeha alata i MID+, relativne promjene i 95-postotni sekvencijalni intervali pouzdanosti koriste CUPED prilagodbu. Obje su smanjenja statistički značajna. Stope MID+ predstavljaju prosječne procijenjene vjerojatnosti srednjeg ili visokog nezadovoljstva tijekom ispunjenih bodovanih naknadnih niti, a ne broj pritužbi. Stope neuspjeha alata ne uključuju pozive bez zabilježenog statusa uspjeha ili neuspjeha.

Središnja ideja je učiti na razini odluke, a ne samo sesije.

Uspješan ishod može sakriti pogreške, a neuspješna sesija ipak može otkriti kako se poboljšati. Zadržavamo korisno ponašanje iz uspješnih sesija kao sidro, koristimo pritužbe i pogreške alata za prepoznavanje izbježivih kvarova i treniramo model prema predviđanjima koja čini kada su te pogreške i korekcije učinjene eksplicitnima. Uspjeh pruža ponašanje koje treba sačuvati; neuspjeh pruža smjer za poboljšanje.

Upotreba u stvarnom svijetu čini ovaj pristup posebno korisnim. Stvarni korisnici donose ciljeve, ograničenja i tijekove rada koje je teško predvidjeti u sintetičkom okruženju. Njihove ispravke otkrivaju zahtjeve koje je model propustio, dok pogreške alata izlažu jaz između onoga što je model pokušao i onoga što okruženje dopušta. Ovi signali nadopunjuju treniranje temeljeno na ishodu: umjesto da pitamo samo je li zadatak uspio, možemo pitati gdje je model pogriješio i koje su mu informacije mogle pomoći da donese bolju odluku.

Ograničenja su jednako važna. Ocjenjivači mogu pogriješiti, a ispravljanje jednog koraka ne jamči da će cijeli zadatak uspjeti. Cilj nije samo agent koji se oporavlja nakon ispravke. Cilj je agent kojem je ispravka rjeđe potrebna.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Od sintetičkih do podataka iz stvarnog svijeta

Oponašajte dobre korake, ispravite loše

Primjer: jedna sesija može podučiti dvije lekcije

Kako trening funkcionira

Odaberite sesije, zatim ocijenite ishod

Pronađite pogreške iz povratnih informacija korisnika

Pronađite pogreške iz pogrešaka alata

Dva prolaza unaprijed

Funkcija gubitka

CE gubitak

KL gubitak

Kombinirani gubitak

Što evaluacije pokazuju

Naznake mogu usmjeriti model dalje od pogrešaka

Povratne informacije korisnika

Pogreške alata

Pouzdanost alata i povratne informacije korisnika nakon treniranja

Izvanmrežna evaluacija

Mrežna procjena: GLM-5.2

Mrežna procjena: GLM-5.3

Zaključak

Citiranje