Að læra af raunverulegri reynslu

Hvernig notendur hafa samskipti við vörur okkar í hinum raunverulega heimi er dýrmæt uppspretta fyrir líkanþjálfun. Gögnin eru í nægum mæli, endurspegla raunverulega dreifingu notendaverkefna og ná yfir notendaleiðréttingar og tækjabilanir sem tilbúin umhverfi gætu misst af.

Algeng leið til að læra af raunverulegum gögnum er höfnunarúrtaks-fínstilling: dæmdu niðurstöðu hvers samtals, haltu þeim heppnuðu og þjálfaðu líkanið til að líkja eftir þeim. En heppnuð niðurstaða þýðir ekki að hvert skref hafi verið rétt, þannig að eftirlíking allrar ferlanna á hættu á að styrkja slæm millistigshegðun til viðbótar við þær góðu. Að farga óheppnuðum samtölum tapar einnig mikilvægum sönnunargögnum um hvar líkanið fellur stutt.

Við sameinum fínstillingu á hafnunarsýnatöku og vísbendingastýrða sjálfeimingu til að læra af bæði heppnuðum og óheppnum samtölum. Vísbending er stutt leiðréttingarleiðbeining sem byggir á upplýsingum sem líkanið hafði þegar það gerði mistökin. Gagnleg skref úr heppnuðum samtölum eru áfram eftirmyndunarmarkmið, en jarðbundnar vísbendingar breyta mistökum sem hægt var að koma í veg fyrir í leiðréttingarmarkmið.

Notendaleiðréttingar og tækjabilanir bæta við eftirliti um hvað fór úrskeiðis á leiðinni, ofan á hvort verkefninu tókst að lokum. Við beitum þessu stigi eftir styrktarnám í tilbúnu umhverfi til að hjálpa til við að brúa bilið á milli þessara umhverfa og raunverulegrar notkunar.

Við notkun í beinni fækkaði síðari eftirþjálfaður GLM-5.2-athugunarpunktur bilunum í tverköllum um 21,2% miðað við fyrri þjálfaðan athugunarpunkt. Fyrir GLM-5.3 minnkaði eftirþjálfun bilanir í tverköllum um 33,0% og meðaltal áætlaðra líkinda á miðlungs eða mikilli óánægju notenda um 17,2% miðað við staðlaða líkanið.

Tilbúin verkefni kleift að búa til stýrð vandamál með niðurstöður sem auðvelt er að staðfesta, en þau eru venjulega takmörkuð við eina fyrirmæli og geta aðeins náð yfir þær aðstæður sem við hönnum sérstaklega.

Aftur á móti koma notendur í raunverulegum samtölum með fjölbreyttar leiðbeiningar, samhengi og tækjasamsetningar inn í samtöl sem þróast yfir margar samskiptaumferðir. Slík raunveruleg notkun skilar náttúrulega tveimur dýrmætum merkjum um mistök: notendaleiðréttingar leiða í ljós hvar umboðsmaðurinn náði ekki að skila því sem þeir vildu, og tækjabilanir sýna hvar aðgerðir hans brotnuðu niður í raunverulegu umhverfi. Úrtaksleiðsla okkar virðir persónuvernd og þjálfunarval notenda með þessu að undanskilja samtöl með persónugreinanlegum gögnum (PII) og frá notendum sem hafa afpantað sig.

Raunveruleg gögn gefa okkur því tilvik þar sem bilunar getur komið upp sem tilbúið umhverfi gæti ekki sýnt og fylgir oft þar sem bilunin átti sér stað þegar til staðar.

Þegar þjálfað er á raunverulegum gögnum, velur stöðluð höfnunarúrtaks-fínstilling (RFT) heppnuð samtöl út frá lokaniðurstöðum þeirra, án þess að nota beint notenda- og tækjaviðbrögð til að greina góð millistigsverk frá slæmum. Umboðsmaður gæti jafnað sig eftir slæmt tækjabaráttuákall eða leiðrétt mistök eftir notendaendurgjöf og samt skilað réttu úttaki í lokin.

Það að farga mistökum í samtölum takmarkar einnig úrtaksskilvirkni. Samtal sem nær aldrei góðri niðurstöðu gæti samt sem áður leitt í ljós skýr, forverjanleg mistök sem gagnleg þjálfunarmerki.

Við tökum á þessum takmörkunum með þessu að aðskilja tvær ákvarðanir: hvaða samtöl innihalda hegðun sem vert er að líkja eftir, og hvaða umferðir innihalda mistök sem vert er að leiðrétta. Gagnaleiðslan ákveður þetta aðskilið og úthlutar síðan líkanum einni af þremur meðferðum:

Líktu eftir: óvillu-umferðir í heppnuðum samtölum fá venjulegt Krossmóttökutap (CE loss), sem eykur líkur skráðra tákna.
Rétt: í bæði heppnuðum og óheppnuðum samtölum fá villuumferðir með gildri vísbendingu Kullback–Leibler (KL) frávikstap, sem færir líkanið í átt að næsta-tákn spám sem það gerir þegar það sér vísbendinguna.
Halda sem samhengi: umferðir í óheppnuðum samtölum sem skortir staðfesta vísbendingu, og merktar slæmar umferðir án staðfestrar vísbendingar í hvoru samtalsgerð sem er, virka sem samhengi en fá hvorki tapið.

Þar af leiðandi geta heppnuð samtöl veitt bæði eftirlíkingar- og leiðréttingarmarkmið, á meðan óheppnuð samtöl veita aðeins leiðréttingarmarkmið. Öll eftirstandandi umferð, þar með talið kerfis-, notenda- og tækjaúttak, eru áfram sem samhengi.

Samtalsleiðingarmynd: heppnuð samtöl veita CE-eftirlíkingu og hæfar vísbendingarleiðréttingar; óheppnuð samtöl veita aðeins hæfar leiðréttingar. — Núverandi samtalsleiðing og grímur fyrir aðstoðarmannsefni. Heppnuð samtöl stuðla að eftirlíkingarmarkmiðum; geymdar endurgjafarfærslur geta stuðlað að leiðréttingum með vísbendingum jafnvel þótt samtalinu mistökist. Annað efni er áfram sem samhengi. Ófullkomin samtöl eru undanskilin. CE undantekningin sem er ekki endanleg ávöxtun/stopptákn er ekki teiknuð og þessi mynd staðfestir ekki blönduna sem notuð var af fyrri eftirlitsstöð.

Eftirleiksbeiningarhlutinn notar staðlaða RFT. Leiðréttingarhlutinn notar On-Policy Self-Distillation (OPSD): sama líkan virkar sem kennari og nemandi, þar sem kennarinn fær forréttinda upplýsingar. Hér eru þær forréttinda upplýsingar stutt vísbending sem útskýrir forverjanleg mistök. Við þjálfum nemandann til að passa við næsta tákn spár kennarans án þess að fá vísbendinguna afhenta.

Báðir hlutar skipta máli. Þjálfun sem byggir eingöngu á leiðréttingu getur leitt í ljós flýtileið: kennari og nemandi geta verið sammála með því að figyelja ekki samhengi í stað þess að læra leiðréttinguna. CE-liðurinn festir þjálfunina við gagnlega hegðun og hjálpar til við að koma í veg fyrir samstöðu sem stafar af því að figyelja samhengi.

Nemandinn eftir þjálfun verður þá að líkanavalkosti í Computer. Ný samtöl frá beinni notkun fara í gegnum sömu hæfis- og persónuverndarsíur áður en þau fara í aðra umferð í þjálfunarleiðslunni.

Næst göngum við í gegnum áþreifanlegt dæmi sem inniheldur bæði eftirlíkingu og leiðréttingu.

Tökum dæmi um heppnað samtal þar sem notandinn biður um samanburð á asyncio breytingum í Python 3.13 með opinberum skjölum. Skjöl tækja okkar segja til um að search.web skilar lista yfir leitarniðurstöður, þar sem hver um sig er með url-reit.

Líkanið keyrir fyrst gilda leit að einni útgáfu sem hluta af gagnaöflun fyrir samanburðinn, sem er góð hegðun til að líkja eftir.

Hins vegar meðhöndlar næsta kóðakeyrsluáköll þann listann rangt sem flettidagatöl (dictionary). Kóðatækið skilar TypeError: list indices must be integers or slices, not str. Þar sem skilagerðin var skráð fyrir ákallið er það mistök sem líkanið ætti að hafa getað forðast. Hægt er að búa til vísbendingu með réttu ákalli til að leiðrétta þá aðgerð.

Lýsandi forritunarsamtal: kerfis- og notendainntak og tækjabilanir eru áfram samhengi; gagnleg skráð leit og endurheimtaráköll fá CE í heppnuðu samtali; merkt röng lista leit fær KL í átt að kennara sem færða er jarðbundin vísbending. — Lýsandi forritunarsamtal sýnir þrjú þjálfunarhlutverk: samhengis-eingöngu inntak og tækjaúttak (grátt), CE eftirlíking af gagnlegum skráðum áköllum (dökkt) og KL leiðrétting á merkum mistökum (blágrænt). Hér meðhöndlar líkanið lista yfir leitarniðurstöður rangt sem flettidagatöl (dictionary); kennara-eingöngu vísbending sem byggir á fyrri tækjaskjölum leiðbeinir leiðréttingunni. CE-markmið eiga aðeins við þegar loknu samtali er dæmt heppnað, á meðan óheppnað samtal getur samt sem áður veitt hæft KL-leiðréttingarmarkmið.

Þjálfunarleiðslan hefur fjögur stig: velja samtöl og dæma niðurstöður þeirra, bera kennsl á mistök og búa til vísbendingar úr notendaendurgjöf og tækjabilunum, búa til næsta-tákn líkur frá bæði kennara og nemanda, og þjálfa líkanið með sameinuðu CE- og KL-tapi.

Úrtaksleiðslan dregur úr undirhópi raunverulegra Computer-samtal sem eru hæf til þjálfunar og eru þjónustuð af GLM 5.2. Þjálfunarfrávik og PII-tengdar útilokanir leiðslunnar eru beittar áður en dæmi eru valin fyrir þetta verkflæði.

Upphaflega síunarferlið velur frambjóðendur sem metnir eru 4 eða 5 á fimm stiga erfiðleikaskala verkefna af LLM-dómara og skiptir þeim í 2 hópa:

Notendaendurgjafahópurinn inniheldur samtöl með raunverulegri fylryirspurn notanda eða miðlungs-til-hárri óánægju fána. Við finnum þessar hárra ásetnings fylryirspurnir sérstaklega gagnlegar til náms: notendur eru virkir að reyna að ljúka verkefni og leiðréttingar þeirra benda á það sem líkanið missti af.
Tækjabilanahópurinn inniheldur samtöl með biluðum köllum sem merktir eru með reglumiðuðum athugunum, að undanskildum þekktum innviðabilunum og hafnaðri heimild.

Tveir LLM-dómarar meta síðan lokaafurðina út frá beiðni notandans; báðir dómarnir verða að skila jákvæðum úrskurði til að flokka samtalið sem „heppnaðst“. Fyrir tilvik sem skila afurðum getur niðurstöðustigið endurskapað og skoðað afurðina, og gripið til textatengdra dóma ef það stig bregst. Samtöl sem flokkuð eru sem ófullkomin, svo sem vinna sem bíður eftir notandanum, eru undanskilin.

Þetta skref greinir hugsanlegar uppsprettur þjálfunarmerkja; þó eru ekki allar villur rekjanlegar til líkansins, þar sem sumar stafa af óljósum leiðbeiningum eða innviðabilunum. Síðari skýringar ákvarða hvaða hugsanlegu mistök eru í raun forverjanleg og hentug til þjálfunar.

Tökum dæmi um sýnishorn af samtali í notendaendurgjafahópnum, þar sem notandinn spyr: „How do I find my w3 on paychex“. Líkanið meðhöndlar „w3“ sem innsláttarvillu fyrir W-2, leitar að W-2 leiðbeiningum og útskýrir hvernig eigi að finna það eyðublað. Fylyrirspurn notandans, „I meant the W-3 transmittal form,“ greinir mistökin, jafnvel þótt samtalinu heppnist að lokum.

Kvörtunin hjálpar til við að finna mistökin, en rótarástæðan er fyrri ákvörðun um að endurtúlka „w3“ sem W-2. Upprunalega beiðnin gerir mistökin forverjanleg: líkanið gæti hafa varðveitt W-3 eða beðið um skýringar. Það kemur í ljós að síðasta umferð aðstoðarmannsins fyrir kvörtunina er aðeins rótarástæðan um það bil helming tímans.

Skýringarleiðsla okkar kortleggur orsök og afleiðingu kerfisbundið innan hvers samtals með notendaendurgjöf. Skýringarritarinn leitar fyrst að týndri kröfu eða ásetningi sem stuttur er af fyrri samhengi. Þrír LLM-dómarar bera þá kennsl á ábyrgarnar umferðir og krefjast þess að minnsta kosti tveir séu sammála um tiltekna umferð. Stundum staðfestir fyrri yfirlýsing kröfuna beint. Í öðrum tilvikum gerir engin stök fyrri yfirlýsing það, en margir hlutar fyrri samræðna gera það að verkum að hægt er að álykta um fyrirhugaða hegðun. Þessi hönnun gerir þeim kleift að tengja kvörtun við fyrri rótarmistök í stað þess að rekja hana eingöngu til síðasta svarsins.

Áður en vísbending er samþykkt athugar leiðslan einnig hvort leiðréttingarkröfur hennar fylgi upplýsingum sem voru tiltækar fyrir merktu umferðina. Þessar athuganir eru ætlaðar til að draga úr eftiráttengingarhlutdrægni, þar sem nýtt val sem kemur í ljós í kvörtuninni er meðhöndlað eins og eitthvað sem líkanið ætti þegar að hafa vitað.

Í þessu dæmi segir vísbendingin líkaninu að leita að W-3 útsendiblaðinu á Paychex frekar en W-2, eða spyrja hvaða eyðublað notandinn á við ef beiðnin er óljós. Leiðréttingin beinist að fyrri túlkun og leitarákvörðun, ekki bara loka svarinu. Upprunalega umferðin er óbreytt; skýringin bætir við is_bad_turn: true og ótómri hint.

W-3 beiðni er misskilin sem W-2; síðari kvörtun er rakin til fyrri leitarákvörðunar og borin saman við fyrri sönnunargögn. — Raunverulegt samtal sem sýnir hvernig kvörtun er rakin aftur til fyrri mistaka, ásamt yfirlagðri skýringarferli. Notandinn bað um „w3“ á Paychex, en líkanið meðhöndlaði það sem innsláttarvillu fyrir W-2 og leitaði að röngu eyðublaði. Samstaða tillögumanna staðsetur rótina, á meðan tvær jarðtengingarathuganir meta hvort sönnunargögnin séu eldri en mistökin og fullyrðingar vísbendingarinnar fylgi upplýsingum sem voru tiltækar á þeim punkti. Samþykktar skýringar varðveita upprunalega textann og bæta við merkjum og vísbendingum, í stað umritaðra markmiða.

Tökum annað samtal í tækjabilanahópnum með leitaráköll þar sem umboðsmaðurinn leitar með recency_filter: "year", en tækið hafna því vegna þess að leyfilegu gildin eru „day,“ „week,“ eða „month“. Þetta er skýr kerfisbrot.

Tækjabilunarleiðin notar ákveðnar reglur fyrir þekkt mistök og dóm líkans fyrir óljós tilvik. Villuboð ein og sér duga heldur ekki til að kenna líkaninu um; dæmd leiðrétting verður að benda á eitthvað sem líkanið gæti hafa vitað úr kerfislýsingu tækis, kerfisleiðbeiningum eða fyrri samræðum.

Leitaráköll nota ógilt gildi á recency_filter ársins; jarðbundin vísbending leiðbeinir líkaninu um að nota skráð gildi eða sleppa valfrjálsum reit. — Ógilt leitarritfang skýrslunnar sýnir núverandi ferli vegna tækjabilana. Kerfislýsingin gerir þessi mistök forverjanleg; rafmagnsleysi eitt og sér myndi ekki gera það. Upprunalega ákallinu er haldið í færslunni og það fær jarðbundna vísbendingu. Vísbendingin leyfir skráð gildi eða að sleppa reitnum ef hann er valfrjáls; hún krefst ekki „month“ fyrir hverja beiðni.

Hér nefna vísbendingarnar bilaða ákallið, innihalda staðfestingarvillu og leiðbeina líkaninu um að nota leyfilegt gildi eða sleppa reitnum ef hann er valfrjáls.

Þegar umferð er merkt keyrir þjálfarinn sömu staðsetningu tvisvar: einu sinni sem kennari og einu sinni sem nemandi. Kennarinn sér vísbendinguna; nemandinn gerir það ekki.

Báðir ferlar nota kennarvingun (teacher forcing), þar sem við gefum líkaninu skráða samtalið í stað þess að láta það velja ný tákn. Framsendingarferillinn skilar þó enn fullri næsta-tákn dreifingu við hvert skref, en hún er alltaf skilyrt af fasta forskeytinu úr upptökunni, ekki af útfærslutáknum.

Fyrir leitarsýnið úthlutar sama líkan miklu hærri líkum á „month“ og minni á „year“ þegar það fær vísbendinguna. Þjálfun notar þessa dreifingarbreytingu sem mjúkt markmið.

Sama líkan skorar skráða umferð með og án vísbendingar; líkur aftengds kennara bjóða upp á KL-markmið á meðan CE festir eftirlýkinguna. — Tveir ferlar, eitt sett af þyngdum. Báðir ferlar skora skráða framhaldsmynd; aðeins kennarinn fær vísbendingar. Aftengdar líkur hans á næsta tákn leiðbeina nemandanum í gegnum áframlent KL. Aðskilin CE-markmið festa eftirlýsinguna. Bæði töpin knýja eina þyngdaruppfærslu. Fyrri vísbendingar gætu verið áfram í núverandi hluta kennarans; hvorugur ferillinn býr til skiptiþjálfunarsvar.

Spár kennarans eru aftengdar eða með stöðvuðum hallastuðli: þær gefa til kynna markmið en fá ekki uppfærslu í gegnum kennaraferilinn. Eftir feril nemandans uppfærir eitt fínstillingarskref sameiginlega líkanið.

CE-tap meðhöndlar skráð tákn sem valin eru til eftirlýkingar sem sannleiksmarkmið (ground-truth) og refsar líkaninu fyrir að gefa þeim lág líkur. Þetta býr til fast eftirlíkingarmarkmið.

Við táknstöðu $i$ , látum $p_i(v)$ vera líkur nemandans á tákni $v$ í öllum orðaforðanum $V$ . Skráða næsta tákn í svari eða tækjabaráttu er $y_i$ , eitt-heitt markmiðsdreifing er $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Krossmóttökumæling mælir hversu vel nemandinn spáir fyrir um það skráða tákn. Með eitt-heitt markmiði minnkar hún í neikvæðu logaritmalíkurnar sem úthlutað er til $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE-gríman $m_i^{\mathrm{CE}}$ er $1$ þar sem ætti að líkja eftir tákninu og $0$ annars. Með því að leggja saman yfir valdar stöður fæst eftirlíkingartapið.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL-tap notar í staðinn alla líkindadreifingu kennarans yfir næsta tákn $q_i$ sem mjúkt leiðréttingarmarkmið. Samhengi kennarans inniheldur núverandi vísbendingu og allar fyrri vísbendingar sem geymdar eru í þessum þjálfunarhluta; samhengi nemandans er alltaf án vísbendinga.

KL-gríman $m_i^{\mathrm{KL}}$ er $1$ þar sem ætti að leiðrétta táknið og $0$ annars; CE- og KL-grímurnar skarast ekki. Á þessum stöðum refsar áframlent KL ósamræmi á milli kennara og nemanda yfir allan orðaforðann:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Báðir liðir deila einum nefnara í stað þess að vera staðlaðir sérstaklega. Þessi nefnari telur allan fjölda tákna sem valin eru til eftirlíkingar yfir heildarþjálfunarlotuna. Þyngdin $\lambda$ stýrir framlagi leiðréttingarþjálfunar miðað við eftirlíkingu.

Þessi sameiginlega staðlaða samræmismörkum passar við eina-nefnara viðmót þjálfunarinnviða okkar og endurheimtir staðlaða SFT-tapið þegar $\lambda=0$ , sem einfaldar grunnlínusamandur. Vegna þess að CE-tákn eru mun algengari en KL-tákn, kemur notkun á sameiginlegum nefnara einnig í veg fyrir að einstök KL-tákn fái óhóflega stórar þyngdir í lotum með fáum merktum táknum.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Beitt á fyrri dæmin, umferðirnar sem innihalda W-3/W-2 blöndunina og ógilt leitarákall fá KL. Annað ómerkt aðstoðarmannsefni í heppnuðu samtali fær samt sem áður venjulegt CE. Annað aðstoðarmannsefni í óheppnuðu samtali er geymt sem samhengi en fær hvorki CE né KL.

Mat okkar svara tveimur aðskildum spurningum. Í fyrsta lagi, hjálpar vísbending líkaninu í raun að leiðrétta villu þegar vísbendingin er til staðar? Í öðru lagi, hjálpar þjálfun líkaninu að forðast þá villu síðar, án vísbendingarinnar? Hið fyrra prófar hvort vísbendingar gefi gagnleg þjálfunarmerki. Hið síðara prófar hvort líkanið læri af þeim.

Við prófum fyrstu spurninguna áður en þjálfunin hefst til að tryggja thet vísbendingar geti örugglega stýrt líkaninu frá mistökunum.

Við endurgerðum merktar notendaendurgjafarumferðir með og án vísbendingar, með því að nota sama GLM-5.2 grunnlíkan við núllhitastig. Hlutdrægur dómari sér síðari kvörtunina, en hvorki vísbendinguna né hvaða skilyrði bjó til svörunina.

Í W-3 dæminu færir vísbendingin líkur næsta tákns í átt að „3“ og í burtu frá „2“ á eftir forskeytinu „W-“.

Líkur næsta tákns á eftir W- færast í átt að 3 frekar en 2 þegar óbreytt grunnlíkan fær vísbendingu. — Vísbending varðveitir umbeðið W-3 eyðublað. Súlur sýna meðallíkur næsta tákns yfir átta framsendingar; yfirskegg sýna fylgni við athugað svið, ekki öryggisbil. Báðar aðstæður nota óbreytt grunnlíkan.

Á stærra 40-umferða úrtaki sem haldið er eftir og stutt er af skýrt tilgreindum fyrri sönnunargögnum, hækkar hlutfallið sem dæmt er fast eða á réttri braut úr 40,0% án vísbendingar í 75,0% með einni. Á öðrum 40 umferðum sem studdar eru af ályktuðum ásetningi hækkar það úr 32,5% í 80,0%.

Staðfesting vísbendinga: föst eða á réttri braut hlutfall eykst úr 40,0% í 75,0% fyrir skýrar sannanir og úr 32,5% í 80,0% fyrir ályktun um ásetning. — Staðfesting vísbendinga, ekki mat eftir þjálfun. Sömu 40 merktu umferðirnar í hverjum sönnunarhópi eru endurgerðar með og án vísbendingar með óbreyttu GLM-5.2 við núllhitastig. Dómarinn sér kvörtunina en ekki vísbendinguna eða skilyrðið. Fjöldi er fenginn úr hlutföllum skýrslunnar og úrtaksstærðum; öryggisbil eru ekki tilkynnt.

Í dæminu um tækjabilun í leit færir vísbending örugglega líkindamassa frá ártákni yfir í mánaðartákn.

Vísbending færir líkur næsta tákns á óbreyttu grunnlíkani í burtu frá year og í átt að leyfilegu gildi month. — Vísbending færir líkur í átt að leyfilegu gildi. Súlur sýna meðallíkur næsta tákns yfir átta framsendingar; yfirskegg sýna fylgni við athugað svið, ekki öryggisbil. Báðar aðstæður nota sama grunnlíkan; engin þjálfuð eftirlitsstöð er borin saman.

Á stærra 985-umferða úrtaki sem haldið er eftir endurgerum við hverja umferð fjórum sinnum með og án vísbendingar með þessu að nota sama grunnlíkan við núllhitastig. Hlutdrægur dómari metur hvort hver endurgerð forðast upprunalegu bilunina. Vísbendingar auka forvarnir gegn bilunum úr 75,1% í 93,7%, sem er paraður ávinningur upp á 18,6 prósentustig, og auka hlutfall þeirra sem taka leiðrétta aðgerð úr 60,6% í 82,3%. Ávinningurinn er mestur á villum sem endurtekning úrtaks ein og sér á erfitt með að laga.

Á 985 frátekinni merkta tækjabils-umferðum auka vísbendingar forvarnir gegn bilunum úr 75,1% í 93,7% og hlutfall leiðréttra aðgerða úr 60,6% í 82,3%. — Staðfesting tækjabils-vísbendinga á 985 frátekinni merktum umferðum, með fjórum endurgerðum á skilyrði. Súlur sýna forvarnir gegn bilunum og hlutfall leiðréttra aðgerða fyrir óbreyttu grunnlíkanið, með og án vísbendinga. Forvarnir gegn markvisst mistökum tryggja ekki árangur tækjabaráttu eða verkefna.

Við prófum næst hvort þjálfaða líkanið geri færri mistök án þess að fá vísbendingar. Við metum staðlaða líkanið og ýmsar eftirlitsstöðvar eftir þjálfun á ótengdum viðmiðunarverkefnum og í lifandi notendasamstæðum, og athugum með færri tækjabilanir og minni óánægju notenda.

Ótengda matið notar BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, dæmigerðan Computer-verkefnasett og athugar með færnihleðslu, skjalayfirferð og tilvísun í texta. Við mælum hlutfall tækjabaráttna þar sem niðurstöður eru sérstaklega flokkaðar sem villur í öllum matsslóðum.

Í þessu mati var skráð hlutfall tækjabilana 2,79% fyrir staðlað GLM 5.2, 1,35% fyrir eingöngu RFT-eftirlitsstöðina og 0,87% fyrir RFT-auk-OPSD eftirlitsstöð. Þessar eftirlitsstöðvar voru þjálfaðar á mismunandi gögnum, svo þetta er ekki parað gagnabrottfall af OPSD. Niðurstöður viðmiðunarverkefna á verkefnastigi voru blandaðar, þannig að færri tækjabilanir einar og sér skila sér ekki sjálfkrafa í almennum framförum í árangri verkefna.

Hraði ótengdra skráðra tækjabilana: 2,79% fyrir staðlað GLM 5.2, 1,35% fyrir eingöngu RFT, og 0,87% fyrir RFT auk OPSD; þjálfunargögn eru mismunandi. — Ótengd hlutfall tækjabilana fyrir staðlað GLM-5.2, eingöngu RFT og RFT-auk-OPSD eftirlitsstöðvar. Þjálfunargögnin eru mismunandi milli eftirlitsstöðva; þetta er ekki stýrð brottfallstilraun (ablation).

Fyrir GLM-5.2 framkvæmdum við tvær aðskildar A/B-prófanir með um það bil eitt hundrað þúsund notendur í hverju skilyrði. Í þeirri fyrri var snemmbúin RFT-og-OPSD-staðsetning með örlítið lægra bilunarhlutfall verkfæra en staðlað GLM-5.2, 2,82% á móti 2,94%, en munurinn var ekki tölfræðilega marktækur.

Í síðari prófinu bárum við saman tvær RFT-auk-OPSD eftirlitsstöðvar: fyrri (eftirlitsstöð eitt) og síðari (eftirlitsstöð tvö). Tækjabilar færu úr 2,24% í 1,77% af símtölum með skráða stöðu. Þetta var tölfræðilega marktæk 21,2% hlutfallsleg fækkun. Við bárum ekki beint saman eftirlitsstöð tvö við staðlað GLM 5.2 á netinu.

Niðurstöður úr viðbrögðum notenda voru minna afgerandi. Í annarri GLM-5.2 tilrauninni voru meðallíkur á mikilli óánægju (miðlungs eða mikilli) 2,58% fyrir fyrstu staðsetningu og 2,54% fyrir aðra staðsetningu, án tölfræðilega marktæks munar.

Tvö aðskilin net-A/B-próf; aðeins síðari samanburður á eftirlitsstöð (checkpoint) er með marktæka fækkun á tækjabilunum, án marktækrar breytingar á óánægju með MID+. — Tvær aðskildar GLM-5.2 beinar A/B-prófanir. Staðsetning 1 er borin saman við staðlaða GLM-5.2; staðsetning 2 er borin saman við staðsetningu 1. Í þessum tveimur prófunum er eingöngu síðari fækkun á bilunum í verkfærum tölfræðilega marktæk. MID+ hlutföll sýna áætlaðar meðallíkur á miðlungs- eða mikilli óánægju, en ekki fjölda kvartana.

Fyrir GLM-5.3 bar saman eftirþjálfaðan athugunarpunkt beint við staðlaða GLM-5.3. Bilanir í tverköllum fóru úr 3,56% í 2,38% af köllum með skráða stöðu, sem er 33,04% hlutfallsleg lækkun. MID+-hlutfallið, meðaltal áætlaðra líkinda á miðlungs- eða mikilli óánægju, fór úr 4,12% í 3,41%, sem er 17,2% hlutfallsleg lækkun. Báðar lækkanirnar voru tölfræðilega marktækar.

A/B prófun á GLM-5.3: bilunartíðni í tverköllum fer úr 3,56% í 2,38% og MID+-hlutfallið, meðaltal áætlaðra líkinda á miðlungs- eða mikilli óánægju, fer úr 4,12% í 3,41%. Hlutfallslegar lækkanir leiðréttar með CUPED eru 33,04% og 17,16%. Báðir 95% raðbil útiloka núll; helsti þátttökumælikvarðinn er ekki marktækur. — Eftirþjálfað GLM-5.3 á móti staðlaðu GLM-5.3 í aðskildri A/B prófun á netinu. Bilunartíðni í tverköllum og MID+-hlutföll, hlutfallslegar breytingar og 95% raðbil fyrir öryggismörk nota CUPED-leiðréttingu. Báðar lækkanirnar eru tölfræðilega marktækar. MID+-hlutföll eru meðaltal áætlaðra líkinda á miðlungs- eða mikilli óánægju yfir gildum einkunnagjöfum fylgiþráðum, ekki fjöldi kvartana. Bilunartíðni í tverköllum útilokar köll án skráðrar stöðu um árangur eða bilun.

Aðalhugmyndin er að læra á stigi ákvörðunarinnar, ekki bara samtalsins.

Heppnuð niðurstaða getur dulið mistök og óheppni samtals getur samt sem áður leitt í ljós hvernig eigi að bæta sig. Við höldum gagnlegri hegðun frá heppnuðum samtölum sem akkeri, notum kvartanir og tækjabilanir til að bera kennsl á forverjanlegar bilanir, og þjálfum líkanið í átt að þeim spám sem það gerir þegar þessi mistök og leiðréttingar eru gerðar ljósar. Árangur gefur hegðun til að varðveita; bilun gefur stefnu til umbóta.

Raunveruleg notkun gerir þessa nálgun sérstaklega gagnlega. Raunverulegir notendur koma með markmið, skorður og verkflæði sem er erfitt að sjá fyrir í tilbúnu umhverfi. Leiðréttingar þeirra leiða í ljós kröfur sem líkanið missti af, en tækjabilanir sýna bil á milli þess sem líkanið reyndi og þess sem umhverfið leyfir. Þessi merki bæta niðurstöðumiðaða þjálfun: í stað þess að spyrja eingöngu hvort verkefni hafi heppnast, getum við spyrð hvar líkanið fór úrskeiðis og hvaða upplýsingar gætu hafa hjálpað því að taka betri ákvörðun.

Takmarkanirnar eru jafn mikilvægar. Dómarar geta haft rangt fyrir sér og að leiðrétta eina umferð tryggir ekki að allt verkefnið heppnist. Markmiðið er ekki einungis gervigreindarfulltrúi sem nær sér eftir leiðréttingu. Það er gervigreindarfulltrúi sem þarfnast leiðréttinga sjaldnar.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Frá gagnaumhverfi yfir í raunveruleg gögn

Líktu eftir góðum skrefum, leiðréttu þau slæmu

Dæmi: eitt samtal getur kennt bæði lærdómana

Hvernig þjálfunin virkar

Veldu samtöl og dæmdu síðan niðurstöðuna

Finndu mistökin út frá notendaendurgjöf

Finndu mistökin út frá tækjabilunum

Tvær framsendingar

Tapfallið

CE-tapið

KL-tap

Sameinað tap

Hvað matið sýnir

Vísbendingar geta stýrt líkaninu frá mistökunum

Notendaendurgjöf

Tækjabilanir

Áreiðanleiki verkfæra og viðbrögð notenda eftir þjálfun

Mat án nettengingar

Mat á netinu: GLM-5.2

Mat á netinu: GLM-5.3

Niðurstaða

Tilvitnun