Učenje iz iskustva u stvarnom svijetu

Како корисници интерагују са нашим производима у стварном свијету је вриједан извор за обуку модела. Подаци су обилни, одражавају стварну дистрибуцију корисничких задатака и хватају корисничке корекције и кварове алата које синтетичка окружења могу пропустити.

Уобичајени начин учења из података у стварном свијету је фино подешавање узорковања одбацивањем: оцијените исход сваке сесије, задржите успешне и обучите модел да их имитира. Али успешан исход не значи да је сваки корак био тачан, тако да имитација целе трајекторије ризикује појачавање лоших међусобних понашања поред добрих. Одбацивање неуспешних сесија такође губи критични доказ о томе где модел подбацује.

Kombinujemo fino podešavanje uzorkovanja odbacivanja sa samodestilacijom vođenom nagovještajima kako bismo učili i iz uspješnih i iz neuspješnih sesija. Nagovještaj je kratko korektivno uputstvo utemeljeno na informacijama koje je model već imao kada je napravio grešku. Korisni koraci iz uspješnih sesija ostaju ciljevi oponašanja, dok utemeljeni nagovještaji pretvaraju izbjege greške u ciljeve ispravljanja.

Корисничке корекције и грешке алата додају супервизију о томе шта је пошло наопако успут, поред тога да ли је задатак на крају успео. Примењујемо ову фазу након реинфорсмент учења у синтетичким окружењима како бисмо помогли у затварању јаза између тих окружења и употребе у стварном свијету.

У току коришћења у реалном времену, каснија контролна тачка GLM-5.2 након обуке смањила је број неуспјешних позива алата за 21,2% у односу на раније обучену контролну тачку. За GLM-5.3, накнадна обука је смањила број неуспјешних позива алата за 33,0%, а просјечна процијењена вјероватноћа средњег или високог незадовољства корисника смањена је за 17,2% у односу на основни модел.

Синтетички задаци нам омогућавају да креирамо контролисане проблеме са исходима који се лако вриједнују, али су обично ограничени на један упит и могу покрити само сценарије које изричито дизајнирамо.

Насупрот томе, корисници у сесијама у стварном свијету доносе разнолика упутства, контекст и комбинације алата у сесије које се одвијају кроз више заокрета интеракције. Таква употреба у стварном свијету природно даје два вредна сигнала грешака: корисничке корекције откривају где аспект није успео да испоручи оно што су желели, а грешке алата показују где су се његове радње срушиле у стварним окружењима. Наш цевовод узорковања поштује приватност корисника и изборе обуке искључивањем сесија са лично идентификујућим информацијама (PII) и од корисника који су се исписали.

Подаци из стварног свијета стога нам дају случајеве кварова које синтетичко окружење можда неће открити и често долазе са већ уграђеним местом где се квар десио.

При обуци на подацима из стварног свијета, стандардно фино подешавање узорковања одбацивањем (RFT) бира успешне сесије на основу њихових коначних исхода, без експлицитног коришћења корисничких и алатових повратних информација за разликовање добрих међусобних радњи од лоших. Аспект може да се опорави од лошег позива алата или да исправи грешку након корисничких повратних информација и ипак испоручи прави излаз на крају.

Одбацивање неуспјешних сесија такође ограничава ефикасност узорака. Сесија која никада не достигне добар резултат и даље може да открије јасну, избјежив грешку као корисне сигнале за обуку.

Ову ограничења рјешавамо раздвајањем двије одлуке: које сесије садрже понашање вредно имитације и који заокрети садрже грешке вредне корекције. Цевовод података доноси ове одлуке одвојено, а затим додељује заокретима модела један од три третмана:

Имитирајте: заокрети који нису грешке у успешним сесијама добијају обичан губитак кроз-ентропије (CE), повећавајући вјероватноћу снимљених токена.
Тачно: и у успешним и у неуспешним сесијама, заокрети грешака са важећим наговештајем добијају губитак дивергенције Куллбацк–Леиблер (KL), померајући модел ка предвиђањима наредног токена која прави када види наговештај.
Задржи као контекст: заокрети у неуспјешним сесијама којима недостаје валидирани наговештај, и означени лоши заокрети без валидираног наговештаја у било којој врсти сесије, служе као контекст али не добијају ниједан губитак.

Као резултат тога, успешне сесије могу да обезбеде и циљеве имитације и корекције, док неуспешне сесије обезбеђују само циљеве корекције. Сви преостали заокрети, укључујући систем, корисника и излаз алата, остају као контекст.

Дијаграм рутирања сесије: успешне сесије обезбеђују CE имитацију и одговарајуће наговештене корекције; неуспешне сесије обезбеђују само одговарајуће корекције. — Тренутно рутирање сесије и маске садржаја помоћника. Успесне сесије доприносе циљевима имитације; задржани записи повратних информација могу да допринесу наговештеним корекцијама чак и када је сесија неуспешна. Садржај остаје као контекст. Непотпуне сесије су искључене. Изузетак CE за не-коначни принос/токен заустављања није нацртан, а овај дијаграм не успоставља мјешавину коју користи ранија контролна тачка.

Део имитације користи стандардни RFT. Корективни део користи само-дестилацију на политици (OPSD): исти модел делује као наставник и ученик, при чему наставник добија привилеговане информације. Овде су те привилеговане информације кратак наговештај који објашњава избјеживу грешку. Обучавамо ученика да се поклапа са предвиђањима наредног токена наставника без предаје наговештаја.

Оба дијела су важна. Обука само на корекцији може да открије пречицу: наставник и ученик могу да се сложе тако што игноришу контекст уместо да науче корекцију. Термин CE сидри обуку за корисне понашања, помажући у одвраћању од договора који долази од игнорисања контекста.

Постносновани ученик затим постаје опција модела у Computer. Свеже сесије из употребе у реалном времену пролазе кроз исте филтере погодности и приватности прије него што уђу у други круг цевовода обуке.

Затим пролазимо кроз конкретан пример који садржи и имитацију и корекцију.

Размотрите коначну успешну сесију у којој корисник тражи поређење промена asyncio у Python 3.13 користећи званичну документацију. Наша документација алата наводи да search.web враћа листу погодака, сваки са пољем url.

Модел прво покреће важећу претрагу за једну верзију као део прикупљања доказа за поређење, што је добро понашање за имитацију.

Међутим, следећи позив за извршавање кода погрешно третира ту листу као речник. Алат за код враћа TypeError: list indices must be integers or slices, not str. Пошто је тип повратка докумендован прије позива, то је грешка коју је модел требао бити у стању да избјегне. Наговештај са правим позивом може се генерисати да исправи ту радњу.

Илустративна сесија кодирања: улази система и корисника и грешке алата остају контекст; корисна снимљена претрага и позиви за опоравак добијају CE у успешној сесији; означено погрешно претраживање листе добија KL ка наставнику датом са утемељеним наговештајем. — Илустративна сесија кодирања приказује три улоге обуке: улази самог контекста и излази алата (сиви), CE имитација корисних снимљених позива (тамни) и KL корекција означене грешке (тиркизни). Овде модел погрешно третира листу погодака претраге као речник; наговештај само за наставника утемељен у ранијој документацији алата води корекцију. CE циљеви се примењују само када је завршена сесија оцењена успешном, док неуспешна сесија ипак може да обезбеди одговарајући циљ KL корекције.

Цевовод обуке има четири фазе: одаберите сесије и оцијените њихове исходе, идентификујте грешке и креирајте наговештаје из корисничких повратних информација и грешака алата, генеришите вјероватноће наредног токена од наставника и ученика, и обучите модел са комбинованим CE и KL губитком.

Пипејн за узорковање црпи из подскупа стварних сесија у Computer-у подобних за обуку, које сервира GLM 5.2. Одјаве из обуке и PII искључења у оквиру пипејна примјењују се прије одабира примјера за овај ток рада.

Почетни процес скрининга бира кандидате оцењене са 4 или 5 на скали тежине задатка од пет поена од стране LLM оцјењивача и дели их у 2 групе:

Група корисничких повратних информација садржи сесије са стварним праћењем од стране корисника или заставом средњег до високог незадовољства. Налазимо ово праћење високе намере посебно корисним за учење: корисници активно покушавају да заврше задатак, а њихове корекције тачно одређују шта је модел пропустио.
Група грешака алата садржи сесије са неуспешним позивима означеним проверама заснованим на правилима, искључујући препознате кварове инфраструктуре и одбијену ауторизацију.

Два LLM оцјењивача затим процјењују коначну испоруку у односу на захтјев корисника; оба оцјењивача морају да врате позитивну пресуду како би се сесија означила као „успјешна“. За случајеве који испоручују артефакте, фаза резултата може да реконструише и инспектира испоруку, враћајући се на своје процјене засноване на тексту ако та фаза не успије. Сесије које су класификоване као непотпуне, као што је рад који чека корисника, су искључене.

Овај корак идентификује потенцијалне изворе сигнала за обуку; међутим, није свака грешка приписива модел, јер неке проистичу из двосмислених упутстава или кварова инфраструктуре. Каснија анотација утврђује које су кандидаткиње грешке стварно избјеживе и погодне за обуку.

Размотрите пример сесије у групи корисничких повратних информација, где корисник пита: „Како да нађем свој w3 на paychex“. Модел третира „w3“ као штампарску грешку за W-2, претражује упутства за W-2 и објашњава како да пронађе тај образац. Праћење корисника, „Мислио сам на W-3 образац за прослеђивање“, идентификује грешку, чак и ако сесија на крају успије.

Жалба помаже у лоцирању грешке, али је основни узрок ранија одлука да се „w3“ реинтерпретира као W-2. Оригинални захтев чини грешку избјеживом: модел је могао да сачува W-3 или да затражи појашњење. Испоставило се да је последњи заокрет помоћника прије жалбе основни узрок само око пола пута.

Наш цевовод анотације систематично мапира узрок и посљедицу у оквиру сваке сесије корисничких повратних информација. Анотатор прво проверава пропуштени захтјев или намјеру подржану ранијим контекстом. Три LLM оцјењивача затим идентификују одговорне заокрете, захтијевајући да бар два се сложе око датог заокрета. Понекад ранија изјава изричито успоставља захтјев. У другим случајевима, ниједна појединачна претходна изјава то не ради, али више комада претходног разговора заједно чине намјеравано понашање инферентним. Овај дизајн им омогућава да повежу жалбу са ранијом основном грешком уместо да је приписују искључиво последњем одговору.

Прије прихватања наговештаја, цевовод такође проверава да ли његове корективне тврдње проистичу из информација доступних прије означеног заокрета. Ове провјере имају за циљ да смање пристрасност уназад, где се нова преференција откривена у жалби третира као нешто што је модел већ требало да зна.

У овом примеру, наговештај каже моделу да тражи W-3 образац за прослеђивање на Paychex уместо W-2, или да пита који образац корисник мисли ако је захтев двосмислен. Корекција циља ранију интерпретацију и одлуку претраге, а не само коначни одговор. Оригинални заокрет остаје непромијењен; анотација додаје is_bad_turn: true и непразан hint.

Захтев за W-3 је погрешно интерпретиран као W-2; каснија жалба се прати до раније одлуке претраге и проверава се према претходним доказима. — Права сесија која приказује како се жалба прати до раније грешке, са преклапаном процедуром анотације. Корисник је затражио „w3“ на Paychex, али га је модел третирао као штампарску грешку за W-2 и тражио погрешан образац. Консензус предлагача лоцира основни узрок, док две провјере утемељења процењују да ли докази претходе грешци и да ли тврдње наговештаја проистичу из информација доступних у том тренутку. Прихваћене анотације чувају оригинални текст и додају ознаке и наговештаје, а не преписане циљеве.

Размотрите другу сесију у групи грешака алата са позивом за претрагу где аспект претражује са recency_filter: "year", али га алат одбија јер су дозвољене вредности „day“, „week“ или „month“. Ово је јасно кршење шеме.

Путања грешке алата користи детерминистичка правила за познате грешке и просуђивање модела за двосмислене случајеве. Сама порука о грешци такође није довољна да се окриви модел; просуђена корекција мора указивати на нешто што је модел могао знати из шеме алата, системских упутстава или претходног разговора.

Позив за претрагу користи неважећу вриједност recency_filter година; утемељени наговештај налаже моделу да користи наведену вриједност или изостави опционо поље. — Неважећи аргумент претраге из извјештаја илуструје тренутну процедуру грешака алата. Шема чини ову грешку избјеживом; сам прекид рада не би. Оригинални позив остаје у запису и добија утемељени наговештај. Наговештај омогућава наведену вриједност или изостављање ако је поље опционо; не захтева „месец“ за сваки захтев.

Овде наговештај наводи неуспели позив, укључује грешку валидације и налаже моделу да користи дозвољену вриједност или изостави поље ако је опционо.

Kada je korak označen, trener pokreće istu kontrolnu tačku dva puta: jednom kao nastavnik i jednom kao učenik. Nastavnik vidi nagovještaj; učenik ne.

Оба пролаза користе принуду наставника, где хранимо модел снимљеном сесијом уместо да му дозволимо да бира нове токене. Пролаз напред и даље производи пуну дистрибуцију наредног токена у сваком кораку, али је увек условљен фиксним префиксом из снимка, а не токенима за ролацију.

За пријем претраге, исти модел додељује много већу вјероватноћу за „месец“ и мању за „годину“ када му је дат наговештај. Обука користи овај дистрибутивни скрет као меки циљ.

Исти модел оцјењује евидентирани заокрет са и без наговештаја; одвојене вјероватноће наставника пружају KL циљеве док CE сидри имитацију. — Два пролаза, један сет тежина. Оба пролаза оцјењују евидентирани наставак; само наставник прима наговештаје. Његове одвојене вјероватноће наредног токена воде ученика кроз прослеђени KL. Одвојени CE циљеви сидре имитацију. Оба губитка хране једно ажурирање тежине. Ранији наговештаји могу остати у тренутном сегменту наставника; ниједан пролаз не генерише заменски одговор за обуку.

Предвиђања наставника су одвојена или заустављају градијент: она обезбеђују циљ, али не добијају ажурирање кроз пролаз наставника. Након учениковог пролаза, један корак оптимизатора ажурира заједнички модел.

CE губитак третира снимљене токене одабране за имитацију као циљеве стварне истине и кажњава модел за додељивање ниских вјероватноћа. Ово ствара чврст циљ имитације.

На позицији токена $i$ , нека $p_i(v)$ буде вјероватноћа модела за токен $v$ у пуном речнику $V$ . Снимљени наредни токен у одговору или позиву алата је $y_i$ , једанхот циљна дистрибуција је $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Крос-ентропија мјери колико добро ученик предвиђа тај снимљени токен. Са једним хот циљем, своди се на негативну лог-вјероватноћу додељену $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE маска $m_i^{\mathrm{CE}}$ је $1$ где ток треба имитирати и $0$ у супротном. Сабирање преко одабраних позиција даје губитак имитације.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL губитак уместо тога користи пуну дистрибуцију вјероватноће наредног токена наставника $q_i$ као меки циљ корекције. Контекст наставника укључује тренутни наговештај и све раније наговештаје задржане у том сегменту обуке; контекст ученика је увек без наговештаја.

KL маска $m_i^{\mathrm{KL}}$ је $1$ где токен треба исправити и $0$ у супротном; CE и KL маске се не преклапају. На овим позицијама, прослеђени KL кажњава неслагање између наставника и ученика преко целог речника:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Оба термина деле један именитељ уместо да се нормализују одвојено. Овај именитељ броји укупне токене одабране за имитацију у глобалној серији обуке. Тежина $\lambda$ контролише допринос корективне обуке у односу на имитацију.

Ова заједничка нормализација одговара интерфејсу са једним именитељем наше инфраструктуре за обуку и опоравља стандардни SFT губитак када $\lambda=0$ , поједностављујући поређења основице. Пошто су CE токени много обилнији од KL токена, коришћење заједничког именитеља такође избегава давање неоправдано великих тежина појединачним KL токенима у серијама са мало означених токена.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Примењено на раније примере, заокрети који садрже мешање W-3/W-2 и неважећи позив за претрагу добијају KL. Други неозначени садржај помоћника у успешној сесији и даље добија CE. Други садржај помоћника у неуспешној сесији се задржава као контекст али не добија ни CE ни KL.

Наше евалуације одговоре на два одвојена питања. Прво, да ли наговештај заиста помаже моделу да исправи грешку када је наговештај присутан? Друго, да ли обука помаже моделу да избјегне ту грешку касније, без наговештаја? Прво тестира да ли наговештаји пружају корисне сигнале за обуку. Друго тестира да ли модел учи из њих.

Тестирамо прво питање прије него што обука почне како бисмо били сигурни да наговештаји заиста могу да усмере модел даље од грешака.

Регенерисали смо означене заокрете корисничких повратних информација са и без наговештаја, користећи исти основни модел GLM-5.2 при температури нула. Слепи оцјењивач види каснију жалбу, али ни наговештај ни услов који је произвео одговор.

У примеру W-3, наговештај помера вјероватноћу наредног токена ка „3“ и даље од „2“ након префикса „W-“.

Вјероватноће наредног токена након W- померају се ка 3 уместо 2 када непромијењени основни модел прими наговештај. — Наговештај чува тражени W-3 образац. Траке показују средње вриједности вјероватноће наредног токена кроз осам пролаза напред; бркови показују уочени опсег, а не интервал повјерења. Оба услова користе непромијењени основни модел.

На већем издвојеном узорку од 40 заокрета подржаном експлицитно наведеним ранијим доказима, удио који се оцењује као фиксни или на путу расте са 40,0% без наговештаја на 75,0% са једним. На других 40 заокрета подржаних инферираном намером, расте са 32,5% на 80,0%.

Валидација наговештаја: фиксне или стопе на путу повећавају се са 40,0% на 75,0% за експлицитне доказе и са 32,5% на 80,0% за инферирану намеру. — Валидација наговештаја, а не евалуација након обуке. Истих 40 означених заокрета у свакој групи доказа се регенеришу са и без наговештаја користећи непромијењени GLM-5.2 на температури нула. Оцјењивач види жалбу али не и наговештај или услов. Бројеви су изведени из стопа и величина узорака извјештаја; интервали поверења нису пријављени.

У примеру грешке алата претраге, наговештај заиста помера масу вјероватноће са токена године на токен месеца.

Наговештај помера вјероватноће наредног токена непромијењеног основног модела даље од године и ка дозвољеној вриједности месец. — Наговештај помера вјероватноћу ка дозвољеној вриједности. Траке показују средње вриједности вјероватноће наредног токена кроз осам пролаза напред; бркови показују уочени опсег, а не интервал повјерења. Оба услова користе исти основни модел; ниједна обучена контролна тачка није упоређена.

На већем издвојеном узорку од 985 заокрета, регенеришемо сваки заокрет четири пута са и без наговештаја користећи исти основни модел. Слепи оцјењивач процењује да ли свака регенерација избјегава оригинални квар. Наговештаји подижу избјегавање кварова са 75,1% на 93,7%, упарени добитак од 18,6 процентних поена, и повећавају удио који преузима исправљену радњу са 60,6% на 82,3%. Добици су највећи на грешкама које само поновљено узорковање тешко поправља.

На 985 издвојених означених заокрета са грешком алата, наговештаји подижу избјегавање кварова са 75,1% на 93,7% и стопе исправљених радњи са 60,6% на 82,3%. — Валидација наговештаја о грешкама алата на 985 издвојених означених заокрета, са четири регенерације по услову. Траке показују стопе избјегавања кварова и исправљених радњи за непромијењени основни модел, са и без наговештаја. Избјегавање циљане грешке не успоставља успјех позива алата или задатка.

Затим тестирамо да ли обучени модел прави мање грешака без примања наговештаја. Евалуирамо основни модел и различите постносоване контролне тачке на задацима офлајн референтне вредности и у сесијама корисника у реалном времену, проверавајући мање кварова алата и мање незадовољства корисника.

Офлајн евалуација користи BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, репрезентативни скуп задатака Computer и проверава учитавање вјештина, преглед документа и уграђене цитате. Мјеримо удио позива алата чији су резултати изричито означени као грешке кроз трајекторије евалуације.

У овим евалуацијама, стопа снимљених грешака алата била је 2,79% за основни GLM 5.2, 1,35% за контролну тачку само-RFT и 0,87% за контролну тачку RFT-плус-OPSD. Ове контролне тачке су обучене на различитим подацима, тако да ово није аблација OPSD са упареним подацима. Резултати референтне вредности на нивоу задатка су били помешани, тако да мање грешака алата саме по себи не преводе се нужно у широко побољшање успеха задатка.

Офлајн снимљене стопе грешака алата: 2,79% за основни GLM 5.2, 1,35% за само-RFT и 0,87% за RFT плус OPSD; подаци за обуку се разликују. — Офлајн стопе грешака алата за контролне тачке основног GLM-5.2, само-RFT и RFT-плус-OPSD. Подаци за обуку се разликују између контролних тачака; ово није контролисана аблација.

Za GLM-5.2, pokrenuli smo dva odvojena A/B testa sa oko sto hiljada korisnika u svakom uslovu. U prvom, rana RFT-plus-OPSD kontrolna tačka imala je nešto manju stopu grešaka u radu alata od standardnog GLM 5.2, 2,82% prema 2,94%, ali razlika nije bila statistički značajna.

У каснијем тесту, упоредили смо две контролне тачке RFT-плус-OPSD: ранију (контролна тачка једна) и каснију (контролна тачка друга). Кварови позива алата пали су са 2,24% на 1,77% позива са снимљеним статусом. Ово је било статистички значајно релативно смањење од 21,2%. Нисмо директно упоредили другу контролну тачку са основним GLM 5.2 на мрежи.

Rezultati povratnih informacija korisnika bili su manje uvjerljivi. U drugom GLM-5.2 eksperimentu, prosječna vjerovatnoća snažnog nezadovoljstva (srednjeg ili visokog) iznosila je 2,58% za prvu kontrolnu tačku i 2,54% za drugu kontrolnu tačku, bez statistički značajne razlike.

Два одвојена онлајн A/B теста; само касније поређење контролне тачке има значајно смањење кварова алата, без значајне промјене незадовољства MID+. — Dvije odvojene GLM-5.2 A/B test uživo. Kontrolna tačka 1 se poredi sa standardnim GLM-5.2; kontrolna tačka 2 se poredi sa kontrolnom tačkom 1. Unutar ova dva testa, samo je kasnije smanjenje grešaka u radu alata statistički značajno. MID+ stope predstavljaju prosječne procijenjene vjerovatnoće srednjeg ili visokog nezadovoljstva, a ne brojeve žalbi.

За GLM-5.3, упоредили смо контролну тачку након обуке директно са основним моделом GLM-5.3. Неуспјешни позиви алата пали су са 3,56% на 2,38% позива са забележеним статусом, што представља релативно смањење од 33,04%. Стопа MID+, односно просјечна процијењена вјероватноћа средњег или високог незадовољства, пала је са 4,12% на 3,41%, што је релативно смањење од 17,2%. Оба смањења су била статистички значајна.

A/B тест за GLM-5.3: стопа неуспјеха алата пада са 3,56% на 2,38%, а стопа MID+, што је просјечна процијењена вјероватноћа средњег или високог незадовољства, пада са 4,12% на 3,41%. Релативна смањења прилагођена помоћу CUPED-а износе 33,04% и 17,16% редом. Оба секвенцијална интервала од 95% не садрже нулу; главна метрика ангажовања није значајна. — Поређење накнадно обученог GLM-5.3 и основног модела GLM-5.3 у засебном онлајн A/B тесту. Стопе неуспјеха алата и MID+, релативне промјене и 95% секвенцијални интервали повјерења користе CUPED прилагођавање. Оба смањења су статистички значајна. MID+ стопе представљају просјечне процијењене вјероватноће средњег или високог незадовољства у оквиру квалификованих оцијењених накнадних тредова, а не бројеве жалби. Стопе неуспјеха алата искључују позиве без забележеног статуса успјеха или неуспјеха.

Централна идеја је учење на нивоу одлуке, а не само сесије.

Успешан исход може сакрити грешке, а неуспешна сесија ипак може открити како се побољшати. Задржимо корисне понашања из успешних сесија као сидро, користимо жалбе и грешке алата да идентификујемо избјеживе кварове, и обучавамо модел ка предвиђањима која прави када су те грешке и корекције направљене експлицитним. Успех обезбеђује понашање за очување; неуспех пружа правац за побољшање.

Употреба у стварном свијету чини овај приступ посебно корисним. Стварни корисници доносе циљеве, ограничења и токове рада који су тешки за предвиђање у синтетичком окружењу. Њихове корекције откривају захтеве које је модел пропустио, док грешке алата излажу јазове између онога што је модел покушао и онога што окружење дозвољава. Ови сигнали допуњују обуку засновану на исходу: уместо да питамо само да ли је задатак успео, можемо питати где је модел погрешио и које информације су му могле помоћи да донесе бољу одлуку.

Ograničenja su podjednako važna. Ocijenjivači mogu pogriješiti, a ispravljanje jednog koraka ne garantuje da će cijeli zadatak uspjeti. Cilj nije samo agent koji se oporavlja nakon ispravke. To je agent kojem je ispravka rjeđe potrebna.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Од синтетичких до података из стварног свијета

Имитирајте добре кораке, исправьте лоше

Примјер: једна сесија може да научи обје лекције

Како обука функционише

Одаберите сесије, затим оцијените исход

Пронађите грешке из повратних информација корисника

Пронађите грешке из грешака алата

Два пролаза напред

Функција губитка

CE губитак

KL губитак

Комбиновани губитак

Шта евалуације показују

Наговештаји могу усмјерити модел подаље од грешака

Корисничке повратне информације

Грешке алата

Pouzdanost alata i povratne informacije korisnika nakon obuke

Офлајн евалуација

Onlajn procjena: GLM-5.2

Онлајн евалуација: GLM-5.3

Закључак

Цитирање