Нақты әлем тәжірибесінен үйрену

Пайдаланушылардың біздің өнімдерімізбен шынайы әлемде қалай әрекеттесетіні модельді оқыту үшін құнды көз болып табылады. Деректер мол, пайдаланушы тапсырмаларының нақты таралуын көрсетеді және синтетикалық орталар байқамай қалуы мүмкін пайдаланушы түзетулері мен құрал қателерін қамтиды.

Шынайы әлем деректерінен үйренудің жиі кездесетін әдісі – қабылдамауды іріктеумен дәл баптау: әр сеанстың нәтижесін бағалау, сәттілерін сақтау және модельді соларға еліктеуге үйрету. Бірақ сәтті нәтиже әрбір қадамның дұрыс болғанын білдірмейді, сондықтан бүкіл траекторияға еліктеу жақсы аралық әрекеттерге қоса жаман аралық әрекеттерді де күшейту қаупін тудырады. Сәтсіз сеанстарды елемеу сонымен қатар модельдің қай жерде жетіспейтіні туралы маңызды дәлелдерді жоғалтады.

Сәтті және сәтсіз сеанстардың екеуінен де үйрену үшін біз бас тартуды іріктеп дәл баптауды нұсқау арқылы басқарылатын өзіндік дистилляциямен біріктіреміз. Нұсқау — бұл модель қате жіберген кезде бұрыннан бар ақпаратқа негізделген қысқаша түзету нұсқауы. Сәтті сеанстардың пайдалы қадамдары еліктеу нысандары болып қала береді, ал негізделген нұсқаулар болашақта алдын алуға болатын қателерді түзету нысандарына айналдырады.

Пайдаланушы түзетулері мен құрал қателері тапсырманың соңында сәтті өткеніне қосымша, процесте не қате кеткені туралы бақылауды қосады. Біз бұл кезеңді осы орталар мен шынайы әлемде қолдану арасындағы алшақтықты жоюға көмектесу үшін синтетикалық орталардағы күшейтіп оқытудан кейін қолданамыз.

Нақты уақыттағы пайдалануда, кейінгі оқытылған GLM-5.2 бақылау нүктесі алдыңғы оқытылған бақылау нүктесімен салыстырғанда құралды шақыру сәтсіздіктерін 21,2%-ға қысқартып көрсетті. GLM-5.3 үшін оқытудан кейінгі кезең штаттағы модельмен салыстырғанда құралды шақыру сәтсіздіктерін 33,0%-ға, ал пайдаланушының орташа немесе жоғары деңгейдегі көңілі толмаушылығының орташа болжалды ықтималдығын 17,2%-ға төмендетті.

Синтетикалық тапсырмалар бізге нәтижелерін тексеру оңай болатын бақылалатын проблемаларды жасауға мүмкіндік береді, бірақ олар әдетте бір шақырумен шектеледі және тек біз нақты жобалаған сценарийлерді ғана қамти алады.

Керісінше, шынайы әлем сеанстарындағы пайдаланушылар бірнеше өзара әрекеттесу айналымдарында өрбитін сеанстарға әр түрлі нұсқауларды, мәнбұлақты және құрал комбинацияларын әкеледі. Мұндай шынайы әлемдегі пайдалану қателердің екі құнды сигналын табиғи түрде береді: пайдаланушы түзетулері агенттің олар қалаған нәрсені жеткізе алмағанын көрсетеді, ал құрал қателері оның әрекеттерінің шынайы орталарда қалай бұзылғанын көрсетеді. Біздің іріктеу конвейеріміз жеке сәйкестендірілетін ақпараты (PII) бар сеанстарды және бас тартқан пайдаланушылардың сеанстарын алып тастау арқылы пайдаланушылардың құпиялылығы мен оқыту таңдауларын құрметтейді.

Сондықтан шынайы әлем деректері бізге синтетикалық орта көрсетпеуі мүмкін қате жағдайларын береді және көбінесе қатенің қай жерде орын алғаны алдын ала қамтылған түрде келеді.

Шынайы әлем деректерінде оқыту кезінде стандартты қабылдамауды іріктеумен дәл баптау (RFT) жақсы аралық әрекеттерді жамандардан ажырату үшін пайдаланушы мен құрал кері байланысын анық пайдаланбай, соңғы нәтижелеріне негізделген сәтті сеанстарды таңдайды. Агент жаман құрал шақыруынан қалпына келе алады немесе пайдаланушының кері байланысынан кейін қатені түзете алады және соңында дұрыс шығысты бере алады.

Сәтсіз сеанстарды елемеу сондай-ақ үлгі тиімділігін шектейді. Жақсы нәтижеге жетпеген сеанстың өзі пайдалы оқыту сигналдары ретінде анық, болашақта болдырмауға болатын қатені көрсете алады.

Біз бұл шектеулерді екі шешімді бөлу арқылы шешеміз: қай сеанстар еліктеуге тұрарлық әрекеттерді қамтиды және қай айналымдар түзетуге тұрарлық қателерді қамтиды. Деректер конвейері бұл шешімдерді бөлек қабылдайды, содан кейін модель айналымдарына үш өңдеудің бірін тағайындайды:

Eліктеу: сәтті сеанстардағы қате емес айналымдар жазылған токендердің ықтималдығын арттыра отырып, қалыпты Крос-энтропия (CE) шығынын алады.
Дұрыс: сәтті және сәтсіз сеанстардың екеуінде де жарамды нұсқауы бар қате айналымдары модельді нұсқауды көрген кезде жасайтын келесі токен болжамдарына қарай жылжыта отырып, Kullback–Leibler (KL) дивергенция шығынын алады.
Мәтінмән ретінде сақтау: расталған нұсқауы жоқ сәтсіз сеанстардағы айналымдар және кез келген сеанс түрінде расталған нұсқауы жоқ белгіленген қате айналымдар мәтінмән ретінде қызмет етеді, бірақ екі шығынды да алмайды.

Нәтижесінде, сәтті сеанстар eліктеу және түзету мақсаттарын екеуін де қамтамасыз ете алады, ал сәтсіз сеанстар тек түзету мақсаттарын қамтамасыз етеді. Жүйелік, пайдаланушы және құрал шығысы сияқты қалған барлық айналымдар мәнбұлақ ретінде қалады.

Сеансты бағыттау диаграммасы: сәтті сеанстар CE еліктеуін және жарамды нұсқау берілген түзетулерді қамтамасыз етеді; сәтсіз сеанстар тек жарамды түзетулерді қамтамасыз етеді. — Ағымдағы сеансты бағыттау және көмекші мазмұн маскалары. Сәтті сеанстар eліктеу мақсаттарына үлес қосады; сақталған кері байланыс жазбалары сеанс сәтсіз болса да, нұсқау берілген түзетулерге үлес қоса алады. Басқа мазмұн мәнбұлақ ретінде қалады. Аяқталмаған сеанстар алынып тасталады. Соңғы емес yield/stop-token CE ерекшелігі сызылмаған және бұл диаграмма бұрынғы бақылау нүктесі пайдаланған қоспаны анықтамайды.

Eліктеу бөлігі стандартты RFT пайдаланады. Түзету бөлігі On-Policy Self-Distillation (OPSD) әдісін пайдаланады: сол модель мұғалім және студент ретінде әрекет етеді, ал мұғалімге артықшылықты ақпарат беріледі. Мұнда бұл артықшылықты ақпарат – болдырмауға болатын қатені түсіндіретін қысқаша нұсқау. Біз студентті нұсқау берілместен мұғалімнің келесі токен болжамдарына сәйкес келуге үйретеміз.

Екі бөлік те маңызды. Тек түзету арқылы оқыту төте жолды көрсетуі мүмкін: мұғалім мен студент түзетуді үйренудің орнына мәтінмәнді елемеу арқылы келісімге келуі мүмкін. CE термині оқытуды пайдалы әрекетке бекітіп, мәтінмәнді елемеуден туындайтын келісімді болдырмауға көмектеседі.

Содан кейін оқытудан өткен студент Computer жүйесіндегі модель опциясына айналады. Тікелей қолданудан алынған жаңа сеанстар оқыту конвейерінің келесі кезеңіне енмес бұрын сол жарамдылық пен құпиялылық сүзгілерінен өтеді.

Әрі қарай, біз eліктеуді де, түзетуді де қамтитын нақты мысалды қарастырамыз.

Ресми құжаттаманы пайдаланып Python 3.13 нұсқасындағы asyncio өзгерістерін салыстыруды пайдаланушы сұрайтын ақыры сәтті сеансты қарастырайық. Біздің құрал құжаттамамыз search.web әрқайсысының url өрісі бар соққылар тізімін қайтаратынын көрсетеді.

Модель алдымен eліктеуге тұрарлық жақсы әрекет болып табылатын салыстыруға арналған дәлелдерді жинаудың бөлігі ретінде бір нұсқа үшін жарамды іздеуді орындайды.

Алайда, келесі кодты орындау шақыруы бұл тізімді қате түрде сөздік ретінде қарастырады. Код құралы TypeError: list indices must be integers or slices, not str қатесін қайтарады. Қайтару түрі шақыру алдында құжатталғандықтан, бұл модель болдырмауы тиіс қате болып табылады. Бұл әрекетті түзету үшін дұрыс шақыруы бар нұсқау жасалуы мүмкін.

Иллюстративті кодтау сеансы: жүйе мен пайдаланушы енгізуі және құрал қателері мәнбұлақ болып қалады; пайдалы жазылған іздеу және қалпына келтіру шақырулары сәтті сеанста CE алады; белгіленген қате тізімді іздеу негізделген нұсқау берілген мұғалімге қарай KL алады. — Иллюстративті кодтау сеансы үш оқыту рөлін көрсетеді: тек мәнбұлақ кірістері мен құрал шығыстары (сұр), пайдалы жазылған шақыруларға CE eліктеу (қою) және белгіленген қатені KL түзету (көгілдір). Мұнда модель іздеу нәтижелерінің тізімін қате түрде сөздік ретінде қарастырады; бұрынғы құрал құжаттамасына негізделген тек мұғалімге арналған нұсқау түзетуді басқарады. CE мақсаттары аяқталған сеанс сәтті деп бағаланған кезде ғана қолданылады, ал сәтсіз сеанс жарамды KL түзету мақсатын әлі де қамтамасыз ете алады.

Оқыту конвейерінің төрт кезеңі бар: сеанстарды таңдау және олардың нәтижелерін бағалау, пайдаланушының кері байланысы мен құрал қателерінен қателерді анықтау және нұсқаулар жасау, мұғалім мен студенттің екеуінен де келесі токен ықтималдықтарын шығару және модельді біріктірілген CE және KL шығынымен оқыту.

Нақты әлемдегі Computer сеанстарының оқытуға жарамды ішкі жиынын GLM 5.2 ұсынады. Оқытуға қатысудан бас тартулар және құбыр желісінің PII-ге қатысты алып тастаулары осы жұмыс процесі үшін үлгілерді таңдаудан бұрын қолданылады.

Бастапқы іріктеу процесі LLM төрешісінің бес балдық тапсырманың қиындығы шкаласы бойынша 4 немесе 5 балл алған кандидаттарды таңдайды және оларды 2 топқа бөледі:

Пайдаланушының кері байланыс тобында шынайы пайдаланушының кейінгі сұрауы немесе орташа немесе жоғары қанағаттанбаушылық жалаушасы бар сеанстар бар. Біз бұл жоғары ниетті кейінгі сұрауларды оқыту үшін әсіресе пайдалы деп табамыз: пайдаланушылар тапсырманы орындауға белсенді түрде тырысуда және олардың түзетулері модельдің не жіберіп алғанын нақты көрсетеді.
Құрал қатесі тобында мойындалған инфрақұрылымдық ақаулар мен қабылданбаған авторизацияны қоспағанда, ережеге негізделген тексерулермен белгіленген сәтсіз шақырулары бар сеанстар бар.

Содан кейін екі LLM төрешісі пайдаланушының сұранысына сай соңғы нәтижені бағалайды; сеансты "сәтті" деп белгілеу үшін екі төреші де оң баға беруі тиіс. Артефакт беретін жағдайлар үшін нәтиже сатысы нәтижені қалпына келтіріп, тексере алады, ал бұл саты сәтсіз болған жағдайда мәтіндік бағалауларға қайта оралады. Пайдаланушының жауабын күтіп тұрған жұмыс сияқты аяқталмаған деп жіктелген сеанстар ерекшеленеді.

Бұл қадам оқыту сигналдарының ықтималды көздерін анықтайды; алайда, кейбір қателер түсініксіз нұсқаулардан немесе инфрақұрылымдық ақаулардан туындайтындықтан, әрбір қате модельге байланысты бола бермейді. Кейінгі аннотация қандай кандидат қателердің шынымен де болдырмауға болатын және оқытуға жарамды екенін анықтайды.

Пайдаланушының кері байланыс тобындағы мысал сеансты қарастырайық, мұнда пайдаланушы: "Paychex жүйесінен w3 формасын қалай табуға болады" деп сұрайды. Модель "w3" мәнін W-2 үшін қате терілген сөз ретінде қабылдайды, W-2 нұсқауларын іздейді және бұл форманы қалай табу керектігін түсіндіреді. Пайдаланушының "Мен W-3 беру формасын меңзедім" деген кейінгі сұрауы, сеанс соңында сәтті өтсе де, қатені анықтайды.

Шағым қатені табуға көмектеседі, бірақ түпкі себеп – “w3” мәнін W-2 ретінде қайта түсіндірудің бұрынғы шешімі. Бастапқы сұрау қатені болдырмауға мүмкіндік береді: модель W-3 сақтай алар еді немесе нақтылауды сұрай алар еді. Шағымға дейінгі соңғы көмекші айналымы тек жартысында ғана түпкі себеп болатыны белгілі болады.

Біздің аннотация конвейеріміз әрбір пайдаланушының кері байланыс сеансы шеңберінде себеп пен салдарды жүйелі түрде картаға түсіреді. Аннотатор алдымен жіберіп алған талапты немесе бұрынғы мәтінмәнмен қолдалатын ниетті тексереді. Содан кейін екі LLM төрешісі жауапты айналымдарды анықтайды, мұнда берілген айналым бойынша кем дегенде екеуінің келісуі талап етіледі. Кейде бұрынғы мәлімдеме талапты анық белгілейді. Басқа жағдайларда, бірде-бір бұрынғы мәлімдеме мұны жасамайды, бірақ алдыңғы әңгіменің бірнеше бөлігі бірігіп мақсатты әрекетті болжауға мүмкіндік береді. Бұл дизайн оларға шағымды соңғы жауапқа ғана телімей, бұрынғы түпкі қатемен байланыстыруға мүмкіндік береді.

Нұсқауды қабылдамас бұрын, конвейер оның түзету талаптары белгіленген айналымға дейін қолжетімді ақпараттан туындайтынын да тексереді. Бұл тексерулер шағымда ашылған жаңа қалау модель бұрыннан білуі керек еді деп есептелетін артқы көрініс бұрмалануын азайтуға бағытталған.

Бұл мысалда нұсқау модельге W-2 орнына Paychex жүйесінен W-3 беру формасын іздеуді немесе егер сұрау түсініксіз болса, пайдаланушының қай форманы меңзейтінін сұрауды айтады. Түзету тек соңғы жауапты емес, бұрынғы түсіндіру мен іздеу шешімін мақсат етеді. Бастапқы айналым өзгеріссіз қалады; аннотация is_bad_turn: true және бос емес hint қосады.

W-3 сұрауы W-2 ретінде қате түсіндіріледі; кейінгі шағым бұрынғы іздеу шешіміне қадағаланады және бұрынғы дәлелдермен тексеріледі. — Шағымның бұрынғы қатеге қалай қадағаланатынын көрсететін, аннотация рәсімі қабаттасқан нақты сеанс. Пайдаланушы Paychex жүйесінен “w3” сұрады, бірақ модель оны W-2 үшін қате терілген сөз ретінде қабылдады және қате форманы іздеді. Ұсынушы консенсусы түпкі себепті анықтайды, ал екі негіздеу тексеруі дәлелдемелердің қатеге дейін пайда болғанын және нұсқаудың талаптары сол сәтте қолжетімді ақпараттан туындайтынын бағалайды. Қабылданған аннотациялар қайта жазылған мақсаттардың орнына бастапқы мәтінді сақтайды және белгілер мен нұсқаулар қосады.

Агент recency_filter: "year" көмегімен іздейтін, бірақ рұқсат етілген мәндер “day”, “week” немесе “month” болғандықтан құрал оны қабылдамайтын іздеу шақыруы бар құрал қатесі тобындағы басқа сеансты қарастырайық. Бұл анық схема бұзушылығы.

Құрал қателігі жолы белгілі қателер үшін детерминистік ережелерді және түсініксіз жағдайлар үшін модель пікірін пайдаланады. Тек қате туралы хабарлама модельді кінәлау үшін жеткіліксіз; бағаланған түзету құрал схемасынан, жүйелік нұсқаулардан немесе бұрынғы әңгімеден модель білуі тиіс нәрсеге сілтеме жасауы керек.

Іздеу шақыруы жарамсыз recency_filter year мәнін пайдаланады; негізделген нұсқау модельге тізімдегі мәнді пайдалануды немесе қосымша өрісті алып тастауды тапсырады. — Есептің жарамсыз іздеу аргументі ағымдағы құрал қателігі рәсімін көрсетеді. Схема бұл қатені болдырмауға мүмкіндік береді; тек ақаудың өзі бұған әкелмес еді. Бастапқы шақыру жазбада қалады және негізделген нұсқауды алады. Нұсқау өріс қосымша болса, тізімдегі мәнге немесе алып тастауға рұқсат береді; ол әрбір сұрау үшін "month" (ай) мәнін талап етпейді.

Мұнда нұсқау сәтсіз шақырудың атауын береді, варлидация қатесін қамтиды және модельге рұқсат етілген мәнді пайдалануды немесе өріс қосымша болса, оны алып тастауды тапсырады.

Қадам белгіленгеннен кейін тренинг бірдей бақылау нүктесін екі рет іске қосады: бір рет мұғалім ретінде және бір рет студент ретінде. Мұғалім нұсқауды көреді, ал студент көрмейді.

Екі өту де оның жаңа токендерді таңдауына жол бермеудің орнына модельге жазылған сеансты беретін мұғалімнің мәжбүрлеуін пайдаланады. Тура өту әр қадамда толық келесі токен таралуын әлі де шығарады, бірақ ол rollout токендеріне емес, жазбаның тіркелген префиксіне әрқашан шартталған.

Іздеу мысалы үшін, нұсқау берілген кезде сол модель "month" (ай) сөзіне әлдеқайда жоғары ықтималдық және "year" (жыл) сөзіне азырақ ықтималдық береді. Оқыту бұл таралудың ауысуын жұмсақ мақсат ретінде пайдаланады.

Сол модель тіркелген айналымды нұсқаумен және нұсқаусыз бағалайды; бөлінген мұғалімнің ықтималдықтары KL мақсаттарын қамтамасыз етеді, ал CE eліктеуді бекітеді. — Екі өту, салмақтардың бір жиынтығы. Екі өту де тіркелген жалғастыруды бағалайды; тек мұғалім ғана нұсқаулар алады. Оның бөлінген келесі токен ықтималдықтары студентті тура KL арқылы бағыттайды. Жеке CE мақсаттары eліктеуді бекітеді. Екі шығын да бір салмақ жаңартуына әсер етеді. Бұрынғы нұсқаулар мұғалімнің ағымдағы сегментінде қалуы мүмкін; екі өту де ауыстырылатын оқыту жауабын тудырмайды.

Мұғалімнің болжамдары бөлінген немесе градиентті тоқтату әдісімен орындалады: олар мақсатты мән береді, бірақ мұғалім өтуі арқылы жаңартуды алмайды. Студенттің өтуінен кейін бір оптимизатор қадамы ортақ модельді жаңартады.

CE шығыны еліктеу үшін таңдалған жазылған токендерді негізгі шындық мақсаттары ретінде қарастырады және модельге оларға төмен ықтималдықтар бергені үшін айыппұл салады. Бұл қатаң eліктеу мақсатын жасайды.

токен позициясында толық сөздігіндегі токенінің студенттің ықтималдығы болсын. Жауаптағы немесе құралды шақырудағы жазылған келесі токен болып табылады, бір ыстық мақсатты таралу болып табылады. $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

Крос-энтропия студенттің сол тіркелген токенді қаншалықты жақсы болжайтынын өлшейді. Бір ыстық мақсатпен ол $y_i$ үшін тағайындалған теріс лог-ықтималдыққа дейін азаяды.

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE маскасы $m_i^{\mathrm{CE}}$ токенге еліктеу қажет болған жерде $1$ және басқа жағдайда $0$ болып табылады. Таңдалған позициялар бойынша қосу eліктеу шығынын береді.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL шығынының орнына мұғалімнің толық келесі токеннің ықтималдықтар таралуын $q_i$ жұмсақ түзету мақсаты ретінде пайдаланады. Мұғалімнің мәтінмәні ағымдағы нұсқауды және сол оқыту сегментінде сақталған кез келген бұрынғы нұсқауларды қамтиды; студенттің мәтінмәні әрқашан нұсқаусыз болады.

KL маскасы $m_i^{\mathrm{KL}}$ токенді түзету қажет болған жерде $1$ және басқа жағдайда $0$ болып табылады; CE және KL маскалары қиылыспайды. Осы позицияларда тура KL толық сөздік бойынша мұғалім мен студент арасындағы келіспеушілікке айыппұл салады:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Екі термин де бөлек нормаланудың орнына бір бөлімді ортақ пайдаланады. Бұл бөлім жаһандық оқыту топтамасы бойынша eліктеу үшін таңдалған жалпы токендерді санап шығады. $\lambda$ салмағы eліктеуге қатысты түзету оқытуының үлесін басқарады.

Бұл ортақ нормалау біздің оқыту инфрақұрылымымыздың бір бөлімді интерфейсіне сәйкес келеді және $\lambda=0$ кезінде стандартты SFT шығынын қалпына келтіреді, бұл базалық салыстыруларды жеңілдетеді. CE токендері KL токендеріне қарағанда әлдеқайда көп болғандықтан, ортақ бөлімді пайдалану сонымен қатар белгіленген токендері аз топтамаларда жеке KL токендеріне тым үлкен салмақ беруден сақтайды.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Бұрынғы мысалдарға қолданылған W-3/W-2 араласуын және жарамсыз іздеу шақыруын қамтитын айналымдар KL алады. Сәтті сеанстағы басқа белгіленмеген көмекші мазмұны әлі де CE алады. Сәтсіз сеанстағы басқа көмекші мазмұн мәнбұлақ ретінде сақталады, бірақ CE де, KL де алмайды.

Біздің бағалауларымыз екі бөлек сұраққа жауап береді. Біріншіден, нұсқау болған кезде нұсқау модельге қатені түзетуге шынымен көмектесе ме? Екіншіден, оқыту модельге бұл қатені кейін нұсқаусыз болдырмауға көмектесе ме? Біріншісі нұсқаулардың пайдалы оқыту сигналдарын беретінін тексереді. Екіншісі модельдің олардан үйренетінін тексереді.

Нұсқаулар модельді қателерден шынымен де бұра алатынына көз жеткізу үшін біз оқыту жұмысын бастамас бұрын бірінші сұрақты тексереміз.

Біз нұсқауы бар және нұсқаусыз, нөлдік температурадағы сол GLM-5.2 базалық моделін пайдалана отырып, белгіленген пайдаланушы кері байланысы айналымдарын қайта жасадық. Бейтарап төреші кейінгі шағымды көреді, бірақ нұсқауды да, жауапты қандай жағдай тудырғанын да көрмейді.

W-3 мысалында нұсқау "W-" префиксінен кейін келесі токен ықтималдығын "2"-ден алыстатып, "3"-ке қарай жылжытады.

Өзгермеген базалық модель нұсқау алған кезде W- кейінгі келесі токен ықтималдықтары 2-ге емес, 3-ке қарай жылжиды. — Нұсқау сұралған W-3 формасын сақтайды. Бағандар сегіз тура өту бойынша орташа келесі токен ықтималдықтарын көрсетеді; мұртшалар сенімділік аралығын емес, байқалған ауқымды көрсетеді. Екі шарт та өзгермеген базалық модельді пайдаланады.

Нақты көрсетілген бұрынғы дәлелдермен қолдау көрсетілетін үлкенірек 40 айналымды ұсталған үлгіде түзетілген немесе дұрыс деп бағаланған үлес нұсқаусыз 40.0%-дан нұсқауы бар 75.0%-ға дейін өседі. Болжанған ниетпен қолдау көрсетілетін тағы 40 айналымда ол 32.5%-дан 80.0%-ға дейін өседі.

Нұсқауды растау: нақты дәлелдер үшін бекітілген немесе дұрыс көрсеткіштер 40.0%-дан 75.0%-ға дейін және болжанған ниет үшін 32.5%-дан 80.0%-ға дейін өседі. — Оқытудан кейінгі бағалау емес, нұсқауды растау. Әрбір дәлел тобындағы сол 40 белгіленген айналым нөлдік температурада өзгермеген GLM-5.2 көмегімен нұсқауы бар және нұсқаусыз қайта жасалады. Төреші шағымды көреді, бірақ нұсқауды немесе шартты көрмейді. Сандар есептің көрсеткіштері мен үлгі өлшемдерінен алынған; сенімділік аралықтары хабарланбайды.

Іздеу құралының қатесі мысалында, нұсқау шынымен де ықтималдық массасын year токенінен month токеніне ауыстырады.

Нұсқау өзгермеген базалық модельдің келесі токен ықтималдықтарын year сөзінен алыстатып, рұқсат етілген month мәніне қарай жылжытады. — Нұсқау ықтималдықты рұқсат етілген мәнге қарай жылжытады. Бағандар сегіз тура өту бойынша орташа келесі токен ықтималдықтарын көрсетеді; мұртшалар сенімділік аралығын емес, байқалған ауқымды көрсетеді. Екі шарт та бірдей базалық модельді пайдаланады; ешқандай оқытылған бақылау нүктесі салыстырылмайды.

Үлкенірек 985 айналымды ұсталған үлгіде біз сол базалық модельді пайдалана отырып, әрбір айналымды нұсқауы бар және нұсқаусыз төрт рет қайта жасаймыз. Бейтарап төреші әрбір қайта жасаудың бастапқы сәтсіздіктен аулақ болатынын бағалайды. Нұсқаулар қатеден аулақ болуды 75,1%-дан 93,7%-ға дейін арттырады, бұл 18,6 пайыздық тармақтың жұптық өсімі және түзетілген әрекетті қабылдау үлесін 60,6%-дан 82.3%-ға дейін арттырады. Өсім тек іріктеуді қайталау арқылы жөндеу қиын болатын қателерде ең үлкен болып табылады.

Ұсталған 985 белгіленген құрал қатесі айналымдарында нұсқаулар қатеден аулақ болуды 75,1%-дан 93,7%-ға дейін және түзетілген әрекет көрсеткіштерін 60.6%-дан 82,3%-ға дейін арттырады. — Шарт бойынша төрт қайта жасау арқылы ұсталған 985 белгіленген айналымдағы құрал қатесінің нұсқауын растау. Бағандар өзгермеген базалық модель үшін нұсқауы бар және нұсқаусыз қатеден аулақ болу және түзетілген әрекет көрсеткіштерін көрсетеді. Мақсатты қатеден аулақ болу құралды шақырудың немесе тапсырманың сәтті өтуін қамтамасыз етпейді.

Келесіде біз үйретілген модель ишараларсыз жұмыс істегенде азырақ қате жіберетінін тексереміз. Біз stock модельді және әртүрлі кейіннен үйретілген checkpoint-терді офлайн бенчмарк тапсырмаларында және тірі user сеанстарында бағалап, құралдардың істен шығуының азаюын және пайдаланушының қанағаттанбауының төмендеуін тексереміз.

Офлайн бағалау BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, өкілдік Computer тапсырмалар жиынтығын пайдаланады және дағдыларды жүктеуді, құжаттарды қарауды және мәтіншілік сілтемелерді тексереді. Біз барлық бағалау траекториялары бойынша нәтижелері қате ретінде нақты белгіленген құрал шақыруларының үлесін өлшейміз.

Бұл бағалауларда жазылған құрал қателігінің көрсеткіші стандартты GLM 5.2 үшін 2.79%, тек RFT бақылау нүктесі үшін 1.35% және RFT-плюс-OPSD бақылау нүктесі үшін 0.87% болды. Бұл бақылау нүктелері әр түрлі деректерде оқытылды, сондықтан бұл OPSD сәйкестендірілген деректер абляциясы емес. Тапсырма деңгейіндегі бенчмарк нәтижелері аралас болды, сондықтан аз құрал қателері міндетті түрде тапсырманың сәтті өтуінде кеңінен жақсартуға әкелмейді.

Офлайн жазылған құрал қатесі көрсеткіштері: стандартты GLM 5.2 үшін 2.79%, тек RFT үшін 1.35% және RFT плюс OPSD үшін 0.87%; оқыту деректері әр түрлі. — Стандартты GLM-5.2, тек RFT және RFT-плюс-OPSD бақылау нүктелері үшін офлайн құрал қатесі көрсеткіштері. Оқыту деректері бақылау нүктелері бойынша әр түрлі; бұл бақыланатын абляция емес.

GLM-5.2 үшін біз әр жағдайда жүз мыңға жуық пайдаланушыны қамтитын екі бөлек A/B тестін өткіздік. Біріншісінде, ерте RFT-plus-OPSD бақылау нүктесінің құрал қателерінің көрсеткіші стандартты GLM 5.2 нұсқасына қарағанда (2,82% және 2,94%) сәл төмен болды, бірақ бұл айырмашылық статистикалық тұрғыдан маңызды болған жоқ.

Кейінгі тестте біз екі RFT және OPSD бақылау нүктелерін салыстырдық: ертерек (бірінші бақылау нүктесі) және кейінгі (екінші бақылау нүктесі). Құралды шақыру қателері жазылған күйі бар шақырулардың 2,24%-дан 1,77%-ға дейін төмендеді. Бұл статистикалық тұрғыдан маңызды 21,2% салыстырмалы төмендеу болды. Біз екінші бақылау нүктесін онлайн режимінде стандартты GLM 5.2 моделімен тікелей салыстырған жоқпыз.

Пайдаланушы пікірлерінің нәтижелері соншалықты нақты болған жоқ. Екінші GLM-5.2 тәжірибесінде күшті наразылықтың (орташа немесе жоғары) орташа ықтималдығы бірінші бақылау нүктесі үшін 2,58%-ды, ал екінші бақылау нүктесі үшін 2,54%-ды құрады, бұл ретте статистикалық тұрғыдан маңызды айырмашылық байқалмады.

Екі бөлек онлайн A/B тесті; тек кейінгі бақылау нүктесін салыстыру құрал қателігінің айтарлықтай төмендегенін көрсетеді, ал MID+ қанағаттанбаушылығында айтарлықтай өзгеріс жоқ. — Екі бөлек GLM-5.2 тікелей A/B тесті. 1-ші бақылау нүктесі стандартты GLM-5.2 нұсқасымен салыстырылады; 2-ші бақылау нүктесі 1-ші бақылау нүктесімен салыстырылады. Осы екі тест шеңберінде тек кейінгі құрал қателерінің азаюы ғана статистикалық тұрғыдан маңызды болып табылады. MID+ көрсеткіштері шағымдар санын емес, орташа бағаланған орташа немесе жоғары наразылық ықтималдығын білдіреді.

GLM-5.3 үшін біз оқытудан кейінгі бақылау нүктесін штаттағы GLM-5.3 моделімен тікелей салыстырдық. Құралды шақыру сәтсіздіктері тіркелген күйі бар шақырулардың 3,56%-ынан 2,38%-ына дейін төмендеді, бұл 33,04%-ға салыстырмалы түрде азайғанын білдіреді. MID+ көрсеткіші, яғни көңілсіздіктің орташа немесе жоғары деңгейінің орташа болжалды ықтималдығы 4,12%-дан 3,41%-ға дейін, яғни 17,2%-ға салыстырмалы түрде азайды. Екі төмендеу де статистикалық тұрғыдан маңызды болды.

GLM-5.3 A/B тесті: құралдың сәтсіздік көрсеткіші 3,56%-дан 2,38%-ға дейін төмендейді және MID+ көрсеткіші, яғни орташа немесе жоғары көңілсіздіктің орташа болжалды ықтималдығы 4,12%-дан 3,41%-ға дейін төмендейді. CUPED түзетілген салыстырмалы азаю көрсеткіштері сәйкесінше 33,04% және 17,16% құрайды. Екі 95%-дық кезекті интервал да нөлді қамтымайды; негізгі қатысу метрикасы маңызды емес. — Жеке онлайн A/B тестіндегі оқытылған GLM-5.3 пен штаттық GLM-5.3 салыстыру. Құралдың сәтсіздік және MID+ көрсеткіштері, салыстырмалы өзгерістер және 95% кезекті сенімділік интервалдары CUPED түзетуін пайдаланады. Екі төмендеу де статистикалық тұрғыдан маңызды. MID+ көрсеткіштері шағымдар санын емес, жарамды бағаланған кейінгі трендтер бойынша орташа немесе жоғары көңілсіздіктің орташа болжалды ықтималдығын білдіреді. Құралдың сәтсіздік көрсеткіштері сәтті немесе сәтсіз күйі тіркелмеген шақыруларды қамтымайды.

Орталық идея — тек сеанс деңгейінде емес, шешім деңгейінде үйрену.

Сәтті нәтиже қателерді жасыра алады, ал сәтсіз сеанс қалай жақсарту керектігін әлі де көрсете алады. Біз сәтті сеанстардан пайдалы әрекетті тірек ретінде сақтаймыз, болдырмауға болатын сәтсіздіктерді анықтау үшін шағымдар мен құрал қателерін пайдаланамыз және модельді сол қателер мен түзетулер анық жасалған кезде жасайтын болжамдарына қарай үйретеміз. Сәттілік сақтау үшін әрекетті қамтамасыз етеді; сәтсіздік жақсарту бағытын көрсетеді.

Шынайы әлемде пайдалану бұл тәсілді әсіресе пайдалы етеді. Шынайы пайдаланушылар синтетикалық ортада болжау қиын мақсаттарды, шектеулерді және жұмыс процестерін әкеледі. Олардың түзетулері модельдің жіберіп алған талаптарын көрсетеді, ал құрал қателері модель әрекет еткен нәрсе мен орта рұқсат еткен нәрсе арасындағы алшақтықты ашады. Бұл сигналдар нәтижеге негізделген оқытуды толықтырады: тапсырманың сәтті болғанын ғана сұраудың орнына, біз модельдің қай жерде қате кеткенін және қандай ақпарат оған жақсырақ шешім қабылдауға көмектесетінін сұрай аламыз.

Шектеулер де сондай маңызды. Төрешілер қателесуі мүмкін және бір қадамды түзету толық тапсырманың сәтті орындалатынына кепілдік бермейді. Мақсат — тек түзетуден кейін қалпына келетін агентті жасау емес. Мақсат — түзетуді сирек қажет ететін агентті жасау.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Синтетикалық деректерден шынайы әлем деректеріне

Жақсы қадамдарға еліктеңіз, жамандарына түзету енгізіңіз

Мысал: бір сеанс екі сабақты да үйрете алады

Оқытудың жұмыс істеу жолы

Сеанстарды таңдаңыз, содан кейін нәтижені бағалаңыз

Пайдаланушы кері байланысынан қателерді табу

Құрал қателерінен қателерді табу

Екі тура өту

Шығын функциясы

CE шығыны

KL шығыны

Біріктірілген шығын

Бағалаулардың нәтижелері нені көрсетеді

Нұсқаулар модельді қателерден алшақтата алады

Пайдаланушының кері байланысы

Құрал қателері

Оқытудан кейінгі құралдың сенімділігі мен пайдаланушы пікірі

Офлайн бағалау

Онлайн бағалау: GLM-5.2

Онлайн бағалау: GLM-5.3

Қорытынды

Дәйексөз