Учене от опит от реалния свят

Как потребителите взаимодействат с нашите продукти в реалния свят е ценен източник за обучение на модели. Данните са изобилни, отразяват действителното разпределение на потребителските задачи и улавят потребителски корекции и неизправности на инструменти, които синтетичните среди могат да пропуснат.

Често срещан начин за учене от данни от реалния свят е фино настроеното обучение чрез отхвърлящо вземане на проби: преценяване на резултата на всяка сесия, запазване на успешните и обучение на модела да ги имитира. Но успешният резултат не означава, че всяка стъпка е била правилна, така че имитирането на цялата траектория рискува да подсили лошите междинни поведения в допълнение към добрите. Изхвърлянето на неуспешни сесии също така губи критични доказателства за това къде моделът се проваля.

Комбинираме фина настройка чрез отхвърляне на извадки с насочено от подсказки самодистилиране, за да се учим както от успешни, така и от неуспешни сесия. Подсказката е кратка корективна инструкция, базирана на информация, която моделът вече е притежавал, когато е допуснал грешката. Полезните стъпки от успешните сесия остават цели за имитация, докато базираните подсказки превръщат избягваните грешки в цели за корекция.

Потребителските корекции и грешките в инструментите добавят надзор относно това какво се е объркало по пътя, в допълнение към това дали задачата в крайна сметка е успяла. Прилагаме този етап след обучението с подкрепление в синтетични среди, за да помогнем за затварянето на празнината между тези среди и употребата в реалния свят.

При реална употреба, по-късно обучен контролен пункт GLM-5.2 намали неуспешните извиквания на инструменти с 21,2% спрямо по-рано обучен контролен пункт. За GLM-5.3, допълнителното обучение намали неуспешните извиквания на инструменти с 33,0%, а средната прогнозна вероятност за средно или високо недоволство на потребителите с 17,2% спрямо базовия модел.

Синтетичните задачи ни позволяват да създаваме контролирани проблеми с резултати, които са лесни за проверка, но те обикновено са ограничени до една подсказка и могат да обхванат само сценариите, които изрично проектираме.

За разлика от тях, потребителите в сесиите от реалния свят носят разнообразни инструкции, контекст и комбинации от инструменти в сесии, които се развиват през множество ходове на взаимодействие. Такава употреба в реалния свят естествено води до два ценни сигнала за грешки: потребителските корекции разкриват къде агентът не е успял да предостави това, което са искали, а грешките в инструментите показват къде неговите действия са се сринали в реални среди. Нашият пайплайн за вземане на проби зачита поверителността и изборите за обучение на потребителите, като изключва сесии с лично идентифицируема информация (PII) и от потребители, които са се отказали.

Следователно данните от реалния свят ни предоставят случаи на грешки, които синтетичната среда може да не разкрие, и често идват с вече вградено място на възникване на грешката.

При обучение върху данни от реалния свят стандартното фино настроено обучение чрез отхвърлящо вземане на проби (RFT) избира успешни сесии въз основа на техните крайни резултати, без изрично да използва потребителска обратна връзка и обратна връзка от инструменти за разграничаване на добри междинни действия от лоши. Един агент може да се възстанови от лошо извикване на инструмент или да коригира грешка след потребителска обратна връзка и пак да достави правилния изход накрая.

Изоставянето на неуспешни сесии също ограничава ефективността на извадката. Сесия, която никога не достига добър резултат, все пак може да разкрие ясна, избягваема грешка като полезен сигнал за обучение.

Ние решаваме тези ограничения, като разделяме две решения: кои сесии съдържат поведение, което си струва да бъде имитирано, и кои ходове съдържат грешки, които си струва да бъдат коригирани. Данният пайплайн взема тези решения отделно, след което присвоява на ходовете на модела едно от трите третирания:

Имитиране: ходовете без грешки в успешните сесии получават обикновена загуба от кръстосана ентропия (CE), повишавайки вероятността на записаните токени.
Коригиране: както в успешните, така и в неуспешните сесии, ходовете с грешки с валидна подсказка получават загуба от Кулбак-Лайблерова дивергенция (KL), насочвайки модела към предсказанията за следващ токен, които той прави, когато види подсказката.
Запазване като контекст: ходовете в неуспешни сесии, които нямат валидирана подсказка, и маркираните лоши ходове без валидирана подсказка в който и да е тип сесия, служат като контекст, но не получават нито една от двете загуби.

В резултат на това успешните сесии могат да предоставят цели както за имитация, така и за корекция, докато неуспешните сесии предоставят само цели за корекция. Всички останали ходове, включително системни, потребителски и изходни данни от инструменти, остават като контекст.

Диаграма за маршрутизиране на сесии: успешните сесии осигуряват CE имитация и допустими подсказани корекции; неуспешните сесии осигуряват само допустими корекции. — Маршрутизация на текущата сесия и маски за съдържанието на асистента. Успешните сесии допринасят с имитационни цели; запазените записи с обратна връзка могат да допринасят с подсказани корекции дори когато сесията е неуспешна. Друго съдържание остава като контекст. Непълните сесии се изключват. Изключението CE за yield/stop-token, който не е последен, не се извежда, и тази диаграма не определя сместа, използвана от по-ранна контрольна точка.

Имитиращата част използва стандартния RFT. Коригиращата част използва On-Policy Self-Distillation (OPSD): същият модел действа като учител и ученик, като на учителя е предоставена привилегирована информация. Тук тази привилегирована информация е кратка подсказка, обясняваща избягваема грешка. Ние обучаваме ученика да съответства на предсказанията за следващ токен на учителя, без да му се подава подсказката.

И двете части са от значение. Обучението само с корекции може да разкрие пряк път: учител и ученик могат да се съгласят, като игнорират контекста, вместо да се учат от корекцията. Членът на кръстосаната ентропия (CE) ангажира обучението към полезно поведение, помагайки за предотвратяване на съгласие, произтичащо от игнориране на контекста.

След това обученият ученик се превръща в опция за модел в Computer. Новите сесии от използването на живо преминават през същите филтри за допустимост и поверителност, преди да влязат в нов кръг от тренировъчния пайплайн.

След това разглеждаме конкретен пример, който съдържа както имитация, така и корекция.

Разгледайте евентуална успешна сесия, в която потребителят иска сравнение на промените в asyncio в Python 3.13, използвайки официалната документация. Нашата документация на инструментите посочва, че search.web връща списък с попадения, всяко с поле url.

Моделът първо изпълнява валидно търсене за една версия като част от събирането на доказателства за сравнението, което е добро поведение за имитиране.

Въпреки това следващото извикване за изпълнение на код третира погрешно този списък като речник. Инструментът за код връща TypeError: list indices must be integers or slices, not str. Тъй като върнатият тип е документиран преди извикването, това е грешка, която моделът е трябвало да може да избегне. Може да се генерира подсказка с правилното извикване за коригиране на това действие.

Илюстративна кодираща сесия: системните и потребителските входни данни и грешките в инструментите остават контекст; полезните записани търсения и възстановяващи извиквания получават CE в успешна сесия; маркирано погрешно търсене в списък получава KL към учител при подадена обоснована подсказка. — Илюстративна кодираща сесия показва три роли за обучение: входни данни само за контекст и изходи от инструменти (сиви), CE имитация на полезни записани извиквания (тъмни) и KL корекция на маркирана грешка (циан). Тук моделът погрешно третира списък с попадения от търсене като речник; подсказка само за учителя, обоснована с по-ранна документация на инструментите, насочва корекцията. CE целите се прилагат само когато завършената сесия е оценена като успешна, докато неуспешната сесия все пак може да осигури допустима цел за KL корекция.

Обучителният пайплайн има четири етапа: избиране на сесии и оценяване на техните резултати, идентифициране на грешки и създаване на подсказки от потребителската обратна връзка и грешките в инструментите, генериране на вероятности за следващ токен както от учителя, така и от ученика, и обучение на модела с комбинирана CE и KL загуба.

Потокът за вземане на извадки черпи от реален поднабор от сесии в Computer, отговарящи на условията за обучение, обслужвани от GLM 5.2. Отказалите се от обучение и изключенията, свързани с ПЛЛ, в потока се прилагат преди избора на примери за този работен процес.

Първоначалният процес на скрининг избира кандидати, оценени с 4 или 5 по петбална скала за трудност на задачите от съдия с езиков модел, и ги разделя на 2 групи:

Групата за потребителска обратна връзка съдържа сесии с истински последващ въпрос от потребител или флаг за средно до високо недоволство. Намираме тези последващи действия с висока степен на намерение за особено полезни за обучението: потребителите се опитват активно да завършат задача и техните корекции точно посочват какво е пропуснал моделът.
Групата с грешки в инструментите съдържа сесии с неуспешни извиквания, маркирани от проверки на базата на правила, като се изключват разпознати инфраструктурни неизправности и откази на оторизация.

Двама съдии с езиков модел след това оценяват крайния резултат спрямо заявката на потребителя; и двамата съдии трябва да върнат положителен вердикт, за да се класифицира сесия като „успешна“. За случаите, които доставят артефакти, етапът на резултата може да реконструира и инспектира резултата, като премине към текстово базирани преценки, ако този етап се провали. Неуспешните сесии, като например работа, чакаща потребителя, се изключват.

Тази стъпка идентифицира потенциални източници на сигнали за обучение; въпреки това не всяка грешка се дължи на модела, тъй като някои произтичат от неясни инструкции или неизправности в инфраструктурата. По-късното анотиране определя кои кандидати за грешки са наистина избягваеми и подходящи за обучение.

Разгледайте примерна сесия в групата за потребителска обратна връзка, където потребителят пита: „Как да намеря своя w3 в paychex“. Моделът третира „w3“ като печатна грешка за W-2, търси инструкции за W-2 и обяснява как да се намери тази форма. Последващият въпрос на потребителя „Имах предвид формуляра за предаване W-3“ посочва грешката, дори ако сесията в крайна сметка успее.

Оплакването помага за локализиране на грешката, но основната причина е по-ранното решение за преинтерпретиране на „w3“ като W-2. Първоначалната заявка прави грешката избягваема: моделът е могъл да запази W-3 или да поиска уточнение. Оказва се, че последният ход на асистента преди оплакването е основната причина само в около половината от случаите.

Нашият пайплайн за анотиране картографира причината и следствието систематично във всяка сесия с потребителска обратна връзка. Анотаторът първо проверява за пропуснато изискване или намерение, поддържано от по-ранен контекст. След това трима съдии с езиков модел идентифицират отговорните ходове, като изискват поне двама да се съгласят за даден ход. Понякога по-ранно изявление изрично установява изискването. В други случаи нито едно предходно изявление не го прави само по себе си, но множество части от предходния разговор съвместно правят предвиденото поведение изводимо. Този дизайн им позволява да свържат оплакване с по-ранна основна грешка, вместо да го приписват единствено на последния отговор.

Преди да приеме подсказка, пайплайнът проверява също дали нейните коригиращи твърдения следват от информация, налична преди маркирания ход. Тези проверки целят да намалят отклонението на задната мисъл (hindsight bias), при което ново предпочитание, разкрито в оплакването, се третира като нещо, което моделът вече е трябвало да знае.

В този пример подсказката казва на модела да търси формуляра за предаване W-3 на Paychex вместо W-2, или да попита кой формуляр има предвид потребителят, ако заявката е неясна. Корекцията е насочена към по-ранната интерпретация и решение за търсене, а не само към крайния отговор. Оригиналният ход остава непроменен; анотацията добавя is_bad_turn: true и непразна hint.

Заявка за W-3 е погрешно интерпретирана като W-2; по-късно оплакване е проследено до по-ранното решение за търсене и е проверено спрямо предишни доказателства. — Реална сесия, показваща как оплакването се проследява обратно до по-ранна грешка, с насложена процедура за анотиране. Потребителят е поискал „w3“ в Paychex, но моделът го е третирал като печатна грешка за W-2 и е потърсил грешния формуляр. Консенсусът на предложенията локализира основната причина, докато две проверки за обоснованост оценяват дали доказателствата предхождат грешката и дали твърденията на подсказката следват от информацията, налична в този момент. Приетите анотации запазват оригиналния текст и добавят отметки и подсказки, вместо пренаписани цели.

Разгледайте друга сесия в групата за грешки в инструментите с извикване за търсене, при което агентът търси с recency_filter: "year", но инструментът го отхвърля, тъй като разрешените стойности са „day“, „week“ или „month“. Това е ясно нарушение на схемата.

Пътят на грешките в инструментите използва детерминистични правила за известни грешки и преценка на модела за амбивалентни случаи. Едно съобщение за грешка само по себе си също не е достатъчно, за да бъде обвинен моделът; преценената корекция трябва да сочи към нещо, което моделът е могъл да знае от схемата на инструмента, системните инструкции или по-ранния разговор.

Едно извикване за търсене използва невалидната стойност година за recency_filter; обоснована подсказка инструктира модела да използва списъчна стойност или да пропусне незадължително поле. — Невалидният аргумент за търсене в отчета илюстрира текущата процедура за грешки в инструментите. Схемата прави тази грешка избягваема; една авария сама по себе си не би я направила такава. Първоначалното извикване остава в записа и получава обоснована подсказка. Подсказката позволява стойност от списъка или пропускане, ако полето е незадължително; тя не изисква „месец“ за всяка заявка.

Тук подсказката назовава неуспешното извикване, включва грешката при валидиране и инструктира модела да използва разрешена стойност или да пропусне полето, ако то е незадължително.

След като даден ход бъде маркиран, обучителят стартира един и същ чекпойнт два пъти: веднъж като учител и веднъж като ученик. Учителят вижда подсказката; ученикът – не.

И двете премивания използват насилствено подаване от учителя (teacher forcing), при което подаваме на модела записаната сесия, вместо да го оставяме да избира нови токени. Насоченото напред премиване все пак произвежда пълно разпределение на следващ токен на всяка стъпка, но то винаги е обусловено от фиксирания префикс от записа, а не от токените от ролаута.

За примера с търсенето същият модел задава много по-висока вероятност за „месец“ и по-малка за „година“, когато му е дадена подсказка. Обучението използва това разпределение като мека цел.

Същият модел оценява регистриран ход със и без подсказка; вероятностите на изолирания учител предоставят KL цели, докато CE ангажира имитацията. — Две премивания, един набор от тегла. И двете премивания оценяват регистрираното продължение; само учителят получава подсказки. Неговите изолирани вероятности за следващ токен насочват ученика чрез прав KL. Отделни CE цели ангажират имитацията. И двете загуби захранват едно обновяване на теглата. По-ранни подсказки могат да останат в текущия сегмент на учителя; нито едно премиване не генерира заместващ тренировъчен отговор.

Предсказанията на учителя са изолирани или с прекъснат градиент (stop-gradient): те предоставят цел, но не получават актуализация чрез преминаването на учителя. След преминаването на ученика една стъпка на оптимизатора актуализира споделения модел.

Загубата от кръстосана ентропия (CE) третира записаните токени, избрани за имитация, като абсолютни истински цели (ground-truth targets) и наказва модела за задаване на ниски вероятности за тях. Това създава твърда цел за имитация.

При позиция на токен $i$ , нека $p_i(v)$ е вероятността на ученика за токен $v$ в пълния речник $V$ . Записаният следващ токен в отговора или извикването на инструмент е $y_i$ , а целевото разпределение с един активен бит (one-hot) е $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Кръстосаната ентропия измерва колко добре ученикът предсказва този заровен токен. С целева стойност с един активен бит тя се свежда до отрицателната логаритмична вероятност, присвоена на $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

Маската за кръстосана ентропия $m_i^{\mathrm{CE}}$ е $1$ там, където токенът трябва да бъде имитиран, и $0$ в противен случай. Сумирането върху избраните позиции дава загубата от имитация.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL загубата вместо това използва пълното разпределение на вероятностите за следващ токен на учителя $q_i$ като мека цел за корекция. Контекстът на учителя включва текущата подсказка и всички по-ранни подсказки, запазени в този сегмент на обучение; контекстът на ученика винаги е без подсказки.

KL маската $m_i^{\mathrm{KL}}$ е $1$ там, където токенът трябва да бъде коригиран, и $0$ в противен случай; CE и KL маските не се припокриват. На тези позиции прекият KL наказва несъгласието между учителя и ученика в целия речник:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

И двете части споделят един знаменател, вместо да се номинализират отделно. Този знаменател преброява общите токени, избрани за имитация в глобалната тренировъчна партида. Теглото $\lambda$ контролира приноса на коригиращото обучение спрямо имитацията.

Тази споделена нормализация се вписва в интерфейса с един знаменател на нашата инфраструктура за обучение и възстановява стандартната SFT загуба при $\lambda=0$ , опростявайки сравненията с базовия модел. Тъй като CE токените са много по-изобилни от KL токените, използването на споделен знаменател също така избягва придаването на непропорционално големи тегла на отделни KL токени в партиди с малко маркирани токени.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Приложени към по-ранните примери, ходовете, съдържащи объркването W-3/W-2 и невалидното извикване за търсене, получават KL. Другото немаркирано съдържание на асистент в успешна сесия все пак получава CE. Другото съдържание на асистент в неуспешна сесия се запазва като контекст, но не получава нито CE, нито KL.

Нашите оценки отговарят на два отделни въпроса. Първо, помага ли наистина подсказката на модела да коригира грешка, когато тя е налична? Второ, помага ли обучението на модела да избегне тази грешка по-късно, без подсказката? Първият тества дали подсказките предоставят полезни сигнали за обучение. Вторият тества дали моделът се учи от тях.

Тестваме първия въпрос преди стартирането на обучението, за да се уверим, че подсказките наистина могат да насочат модела далеч от грешките.

Регенерирахме маркираните ходове с потребителска обратна връзка със и без подсказка, като използвахме същия базов модел GLM-5.2 при температура нула. Сляп съдия вижда по-късното оплакване, но нито подсказката, нито условието, което е произвело отговора.

В примера с W-3 подсказката измества вероятността за следващ токен към „3“ и далеч от „2“ след префикса „W-“.

Вероятностите за следващ токен след W- се изместват към 3, а не към 2, когато непромененият базов модел получи подсказка. — Подсказката запазва поискания формуляр W-3. Стълбовете показват средните вероятности за следващ токен в осем насочени напред премивания; мустаците показват наблюдавания диапазон, а не доверителен интервал. И двете условия използват непроменения базов модел.

В по-голяма извадка от 40 отделени хода, подкрепени от изрично заявени по-ранни доказателства, дялът на оценените като коригирани или на прав път се покачва от 40,0% без подсказка до 75,0% с такава. В други 40 хода, подкрепени от загатнато намерение, той се покачва от 32,5% до 80,0%.

Валидиране на подсказки: процентите на коригирани или на прав път се увеличават от 40,0% до 75,0% за изрични доказателства и от 32,5% до 80,0% за загатнато намерение. — Валидиране на подсказки, а не оценка след обучение. Същите 40 маркирани хода във всяка група доказателства се регенерират със и без подсказка, като се използва непроменен GLM-5.2 при температура нула. Съдията вижда оплакването, но не и подсказката или условието. Бройките са изведени от процентите и размерите на извадките в отчета; доверителни интервали не са докладвани.

В примера с грешка в инструмента за търсене подсказката действително измества масата на вероятността от токена за година към токена за месец.

Подсказката измества вероятностите за следващ токен на непроменения базов модел далеч от година и към разрешената стойност месец. — Подсказката измества вероятността към разрешена стойност. Стълбовете показват средните вероятности за следващ токен в осем насочени напред премивания; мустаците показват наблюдавания диапазон, а не доверителен интервал. И двете условия използват същия базов модел; не се сравнява обучена контролна точка.

В по-голяма извадка от 985 отделени ходове регенерираме всеки ход четири пъти със и без подсказка, като използваме същия базов модел. Сляп съдия оценява дали всяко регенериране избягва първоначалната грешка. Подсказките повишават избягването на грешки от 75,1% до 93,7%, което е сдвоен ръст от 18,6 процентни пункта, и увеличават дяла на предприемащите коригираното действие от 60,6% до 82,3%. Ползите са най-големи при грешки, с които само повтарящото се вземане на проби се затруднява да се справи.

При 985 отделени маркирани ходове с грешки в инструментите, подсказките повишават избягването на грешки от 75,1% до 93,7% и процента на коригираните действия от 60,6% до 82,3%. — Валидиране на подсказки за грешки в инструментите върху 985 отделени маркирани ходове, с четири регенерирания на условие. Стълбовете показват избягването на грешки и процента на коригираните действия за непроменения базов модел, със и без подсказки. Избягването на целевата грешка не установява успешно извикване на инструмент или задача.

След това проверяваме дали обучената моделна система прави по-малко грешки без да получава подсказки. Оценяваме стандартния модел и различни следобучителни контролни точки върху офлайн бенчмарк задачи и в реални потребителски сесии, като проверяваме за по-малко неуспехи на инструменти и по-малко недоволство у потребителите.

Офлайн оценката използва BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, представителен набор от задачи за Computer и проверява за зареждане на умения, преглед на документи и вградени цитирания. Измерваме дяла на извикванията на инструменти, чиито резултати са изрично маркирани като грешки в траекториите на оценяване.

В тези оценки регистрираният процент на грешки в инструментите е 2,79% за стандартния GLM 5.2, 1,35% за контролната точка само с RFT и 0,87% за контролна точка RFT-plus-OPSD. Тези контролни точки са обучени върху различни данни, така че това не е аблация с еднакви данни за OPSD. Резултатите от бенчмарковете на ниво задача бяха смесени, така че по-малкият брой грешки в инструментите сам по себе си не води непременно до широко подобрение в успеха на задачите.

Офлайн регистрирани проценти на грешки в инструментите: 2,79% за стандартен GLM 5.2, 1,35% за само RFT и 0,87% за RFT плюс OPSD; тренировъчните данни се различават. — Офлайн проценти на грешки в инструментите за контролни точки стандартен GLM-5.2, само RFT и RFT-plus-OPSD. Тренировъчните данни се различават в различните контролни точки; това не е аблация с контролирани данни.

За GLM-5.2 стартирахме два отделни A/B теста с около сто хиляди потребители във всяко състояние. В първия ранният RFT-plus-OPSD чекпойнт имаше малко по-нисък процент грешки на инструментите от стандартния GLM 5.2 – 2,82% срещу 2,94%, но разликата не беше статистически значима.

В по-късния тест сравнихме две контролни точки RFT-plus-OPSD: по-ранна (контролна точка едно) и по-късна (контролна точка две). Грешките при извикване на инструменти спаднаха от 2,24% на 1,77% от извикванията с регистриран статус. Това е статистически значимо относително намаление от 21,2%. Не сравнихме директно контролна точка две със стандартния GLM 5.2 онлайн.

Резултатите от потребителската обратна връзка бяха по-малко категорични. във втория експеримент с GLM-5.2 средната вероятност за силно неудовлетворение (средно или високо) е 2,58% за чекпойнт първи и 2,54% за чекпойнт втори, без статистически значима разлика.

Две отделни онлайн A/B теста; само по-късното сравнение на контролни точки има значително намаляване на грешките в инструментите, без значителна промяна в недоволството по скалата MID+. — Две отделни на живо A/B теста на GLM-5.2. Чекпойнт 1 се сравнява със стандартен GLM-5.2; чекпойнт 2 се сравнява с чекпойнт 1. В рамките на тези два теста само по-късното намаляване на грешките на инструментите е статистически значимо. Коефициентите MID+ представляват средно оценени вероятности за средно или високо ниво на неудовлетвореност, а не брой оплаквания.

За GLM-5.3 сравнихме допълнително обучен контролен пункт директно с базов GLM-5.3. Неуспешните извиквания на инструменти спаднаха от 3,56% на 2,38% от извикванията със занет статус, което е относително намаление от 33,04%. Коефициентът MID+, средната прогнозна вероятност за средно или високо недоволство, спадна от 4,12% на 3,41%, което е относително намаление от 17,2%. И двете намаления бяха статистически значими.

A/B тест на GLM-5.3: процентът на неуспех на инструмента пада от 3,56% на 2,38%, а скоростта на MID+, средната оценена вероятност за средно или високо недоволство, пада от 4,12% на 3,41%. Относителните намаления, коригирани с CUPED, са съответно 33,04% и 17,16%. И двата 95% последователни интервала изключват нула; основната метрика за ангажираност не е значима. — Допълнително обучен GLM-5.3 спрямо базов GLM-5.3 в отделен онлайн A/B тест. Процентите на неизправности на инструментите и MID+, относителните промени и 95% последователни доверителни интервали използват CUPED корекция. И двете намаления са статистически значими. Процентите MID+ представляват средни прогнозни вероятности за средно или високо недоволство в рамките на допустими оценени последващи теми, а не брой жалби. Процентите на неизправности на инструментите изключват извиквания без записан статус за успех или неуспех.

Централната идея е да се учи на ниво решение, а не само на ниво сесия.

Успешният резултат може да прикрие грешки, а неуспешната сесия все пак може да разкрие как да се подобрим. Запазваме полезното поведение от успешните сесии като опорна точка, използваме оплакванията и грешките в инструментите за идентифициране на избягваеми пропуски и обучаваме модела към предсказанията, които прави, когато тези грешки и корекции са направени изрични. Успехът осигурява поведение за запазване; неуспехът осигурява посока за подобрение.

Употребата в реалния свят прави този подход особено полезен. Реалните потребители носят цели, ограничения и работни процеси, които са трудни за предвиждане в синтетична среда. Техните корекции разкриват изисквания, които моделът е пропуснал, докато грешките в инструментите разкриват празнини между това, което моделът се е опитал да направи, и това, което средата позволява. Тези сигнали допълват обучението, базирано на резултати: вместо да питаме само дали дадена задача е успяла, можем да попитаме къде моделът е сбъркал и каква информация би могла да му помогне да вземе по-добро решение.

Ограниченията са еднакво важни. Съдиите могат да грешат и коригирането на един ход не гарантира успеха на цялата задача. Целта не е просто агент, който се възстановява след корекция. Това е агент, който се нуждае от корекция по-рядко.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

От синтетични към данни от реалния свят

Имитирайте добрите стъпки, коригирайте лошите

Пример: една сесия може да даде два урока

Как работи обучението

Избиране на сесии, след което оценяване на резултата

Намиране на грешките от потребителска обратна връзка

Намиране на грешките от грешки в инструментите

Две насочени напред премивания (forward passes)

Функцията на загуба

CE загубата

KL загуба

Комбинирана загуба

Какво показват оценките

Подсказките могат да насочат модела далеч от грешките

Потребителска обратна връзка

Грешки в инструментите

Надеждност на инструментите и потребителска обратна връзка след обучение

Офлайн оценка

Онлайн оценка: GLM-5.2

Онлайн оценка: GLM-5.3

Заключение

Цитиране