Самоусъвършенстващи се умения
Как Perplexity Brain научава повтарящи се процедури от опита и ги поддържа актуални.
Въведение
Потребителите имат предпочитания и изисквания, специфични за техните работни процеси, които един модел с общо предназначение не може да знае предварително. Агентът трябва да научи тези подробности, за да адаптира работата си към потребителя, вместо да изисква от него да обяснява една и съща процедура или да прави едни и същи корекции във всяка сесия. Непрекъснатото обучение прави това възможно: опитът от завършените задачи трябва да определя как агентът подхожда към бъдещата работа.
Brain, персонализираната система за самоусъвършенстване на Computer, дава възможност за учене чрез опит. Тя вече поддържа структурирано уики със знания, което свързва информацията за потребителя и неговата работа с доказателствата, които я подкрепят. Фонови агенти актуализират уикито с натрупването на нова информация, така че системата за памет се подобрява с времето.
Уменията за агенти предоставят още един начин за насочване на поведението на агента, без да се променя базовият модел. Уменията са инструкции за многократна употреба, които водят агента през конкретни задачи. Те обхващат изискванията и поддържащите ресурси за повтарящи се работни процеси, които иначе агентът би трябвало да извежда по памет или да получава от потребителя всеки път, като така подобряват представянето при задачи извън разпределението на обучителните данни. Те могат да включват и скриптове за повтарящи се процедури или обработка, която може надеждно да бъде изразена в код, така че агентът просто да изпълни тези скриптове, когато са приложими. Средата harness прави наличните умения откриваеми и зарежда инструкциите им в контекста, когато агентът ги поиска. Потребителите могат също директно да посочат в подканата кои умения да се използват.
Разширяваме Brain, така че автоматично да създава и актуализира умения за агенти. Brain надгражда паметта и историята на сесиите на потребителя, за да пише и усъвършенства лични умения, които обхващат процедурите за работните процеси на този потребител. Прилагаме подобен подход и за актуализиране на вградените умения, достъпни за всеки потребител на Perplexity, въз основа на обобщени закономерности във всички сесии.
Първо описваме нашия механизъм за самоусъвършенстване, споделен между всички типове умения, и обясняваме как работи той за личните и вградените умения.
Споделен механизъм за самоусъвършенстване
Дори полезното умение трябва да се променя, когато се появяват нови предпочитания или опитът разкрива пропуски в инструкциите му. Brain отговаря за откриването на това как трябва да се промени поведението на агента следващия път, когато Computer срещне подобна задача, и за определянето на това как трябва да се промени умението, за да постига по-добре желания резултат.
Този процес на подобряване образува цикъл от четири етапа:
- Доказателства. Brain намира минали сесии, в които е използвано умението, особено такива, в които то не е постигнало очакваното.
- Рефлексия. Агент за подобряване изучава тези доказателства и предлага актуализации на умението.
- Верификация. Проверки потвърждават, че предложението е правилно оформено и вероятно ще подобри резултатите.
- Активиране. Проверената промяна се прилага. Бъдещите сесии използват новата версия, което осигурява доказателства за следващия кръг.
Този цикъл разчита на много съществуващи възможности, създадени за Computer и Brain. Тук описваме споделените механизми, които осигуряват доказателствата и рефлексията. Процедурите за верификация и активиране зависят от това дали промяната достига до един потребител, или до всеки потребител на Perplexity, затова ги разглеждаме в следващите раздели за циклите на подобряване на личните и вградените умения.
Доказателства от минали сесии
Рефлексията изисква откриване на сесии, в които е използвано умение, особено такива, в които има възможност за подобрение. Средата harness на Computer записва сигнали, които правят това възможно. Когато агентът зареди умение, средата harness записва събитие за зареждане на умение, което свързва умението със сесията. Когато агентът забележи раздразнение у потребителя, неправилно поведение или явна неефективност, той подава кратка структурирана диагностика, а средата harness прикачва използваните умения. Те са особено полезни за вградените умения, при които потенциално всяка сесия може да е релевантна, така че системата се нуждае от начин бързо да стесни набора от доказателства.
Агентите печелят от достъпа до пълния запис, вместо да преценяват въз основа на резултата или кратко резюме. Computer съхранява миналите сесии чрез независими от доставчика представяния на траекториите, които обхващат съобщения, извиквания на инструменти, разсъждения и резултати. Изградихме и набор от инструменти за командния ред, които агентите могат да използват, за да декодират тези траектории и да реконструират пълни сесии. Това позволява на агента за рефлексия да разглежда конкретни зареждания на умения и извиквания на инструменти, като идентифицира точните моменти, в които са възникнали проблеми или са възможни подобрения.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlПример за използване на вътрешните инструменти на Computer за преглед на траектории. Пътищата и идентификаторите са опростени за илюстрация; имената и аргументите на командите следват реализацията.
Рефлексия с фонови агенти
Brain използва екип от фонови агенти, за да оптимизира непрекъснато изживяването за всеки потребител. Например агентите Dream преглеждат натрупания опит, за да актуализират уикито със знания. По подобен начин подобряването на уменията се задвижва от агенти за подобряване, които анализират доказателствата за използването на умения, за да предлагат актуализации.
Всеки агент работи в собствена Sandbox среда с модел от най-висок клас, релевантните доказателства и текущата библиотека с умения, като се ръководи от разширения и умения. Той решава кои сесии да прочете, извлича конкретен урок от всяка и групира уроците, които изискват едно и също поведение за многократна употреба. Тъй като корекцията на един неуспех може да противоречи на друга инструкция или да добави работа другаде, агентът прочита цялото умение, преди да предложи редакция, и се въздържа, когато доказателствата не я подкрепят.
Агентите за подобряване работят върху същата среда harness като Computer. Направихме средата harness модулна, така че ново агентно приложение да може да преизползва механизмите ѝ за разсъждение, използване на инструменти и управление на контекста, като същевременно определя собствените си инструкции и възможности чрез разширения. Специален парк от фонови изпълнители ни позволява да мащабираме тази обработка независимо от задачите на преден план.
Цикълът на подобряване на личните умения
Първо описваме как споделеният механизъм за самоусъвършенстване се прилага към цикъла на лично подобряване, който превръща историята на задачите на потребителя в нови или актуализирани лични умения. Фигурата по-долу проследява примерно умение през целия цикъл до ревизираната му версия.
По време на ежедневно генериране агентът за подобряване преглежда последните сесии на потребителя, за да определи кои промени си струва да бъдат направени. Набор от последни сесии се зарежда предварително в Sandbox средата заедно с данните за използването на уменията; останалата част от историята на сесиите на потребителя може да бъде извлечена при нужда. Агентът за подобряване получава и каталога със съществуващите умения. Той няма достъп до интернет или до други конектори.
Разширения и умения, създадени за работния процес за подобряване на личните умения, ръководят процеса на рефлексия, като се основават на нашите принципи за това какво прави една актуализация добра. Агентът първо анализира пълните траектории, за да открие конкретен урок във всяка сесия. След това сравнява уроците със съществуващите инструкции и решава дали да актуализира умение, да създаде ново, или да не прави промяна. Създаването на умение изисква два независими случая на едно и също поведение за многократна употреба, докато актуализацията на съществуващо умение може да бъде обоснована с един-единствен подкрепен с доказателства случай.
Агентът не променя умението директно. Вместо това той изготвя предложение, в което записва планираните промени, както и аргументацията и доказателствата в тяхна подкрепа. Актуализациите са ограничени до една промяна на умение при всяко изпълнение. Детерминистични проверки потвърждават, че предложенията са правилно оформени и могат да бъдат приложени към умението. Отделно LLM оценител проверява извадка от предложенията, като преценява дали доказателствата подкрепят промяната и дали полученото умение дава полезни инструкции.
Активирането превръща проверено предложение в промяна в библиотеката с умения на потребителя, така че новата версия да може да се зарежда и използва в бъдещи сесии. Тъй като средата harness зарежда индекс на всички налични умения в началото на всяка сесия, голямата библиотека с умения може да претовари контекстния прозорец и да затрудни агента да открива и зарежда релевантните умения. Затова системата запазва само най-ценните умения и извежда от употреба ненужните, за да поддържа малка, внимателно подбрана библиотека. По-конкретно, налагаме ограничение от 10 автоматично създадени умения на потребител. При достигане на лимита агентът за подобряване все още може да актуализира или премахва умения, но за да добави ново умение, трябва да изведе от употреба съществуващо и да обоснове защо новото умение е по-полезно за работата на потребителя.
Цикълът на подобряване на вградените умения
Разширяваме и рамката на Brain за непрекъснато подобряване на уменията към вградените умения. Вместо да използва паметта и историята на сесиите на един потребител, за да подобри личните му умения, цикълът за вградените умения използва доказателства от много потребители, за да подобри уменията, достъпни за всеки потребител на Perplexity. Тъй като вградените умения могат да се използват от всеки, летвата за промени е висока; актуализации, които по невнимание влошават представянето, могат да засегнат хиляди сесии. Агентът за подобряване на вградените умения променя само кандидат-версии на уменията. За да стигнат до каноничната версия на умението, тези актуализации трябва да преминат през сдвоено възпроизвеждане и вътрешен човешки преглед. Отново проследяваме целия цикъл с примерно умение и подкрепящи доказателства.
Цикълът на подобряване на вградените умения използва почистени доказателства от сесии, допустими за използване при обучение. Диагностиката и сигналите за неуспех се използват за подбор на релевантни доказателства, заедно с контролни сесии, в които умението е използвано, без да бъдат подадени сигнали за проблем. Конвейер за почистване премахва идентификационни данни и други тайни, както и прикачени файлове и мултимедия.
Агент за генериране на сценарии превръща почистените доказателства в конкретни сценарии на неуспех. Той запазва само контекста, необходим за разбиране на случая на неуспех и подобряване на умението; останалата част от сесията се пресъздава синтетично, като така се създава самостоятелен тест за процеса на верификация. Сценариите трябва да се изпълняват без свързани приложения или вписване; ако първоначалната задача е зависела от конектор, тези входни данни се заменят със синтетични файлове в сценария. Отделна проверка потвърждава, че умението се проваля при генерирания сценарий.
Рефлексията се осъществява чрез седмична задача за ревизия, която превръща наблюдаваните неуспехи в корекции. Тя търси неуспехи на умения, които се повтарят в множество сесии, така че една-единствена лоша сесия да не предизвика редакция. За всеки повтарящ се неуспех се стартира отделно изпълнение на агент за подобряване. Агентът получава описание на основната причина, заедно с почистени записи от успешни сесии. Той използва тези доказателства, за да напише кандидат-ревизия на умението. Агентът не получава пълните сценарии на неуспех, тъй като те се използват при оценката.
Отделна задача за възпроизвеждане използва генерираните сценарии, за да сравни оригиналната и ревизираната версия на умението. LLM оценител оценява отговорите и траекториите на агента спрямо критериите на всеки сценарий. За да бъде прието едно предложение, всеки тестов сценарий трябва да бъде успешен с ревизираното умение и поне един трябва да е неуспешен с оригиналното. Сценариите, създадени от контролните сесии, също се възпроизвеждат, за да се потвърди, че нищо не е спряло да работи. При сценариите на неуспех оценителят проверява и дали е възникнал конкретният неуспех, вместо да приема неуспешно изпълнената задача като доказателство за същия проблем.
Работният процес пакетира кандидат-промените и резултатите от оценката в pull request за вътрешен човешки преглед. Промените влизат в сила само ако инженер одобри PR.
Оценки
Автоматичното подобряване на уменията значително увеличи създаването и използването на умения. Между 1 август и 14 ноември Brain написа над 80 000 лични умения за над 20 000 потребители. Освен това между 4 септември и 14 ноември бяха приложени повече от 100 000 автоматични актуализации към над 30 000 съществуващи лични умения.
Тези умения обхващат широк спектър от области и задачи – от проверка на софтуер и съгласуване на ведомости за заплати до проектиране на фигури. Категоризирахме генерираните от Brain умения според работните процеси, които описват. Дори най-голямата област, софтуерното инженерство, представлява само 11% от уменията; следват проучвания и брифинги (10,1%), продажби и операции (9,9%) и финанси и инвестиции (9,9%).
Проведохме осемседмичен рандомизиран тест върху реалния трафик, като сравнихме потребители с включено автоматично подобряване на личните умения с контролна група, при която то беше изключено. 72,9% от хората с включено подобряване на уменията получиха поне едно ново лично умение, докато само 6,5% от хората без него добавиха ръчно ново умение. При повече от половината от експерименталната група (53%) е било заредено лично умение в започнат от тях разговор, в сравнение с 13% при контролната група; при техните реплики лично умение се зареждаше около 3,6 пъти по-често. Сред клиентите, получили умение, написано от Brain, 63% са използвали такова отново в по-късен разговор в рамките на четири седмици.
Нашите оценки целят да установят как тези нови и актуализирани умения влияят върху изпълнението на задачите и цялостното представяне.
Резултатите от същия рандомизиран експеримент показват намаляване на неуспешните извиквания на инструменти и на неудовлетвореността на потребителите. При потребителите с автоматично подобряване на уменията процентът на неуспешни извиквания на инструменти спадна с 11% в цялата активност в Computer. Без да се броят собствените фонови изпълнения на системата, извикванията на инструменти пак са били неуспешни с около 7% по-рядко, което показва, че надеждността се е подобрила в работата на потребителя. Неудовлетвореността на потребителите, измервана като броя теми със средна/висока степен на неудовлетвореност на потребител, спадна със 7,6%. Не наблюдавахме измерима промяна в разходите или времето за отговор. Тези ранни тестове показват обещаващи резултати и очакваме подобренията да нарастват с времето, докато усъвършенстваме системата и предоставяме самоусъвършенстващи се умения на повече потребители.
Офлайн експериментите също отчетоха подобрения в по-тесни условия. В експеримент със SkillLearnBench Computer използва предишни траектории на задачи, за да създаде по едно лично умение за всяко от девет семейства задачи. В 16 сдвоени случая на оценка успеваемостта на задачите се повиши от 43,8% без умения до 62,5% с генерирани умения, което дава доказателства, че уменията, извлечени от минал опит, могат да подобрят представянето при повтарящи се задачи. В едно проучване на случай с вградено умение редакциите на умение за електронна търговия доведоха до повишаване на качеството с 6% при 32% по-ниски разходи, като качеството беше измерено от автоматизиран оценител.
Заключение
Самоусъвършенстващите се умения дават на Computer още един начин да се учи от работата, която върши. Те разширяват Brain, така че да създава и поддържа процедурна памет, като подобряват представянето при сложни работни процеси. Автоматичното подобряване на уменията вече увеличи използването на умения, намали процента на неуспехи на инструментите и понижи неудовлетвореността на потребителите.
Подобряването на личните умения вече е достъпно за всички абонати на Max в САЩ. То е включено по подразбиране за потребителите, които отговарят на условията, но може да бъде изключено. Разделът „Разширения“ показва наличните умения, обозначава създадените от Brain и позволява на потребителите да избират кои умения да бъдат активирани.
Следващата стъпка е да разширим подобряването към повече класове умения, включително умения, създадени от потребителите, умения, споделени в рамките на проекти, и умения на организации. Ще продължим да усъвършенстваме процеса на подобряване и неговите оценки, така че ревизиите да водят до по-надеждни процедури и по-добри резултати.
Цитиране
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}