Навички, що самовдосконалюються

Як Perplexity Brain вивчає повторювані процедури на основі досвіду й підтримує їх в актуальному стані.

АвториPerplexity Engineering

Вступ

Користувачі мають вподобання та вимоги, специфічні для їхніх робочих процесів, яких модель загального призначення не може знати заздалегідь. Агентові потрібно вивчати ці деталі, щоб пристосовувати свою роботу до користувача, а не вимагати від нього пояснювати ту саму процедуру чи вносити ті самі виправлення в кожному сеансі. Це можливо завдяки безперервному навчанню: досвід виконаних завдань має впливати на те, як агент підходить до майбутньої роботи.

Brain — персоналізована система самовдосконалення Computer — уможливлює навчання на досвіді. Вона вже підтримує структуровану вікі знань, яка пов’язує інформацію про користувача та його роботу з доказами, що її підтверджують. Фонові агенти оновлюють вікі в міру накопичення нової інформації, тож система пам’яті з часом удосконалюється.

Навички агентів — ще один спосіб спрямовувати поведінку агента без зміни базової моделі. Навички — це багаторазові інструкції, що ведуть агента через певні завдання. Вони фіксують вимоги та допоміжні ресурси для повторюваних робочих процесів, які інакше агентові довелося б виводити з пам’яті або щоразу отримувати від користувача, що покращує продуктивність на завданнях поза розподілом навчальних даних. Вони також можуть містити скрипти для повторюваних процедур або обробки, яку можна надійно виразити в коді, тож агент може просто запускати ці скрипти, коли вони доречні. Harness робить доступні навички видимими та завантажує їхні інструкції в контекст, коли агент їх запитує. Користувачі також можуть прямо вказати в запиті, які навички використовувати.

Ми розширюємо Brain, щоб він автоматично створював і оновлював навички агентів. Brain спирається на пам’ять та історію сеансів користувача, щоб писати й удосконалювати персональні навички, які фіксують процедури для робочих процесів цього користувача. Подібний підхід ми застосовуємо для оновлення вбудованих навичок, доступних кожному користувачеві Perplexity, на основі агрегованих закономірностей у всіх сеансах.

Агент поєднує загальні можливості з вибраним контекстом завдання та особистим досвідом. Базова модель використовує робочий контекст, щоб вирішити, що робити далі, і цей контекст змінюється в міру виконання завдання. Brain надає пам’ять та особисті навички, а потім використовує вибрані докази із сеансів для подальших оновлень, які підлягають перевіркам і авторизації. Персоналізація змінює контекст та інструкції, а не ваги моделі. Джерела вибираються за потреби, а не завантажуються всі одразу; ця концептуальна схема спрощує механізми оновлення.

Спершу ми опишемо наш механізм самовдосконалення, спільний для всіх типів навичок, і пояснимо, як він працює для персональних і вбудованих навичок.

Спільний механізм самовдосконалення

Навіть корисна навичка має змінюватися, коли з’являються нові вподобання або досвід виявляє прогалини в її інструкціях. Brain відповідає за те, щоб з’ясувати, як має змінитися поведінка агента наступного разу, коли Computer зіткнеться з подібним завданням, і визначити, як слід змінити навичку, щоб краще досягати бажаного результату.

Цей процес удосконалення утворює цикл із чотирьох етапів:

  1. Докази. Brain знаходить минулі сеанси, у яких використовувалася навичка, особливо ті, де вона не впоралася.
  2. Рефлексія. Агент удосконалення вивчає ці докази та пропонує оновлення навички.
  3. Верифікація. Перевірки підтверджують, що пропозиція правильно сформована й імовірно покращить результати.
  4. Активація. Перевірену зміну застосовують. Майбутні сеанси використовують нову версію, що дає докази для наступного раунду.
Brain вибирає минулі сеанси, у яких використовувалася навичка, особливо ті, де вона не впоралася. Агент удосконалення пропонує оновлення, а перевірки оцінюють, чи воно правильно сформоване та чи ймовірно покращить результати. Після застосування нова версія використовується в майбутніх сеансах і дає докази для наступного циклу.

Цей цикл спирається на багато наявних можливостей, створених для Computer і Brain. Тут ми описуємо спільні механізми, що забезпечують збирання доказів і рефлексію. Процедури верифікації та активації залежать від того, чи зміна стосується одного користувача, чи кожного користувача Perplexity, тому ми розглядаємо їх у наступних розділах про цикли вдосконалення персональних і вбудованих навичок.

Докази з минулих сеансів

Для рефлексії потрібно знаходити сеанси, у яких використовувалася навичка, особливо ті, де є простір для покращення. Harness Computer записує сигнали, які роблять це можливим. Коли агент завантажує навичку, harness записує подію завантаження навички, що пов’язує навичку із сеансом. Коли агент помічає роздратування користувача, некоректну поведінку чи очевидну неефективність, він створює короткий структурований діагностичний звіт, а harness додає до нього навички, що використовуються. Це особливо корисно для вбудованих навичок, де потенційно релевантним може бути будь-який сеанс, тож системі потрібен спосіб швидко звузити масив доказів.

Агентам корисно мати доступ до повного запису, а не робити висновки лише на основі результату чи короткого підсумку. Computer зберігає минулі сеанси у вигляді незалежних від постачальника представлень траєкторій, що охоплюють повідомлення, виклики інструментів, міркування та результати. Ми також створили набір інструментів командного рядка, за допомогою яких агенти можуть декодувати ці траєкторії й відтворювати повні сеанси. Це дає агентові рефлексії змогу перевіряти конкретні завантаження навичок і виклики інструментів, визначаючи точні місця, де виникли проблеми або можна було щось покращити.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Приклад використання внутрішніх інструментів Computer для перегляду траєкторій. Шляхи й ідентифікатори спрощено для ілюстрації; назви команд і аргументи відповідають реалізації.

Рефлексія за допомогою фонових агентів

Brain використовує команду фонових агентів, щоб безперервно оптимізувати досвід кожного користувача. Наприклад, агенти Dream переглядають накопичений досвід, щоб оновлювати вікі знань. Так само вдосконалення навичок забезпечують агенти вдосконалення, які аналізують докази використання навичок і пропонують оновлення.

Кожен агент працює у власній пісочниці з передовою моделлю, релевантними доказами та поточною бібліотекою навичок, керуючись плагінами й навичками. Він вирішує, які сеанси прочитати, робить із кожного конкретний висновок і групує висновки, що вимагають однакової багаторазової поведінки. Оскільки виправлення одного збою може суперечити іншій інструкції або додати роботи деінде, агент читає всю навичку, перш ніж пропонувати правку, і утримується від неї, коли докази її не підтверджують.

Агенти вдосконалення працюють на тому самому harness, що й Computer. Ми зробили harness модульним, тож новий агентний застосунок може повторно використовувати його механізми для міркувань, використання інструментів і керування контекстом, визначаючи власні інструкції та можливості через плагіни. Окремий парк фонових виконавців дає нам змогу масштабувати цю обробку незалежно від завдань переднього плану.

Інтерактивний агент і фоновий агент удосконалення працюють на одному й тому самому harness Computer. Агент удосконалення використовує докази із сеансів і поточні навички, щоб запропонувати зміну або утриматися. Перш ніж нова версія стане доступною для майбутніх сеансів, пропозиція має пройти перевірки, специфічні для типу навички.

Цикл удосконалення персональних навичок

Спершу ми опишемо, як спільний механізм самовдосконалення застосовується до персонального циклу вдосконалення, який перетворює історію завдань користувача на нові або оновлені персональні навички. На рисунку нижче простежено, як приклад навички проходить повний цикл аж до переглянутої версії.

Цикл персональних навичок проходить від доказів із сеансів через агента вдосконалення, перевірки пропозицій і активацію. Агент удосконалення також враховує поточні навички; активовані зміни стають доступними для майбутніх сеансів.

Під час щоденного запуску генерації агент удосконалення переглядає нещодавні сеанси користувача, щоб визначити, які зміни варто внести. Набір нещодавніх сеансів попередньо завантажується в пісочницю разом із даними про використання навичок; решту історії сеансів користувача можна отримати за потреби. Агент удосконалення також отримує каталог наявних навичок. Він не має доступу до інтернету чи інших конекторів.

Плагіни й навички, розроблені для робочого процесу вдосконалення персональних навичок, спрямовують процес рефлексії, спираючись на наші принципи того, яким має бути добре оновлення. Спочатку агент аналізує повні траєкторії, щоб виявити конкретний висновок у кожному сеансі. Потім він порівнює висновки з наявними інструкціями та вирішує, чи оновити навичку, створити нову, чи нічого не змінювати. Для створення навички потрібні два незалежні випадки однакової багаторазової поведінки, тоді як оновлення наявної навички може бути обґрунтоване одним підтвердженим випадком.

Агент не змінює навичку безпосередньо. Натомість він створює пропозицію, у якій фіксує заплановані зміни, а також обґрунтування й докази. Оновлення обмежено однією зміною на навичку за один запуск. Детерміновані перевірки підтверджують, що пропозиції правильно сформовані й можуть бути застосовані до навички. Окремо LLM-суддя перевіряє вибіркові пропозиції, оцінюючи, чи підтверджують докази зміну і чи містить отримана навичка корисні інструкції.

Активація перетворює перевірену пропозицію на зміну в бібліотеці навичок користувача, щоб нову версію можна було завантажувати й використовувати в майбутніх сеансах. Оскільки harness на початку кожного сеансу завантажує індекс усіх доступних навичок, велика бібліотека навичок може переповнювати контекстне вікно й ускладнювати агентові пошук і завантаження релевантних навичок. Тому система зберігає лише найцінніші навички, виводячи з ужитку непотрібні, щоб бібліотека залишалася невеликою та ретельно впорядкованою. Зокрема, ми встановлюємо обмеження в 10 автоматично створених навичок на користувача. Коли ліміт досягнуто, агент удосконалення все одно може оновлювати або видаляти навички, але щоб додати нову, він має вивести з ужитку наявну й обґрунтувати, чому нова навичка корисніша для роботи користувача.

Цикл удосконалення вбудованих навичок

Ми також поширюємо фреймворк безперервного вдосконалення навичок Brain на вбудовані навички. Замість того щоб використовувати пам’ять та історію сеансів одного користувача для вдосконалення його персональних навичок, вбудований цикл використовує докази від багатьох користувачів, щоб удосконалювати навички, доступні кожному користувачеві Perplexity. Оскільки вбудованими навичками може користуватися будь-хто, планка для змін висока: оновлення, які ненавмисно погіршують продуктивність, можуть вплинути на тисячі сеансів. Вбудований агент удосконалення змінює лише версії-кандидати навичок. Щоб потрапити до канонічної версії навички, ці оновлення мають пройти парне повторне відтворення та внутрішню перевірку людиною. Ми знову простежимо повний цикл на прикладі навички та підтверджувальних доказів.

Невдалі сеанси дають першопричину та відкладені сценарії збоїв. Агент удосконалення використовує першопричину й безпроблемні приклади, щоб запропонувати редакцію; сценарії йому ніколи не показують. Парне повторне відтворення порівнює поточну й переглянуту навички на тих самих тестах, і успішні кандидати переходять до перевірки людиною перед схваленням і злиттям.

Вбудований цикл удосконалення використовує очищені докази із сеансів, придатних для використання в навчанні. Діагностика та сигнали збоїв допомагають відбирати релевантні докази, а також контрольні сеанси, у яких навичка використовувалася без жодних позначок про проблеми. Конвеєр очищення видаляє облікові дані й інші секрети, а також вкладені файли та медіа.

Агент генерації сценаріїв перетворює очищені докази на конкретні сценарії збоїв. Він зберігає лише контекст, необхідний для розуміння випадку збою та вдосконалення навички; решту сеансу відтворюють синтетично, створюючи самодостатній тест для процесу верифікації. Сценарії мають виконуватися без підключених застосунків і входу в обліковий запис; якщо початкове завдання залежало від конектора, ці вхідні дані замінюються в сценарії синтетичними файлами. Окрема перевірка підтверджує, що навичка не справляється зі згенерованим сценарієм.

Рефлексія відбувається через щотижневе завдання з перегляду, яке перетворює виявлені збої на виправлення. Воно шукає збої навичок, що повторюються в кількох сеансах, щоб один невдалий сеанс не спричиняв правки. Для кожного повторюваного збою окремо запускається агент удосконалення. Агент отримує опис першопричини разом з очищеними записами успішних сеансів. На основі цих доказів він пише редакцію-кандидат навички. Повних сценаріїв збоїв він не отримує, оскільки їх використовують для оцінювання.

Окреме завдання повторного відтворення використовує згенеровані сценарії, щоб порівняти початкову та переглянуту версії навички. LLM-суддя оцінює відповіді й траєкторії агента за критеріями кожного сценарію. Щоб пропозицію було прийнято, кожен тестовий сценарій має бути успішно пройдено з переглянутою навичкою, і принаймні один має завершитися невдачею з початковою. Сценарії, створені на основі контрольних сеансів, також відтворюються повторно, щоб підтвердити, що нічого не перестало працювати. Для сценаріїв збоїв суддя також перевіряє, чи стався саме той конкретний збій, а не вважає будь-яке невдале завдання доказом тієї самої проблеми.

Робочий процес пакує зміни-кандидати й результати оцінювання в pull request для внутрішньої перевірки людиною. Зміни набувають чинності, лише якщо інженер схвалить PR.

Оцінювання

Автоматичне вдосконалення навичок значно збільшило створення та використання навичок. З 1 серпня по 14 листопада Brain написав понад 80 000 персональних навичок для понад 20 000 користувачів. Крім того, з 4 вересня по 14 листопада до понад 30 000 наявних персональних навичок було застосовано понад 100 000 автоматичних оновлень.

Ці навички охоплюють широкий спектр галузей і завдань — від перевірки програмного забезпечення до звірки нарахувань заробітної плати й створення діаграм. Ми класифікували навички, згенеровані Brain, за робочими процесами, які вони описують. Навіть на найбільшу галузь, розробку програмного забезпечення, припало лише 11% навичок; за нею йдуть дослідження та брифінги (10,1%), продажі та операційна діяльність (9,9%), а також фінанси та інвестування (9,9%).

Серед 64 230 персональних навичок, автоматично створених з 1 серпня по 4 листопада, найбільшу частку мала розробка програмного забезпечення (11,0%), за нею — дослідження та брифінги (10,1%). На десять показаних галузей припадає 80,3% усіх навичок у вибірці.

Ми провели восьмитижневий рандомізований тест на реальному трафіку, порівнюючи користувачів з увімкненим автоматичним удосконаленням персональних навичок із контрольною групою, у якій цю функцію було вимкнено. 72,9% людей з увімкненим удосконаленням навичок отримали принаймні одну нову персональну навичку, тоді як лише 6,5% людей без нього вручну додали нову навичку. Понад половина експериментальної групи (53%) мали персональну навичку, завантажену в розмові, яку вони розпочали, порівняно з 13% у контрольній групі; у їхніх репліках персональна навичка завантажувалася приблизно в 3,6 раза частіше. Серед клієнтів, які отримали навичку, написану Brain, 63% знову скористалися такою навичкою в подальшій розмові протягом чотирьох тижнів.

У восьмитижневому рандомізованому тесті в робочому середовищі 72,9% користувачів з увімкненим автоматичним удосконаленням навичок отримали щонайменше одну нову особисту навичку порівняно з 6,5% у контрольній групі. Особисту навичку було завантажено в розмові, розпочатій користувачем, у 53% учасників групи з увімкненою функцією та в 13% учасників контрольної групи.

Наші оцінювання мають на меті визначити, як ці нові й оновлені навички впливають на виконання завдань і загальну продуктивність.

Результати того самого рандомізованого експерименту показують зменшення кількості збоїв викликів інструментів і невдоволення користувачів. Для користувачів з автоматичним удосконаленням навичок частка невдалих викликів інструментів знизилася на 11% у всій активності Computer. Без урахування власних фонових запусків системи виклики інструментів однаково завершувалися збоєм приблизно на 7% рідше, що свідчить про підвищення надійності в роботі користувача. Невдоволення користувачів, виміряне як кількість розмов із середнім або високим рівнем невдоволення на одного користувача, знизилося на 7,6%. Ми не помітили вимірних змін у вартості чи часі відповіді. Ці перші тести демонструють багатообіцяльні результати, і ми очікуємо, що покращення з часом зростатимуть, оскільки ми вдосконалюємо систему та розгортаємо самовдосконалювані навички для більшої кількості користувачів.

Офлайн-експерименти також зафіксували покращення у вужчих умовах. В експерименті SkillLearnBench Computer використав траєкторії попередніх завдань, щоб створити по одній персональній навичці для кожного з дев’яти сімейств завдань. На 16 парних екземплярах оцінювання успішність виконання завдань зросла з 43,8% без навичок до 62,5% зі згенерованими навичками, що свідчить про те, що навички, отримані з минулого досвіду, можуть покращувати продуктивність у повторюваних завданнях. В одному тематичному дослідженні вбудованої навички правки навички для електронної комерції привели до зростання якості на 6% і зниження витрат на 32%; якість вимірював автоматизований суддя.

Висновок

Самовдосконалювані навички дають Computer ще один спосіб навчатися на власній роботі. Вони розширюють можливості Brain щодо створення та підтримки процедурної пам’яті, покращуючи продуктивність у складних робочих процесах. Автоматичне вдосконалення навичок уже збільшило використання навичок, зменшило частку збоїв інструментів і знизило невдоволення користувачів.

Персональне вдосконалення навичок тепер доступне всім передплатникам Max у США. Для відповідних користувачів воно ввімкнене за замовчуванням, але його можна вимкнути. На вкладці «Плагіни» відображаються доступні навички й позначаються створені Brain, а користувачі можуть вибирати, які навички ввімкнути.

Далі ми поширимо вдосконалення на більше класів навичок, зокрема навички, створені користувачами, навички, спільні в межах проєктів, і навички організацій. Ми й надалі доопрацьовуватимемо конвеєр удосконалення та його оцінювання, щоб редакції забезпечували надійніші процедури й кращі результати.

Цитування

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}