Самосовершенствующиеся навыки
Как Perplexity Brain осваивает повторяющиеся процедуры на основе опыта и поддерживает их актуальность.
Введение
У пользователей есть предпочтения и требования, специфичные для их рабочих процессов, которые универсальная модель не может знать заранее. Агенту нужно усваивать эти детали, чтобы подстраивать свою работу под пользователя, а не требовать, чтобы тот в каждом сеансе объяснял одну и ту же процедуру или вносил одни и те же исправления. Это становится возможным благодаря непрерывному обучению: опыт выполненных задач должен определять, как агент подходит к будущей работе.
Brain — персонализированная система самосовершенствования Computer — обеспечивает обучение на опыте. Она уже ведёт структурированную вики знаний, которая связывает информацию о пользователе и его работе с подтверждающими её свидетельствами. Фоновые агенты обновляют вики по мере накопления новой информации, поэтому система памяти со временем становится лучше.
Навыки агентов — ещё один способ направлять поведение агента без изменения базовой модели. Навыки — это переиспользуемые инструкции, которые проводят агента через определённые задачи. Они фиксируют требования и вспомогательные ресурсы для повторяющихся рабочих процессов, которые агенту иначе пришлось бы выводить из памяти или каждый раз получать от пользователя, что повышает производительность на задачах вне распределения обучающих данных. Они также могут включать скрипты для повторяющихся процедур или обработки, которую можно надёжно выразить в коде, чтобы агент просто запускал эти скрипты, когда они применимы. Благодаря harness доступные навыки становятся обнаруживаемыми, а их инструкции загружаются в контекст по запросу агента. Пользователи также могут прямо указать в промпте, какие навыки использовать.
Мы расширяем возможности Brain, чтобы он автоматически создавал и обновлял навыки агентов. Brain опирается на память и историю сеансов пользователя, чтобы писать и совершенствовать персональные навыки, фиксирующие процедуры для рабочих процессов этого пользователя. Аналогичный подход мы применяем для обновления встроенных навыков, доступных каждому пользователю Perplexity, на основе совокупных закономерностей во всех сеансах.
Сначала мы опишем наш механизм самосовершенствования, общий для всех типов навыков, и объясним, как он работает для персональных и встроенных навыков.
Общий механизм самосовершенствования
Даже полезный навык должен меняться по мере появления новых предпочтений или когда опыт выявляет пробелы в его инструкциях. Brain отвечает за то, чтобы выяснить, как должно измениться поведение агента, когда Computer в следующий раз столкнётся с похожей задачей, и определить, как изменить навык, чтобы лучше достигать желаемого результата.
Этот процесс улучшения образует цикл из четырёх этапов:
- Свидетельства. Brain находит прошлые сеансы, в которых использовался навык, особенно те, где он не справился.
- Рефлексия. Агент улучшения изучает эти свидетельства и предлагает обновления навыка.
- Верификация. Проверки подтверждают, что предложение корректно сформировано и, скорее всего, улучшит результаты.
- Активация. Проверенное изменение применяется. В будущих сеансах используется новая версия, что даёт свидетельства для следующего раунда.
Этот цикл опирается на множество существующих возможностей, созданных для Computer и Brain. Здесь мы описываем общий механизм, обеспечивающий сбор свидетельств и рефлексию. Процедуры верификации и активации зависят от того, затрагивает ли изменение одного пользователя или всех пользователей Perplexity, поэтому мы рассмотрим их в следующих разделах о циклах улучшения персональных и встроенных навыков.
Свидетельства из прошлых сеансов
Для рефлексии нужно находить сеансы, в которых использовался навык, особенно те, где есть что улучшить. В harness Computer записываются сигналы, которые делают это возможным. Когда агент загружает навык, harness фиксирует событие загрузки навыка, связывающее навык с сеансом. Когда агент замечает недовольство пользователя, некорректное поведение или явную неэффективность, он составляет краткую структурированную диагностическую запись, а harness прикрепляет к ней используемые навыки. Это особенно полезно для встроенных навыков, где потенциально релевантным может оказаться любой сеанс, поэтому системе нужен способ быстро сузить круг свидетельств.
Агентам полезно иметь доступ к полной записи, а не выносить суждение на основе результата или краткого резюме. Computer хранит прошлые сеансы в виде независимых от провайдера представлений траекторий, которые фиксируют сообщения, вызовы инструментов, рассуждения и результаты. Мы также создали набор инструментов командной строки, с помощью которых агенты могут декодировать эти траектории и восстанавливать сеансы целиком. Это позволяет агенту рефлексии изучать конкретные загрузки навыков и вызовы инструментов, определяя точные моменты, где возникли проблемы или можно было что-то улучшить.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlПример использования внутренних инструментов Computer для анализа траекторий. Пути и идентификаторы упрощены для наглядности; названия команд и аргументы соответствуют реализации.
Рефлексия с помощью фоновых агентов
Brain использует команду фоновых агентов, чтобы непрерывно оптимизировать работу для каждого пользователя. Например, агенты Dream анализируют накопленный опыт, чтобы обновлять вики знаний. Аналогично улучшение навыков обеспечивают агенты улучшения, которые осмысляют свидетельства использования навыков и предлагают обновления.
Каждый агент работает в собственной песочнице с передовой моделью, релевантными свидетельствами и текущей библиотекой навыков, руководствуясь плагинами и навыками. Он решает, какие сеансы читать, извлекает из каждого конкретный урок и группирует уроки, которые требуют одного и того же переиспользуемого поведения. Поскольку исправление одного сбоя может противоречить другой инструкции или добавить работы в другом месте, агент читает навык целиком, прежде чем предложить правку, и воздерживается от неё, если свидетельства её не подтверждают.
Агенты улучшения работают на том же harness, что и Computer. Мы сделали harness модульным, поэтому новое агентное приложение может повторно использовать его механизмы рассуждения, использования инструментов и управления контекстом, определяя собственные инструкции и возможности через плагины. Выделенный парк фоновых обработчиков позволяет масштабировать эту обработку независимо от задач переднего плана.
Цикл улучшения персональных навыков
Сначала мы опишем, как общий механизм самосовершенствования применяется в цикле улучшения персональных навыков, который превращает историю задач пользователя в новые или обновлённые персональные навыки. На рисунке ниже показан путь примера навыка через весь цикл, вплоть до исправленной версии.
Во время ежедневного запуска генерации агент улучшения просматривает недавние сеансы пользователя, чтобы определить, какие изменения стоит внести. Набор недавних сеансов заранее загружается в песочницу вместе с данными об использовании навыков; остальную историю сеансов пользователя можно получить при необходимости. Агент улучшения также получает каталог существующих навыков. У него нет доступа к интернету или другим коннекторам.
Плагины и навыки, разработанные для рабочего процесса улучшения персональных навыков, направляют процесс рефлексии, опираясь на наши принципы того, что делает обновление хорошим. Сначала агент анализирует полные траектории, чтобы выявить конкретный урок в каждом сеансе. Затем он сравнивает уроки с существующими инструкциями и решает, обновить навык, создать новый или ничего не менять. Для создания навыка требуются два независимых случая одного и того же переиспользуемого поведения, тогда как обновление существующего навыка может быть обосновано одним подтверждённым случаем.
Агент не изменяет навык напрямую. Вместо этого он формирует предложение, в котором фиксирует планируемые изменения, а также обоснование и подтверждающие свидетельства. Обновления ограничены одним изменением на навык за запуск. Детерминированные проверки подтверждают, что предложения корректно сформированы и могут быть применены к навыку. Отдельно LLM-судья проверяет выборочные предложения, оценивая, подтверждают ли свидетельства изменение и содержит ли итоговый навык полезные инструкции.
Активация превращает проверенное предложение в изменение библиотеки навыков пользователя, чтобы новую версию можно было загружать и использовать в будущих сеансах. Поскольку harness загружает индекс всех доступных навыков в начале каждого сеанса, большая библиотека навыков может засорять контекстное окно и мешать агенту находить и загружать релевантные навыки. Поэтому система сохраняет только самые ценные навыки и выводит из использования ненужные, чтобы поддерживать небольшую тщательно отобранную библиотеку. В частности, мы устанавливаем для каждого пользователя лимит в 10 автоматически созданных навыков. При достижении лимита агент улучшения по-прежнему может обновлять или удалять навыки, но чтобы добавить новый, он должен вывести из использования существующий и обосновать, почему новый навык полезнее для работы пользователя.
Цикл улучшения встроенных навыков
Мы также распространяем систему непрерывного улучшения навыков Brain на встроенные навыки. Вместо того чтобы использовать память и историю сеансов одного пользователя для улучшения его персональных навыков, цикл для встроенных навыков использует свидетельства множества пользователей, чтобы улучшать навыки, доступные каждому пользователю Perplexity. Поскольку встроенными навыками может пользоваться кто угодно, планка для изменений высока: обновления, которые непреднамеренно ухудшают работу, могут затронуть тысячи сеансов. Агент улучшения встроенных навыков изменяет только версии-кандидаты навыков. Чтобы попасть в каноническую версию навыка, эти обновления должны пройти парное воспроизведение и внутреннюю проверку человеком. И снова мы проследим весь цикл на примере навыка и подтверждающих свидетельств.
Цикл улучшения встроенных навыков использует очищенные свидетельства из сеансов, допустимых для использования в обучении. Диагностические записи и сигналы о сбоях служат для отбора релевантных свидетельств наряду с контрольными сеансами, в которых навык использовался без каких-либо замечаний. Конвейер очистки удаляет учётные данные и другие секреты, а также прикреплённые файлы и медиа.
Агент генерации сценариев превращает очищенные свидетельства в конкретные сценарии сбоев. Он сохраняет только контекст, необходимый для понимания случая сбоя и улучшения навыка; остальная часть сеанса воссоздаётся синтетически, образуя самодостаточный тест для процесса верификации. Сценарии должны выполняться без подключённых приложений и входа в аккаунт; если исходная задача зависела от коннектора, эти входные данные заменяются в сценарии синтетическими файлами. Отдельная проверка подтверждает, что навык не справляется со сгенерированным сценарием.
Рефлексия происходит в рамках еженедельного задания по доработке, которое превращает наблюдаемые сбои в исправления. Оно ищет сбои навыков, повторяющиеся в нескольких сеансах, чтобы один неудачный сеанс не приводил к правке. Для каждого повторяющегося сбоя отдельно запускается агент улучшения. Агент получает описание первопричины, а также очищенные записи успешных сеансов. На основе этих свидетельств он пишет версию-кандидат навыка. Полные сценарии сбоев он не получает, поскольку они используются при оценке.
Отдельное задание воспроизведения использует сгенерированные сценарии, чтобы сравнить исходную и исправленную версии навыка. LLM-судья оценивает ответы и траектории агента по критериям каждого сценария. Чтобы предложение было принято, каждый тестовый сценарий должен успешно проходить с исправленным навыком, а хотя бы один — завершаться неудачей с исходным. Сценарии, построенные на основе контрольных сеансов, тоже воспроизводятся, чтобы убедиться, что ничего не перестало работать. Для сценариев сбоев судья также проверяет, что произошёл именно этот конкретный сбой, а не считает любую неудачно выполненную задачу свидетельством той же проблемы.
Рабочий процесс упаковывает изменения-кандидаты и результаты оценки в pull request для внутренней проверки человеком. Изменения вступают в силу, только если инженер одобрит PR.
Оценки
Автоматическое улучшение навыков значительно увеличило создание и использование навыков. С 1 августа по 14 ноября Brain написал более 80 000 персональных навыков для более чем 20 000 пользователей. Кроме того, с 4 сентября по 14 ноября было применено более 100 000 автоматических обновлений к более чем 30 000 существующих персональных навыков.
Эти навыки охватывают широкий спектр областей и задач — от проверки программного обеспечения до сверки расчётов по зарплате и подготовки графиков. Мы классифицировали навыки, созданные Brain, по описываемым в них рабочим процессам. Даже на крупнейшую область — разработку программного обеспечения — пришлось лишь 11% навыков; за ней следуют исследования и аналитические сводки (10,1%), продажи и операционная деятельность (9,9%), а также финансы и инвестиции (9,9%).
Мы провели восьминедельный рандомизированный тест на рабочем трафике, сравнив пользователей с включённым автоматическим улучшением персональных навыков с контрольной группой, у которой эта функция была отключена. 72,9% пользователей с включённым улучшением навыков получили хотя бы один новый персональный навык, тогда как лишь 6,5% пользователей без него вручную добавили новый навык. Более чем у половины участников экспериментальной группы (53%) персональный навык загружался в начатом ими разговоре, тогда как в контрольной группе — у 13%; в их ходах персональный навык загружался примерно в 3,6 раза чаще. Среди клиентов, получивших навык, написанный Brain, 63% снова воспользовались таким навыком в последующем разговоре в течение четырёх недель.
Наши оценки призваны определить, как эти новые и обновлённые навыки влияют на выполнение задач и общую производительность.
Результаты того же рандомизированного эксперимента показывают снижение числа сбоев вызовов инструментов и недовольства пользователей. У пользователей с автоматическим улучшением навыков доля неудачных вызовов инструментов снизилась на 11% по всей активности в Computer. Даже без учёта собственных фоновых запусков системы вызовы инструментов завершались сбоем примерно на 7% реже, что говорит о повышении надёжности при выполнении работы пользователя. Недовольство пользователей, измеряемое числом тредов со средним или высоким уровнем недовольства в расчёте на пользователя, снизилось на 7,6%. Мы не заметили измеримых изменений в стоимости или времени ответа. Эти первые тесты показывают многообещающие результаты, и мы ожидаем, что со временем улучшения будут расти по мере доработки системы и распространения самосовершенствующихся навыков на большее число пользователей.
Офлайн-эксперименты также зафиксировали улучшения в более узких условиях. В эксперименте SkillLearnBench Computer использовал траектории предыдущих задач, чтобы создать по одному персональному навыку для каждого из девяти семейств задач. На 16 парных оценочных примерах доля успешно выполненных задач выросла с 43,8% без навыков до 62,5% со сгенерированными навыками, что подтверждает: навыки, полученные из прошлого опыта, могут повышать производительность на повторяющихся задачах. В одном исследовании встроенного навыка правки навыка для электронной коммерции привели к повышению качества на 6% при снижении стоимости на 32%, причём качество измерялось автоматическим судьёй.
Заключение
Самосовершенствующиеся навыки дают Computer ещё один способ учиться на выполняемой работе. Они расширяют возможности Brain, позволяя создавать и поддерживать процедурную память и повышая производительность в сложных рабочих процессах. Автоматическое улучшение навыков уже увеличило использование навыков, снизило частоту сбоев инструментов и уменьшило недовольство пользователей.
Улучшение персональных навыков теперь доступно всем подписчикам Max в США. Для подходящих пользователей оно включено по умолчанию, но его можно отключить. На вкладке «Плагины» отображаются доступные навыки и отмечаются навыки, созданные Brain, а также можно выбрать, какие навыки включены.
Далее мы распространим улучшение на другие классы навыков, включая навыки, созданные пользователями, навыки, которыми делятся в проектах, и навыки организаций. Мы продолжим совершенствовать конвейер улучшения и его оценку, чтобы новые редакции приводили к более надёжным процедурам и лучшим результатам.
Цитирование
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}