Samozlepšujúce sa Skilly

Ako sa Perplexity Brain učí opakujúce sa postupy zo skúseností a udržiava ich aktuálne.

AutoriPerplexity Engineering

Úvod

Používatelia majú preferencie a požiadavky špecifické pre svoje pracovné postupy, ktoré univerzálny model nemôže vopred poznať. Agent sa musí tieto podrobnosti naučiť, aby svoju prácu prispôsobil používateľovi, namiesto toho, aby používateľ musel v každej relácii vysvetľovať rovnaký postup alebo robiť rovnaké opravy. Umožňuje to priebežné učenie: skúsenosti z dokončených úloh by mali ovplyvňovať, ako agent pristupuje k budúcej práci.

Brain, personalizovaný systém sebazlepšovania Computeru, umožňuje učenie zo skúseností. Už teraz spravuje štruktúrovanú znalostnú wiki, ktorá prepája informácie o používateľovi a jeho práci s dôkazmi, ktoré ich podporujú. Agenti na pozadí aktualizujú wiki s pribúdaním nových informácií, takže pamäťový systém sa časom zlepšuje.

Skilly pre agentov poskytujú ďalší spôsob, ako usmerňovať správanie agenta bez zmeny základného modelu. Skilly sú opakovane použiteľné pokyny, ktoré agenta prevedú konkrétnymi úlohami. Zachytávajú požiadavky a podporné zdroje pre opakujúce sa pracovné postupy, ktoré by si agent inak musel odvodzovať z pamäte alebo ich zakaždým dostávať od používateľa, čím zlepšujú výkon pri úlohách mimo distribúcie trénovacích dát. Môžu obsahovať aj skripty pre opakujúce sa postupy alebo spracovanie, ktoré sa dá spoľahlivo vyjadriť v kóde, takže agent môže tieto skripty jednoducho spustiť, keď sú relevantné. Harness umožňuje vyhľadať dostupné Skilly a ich pokyny načíta do kontextu, keď o ne agent požiada. Používatelia môžu v prompte aj priamo určiť, ktoré Skilly sa majú použiť.

Rozširujeme Brain o automatické vytváranie a aktualizovanie Skillov pre agentov. Brain stavia na pamäti a histórii relácií používateľa, aby písal a zdokonaľoval osobné Skilly zachytávajúce postupy pre pracovné postupy daného používateľa. Podobný prístup uplatňujeme na aktualizáciu vstavaných Skillov, ktoré sú dostupné každému používateľovi Perplexity, na základe súhrnných vzorcov naprieč všetkými reláciami.

Agent kombinuje všeobecné schopnosti s vybraným kontextom úlohy a osobnými skúsenosťami. Základný model používa pracovný kontext na výber ďalšieho kroku a tento kontext sa počas úlohy mení. Brain poskytuje pamäť a osobné Skilly a potom využíva vybrané dôkazy z relácií na neskoršie aktualizácie, ktoré podliehajú kontrolám a autorizácii. Personalizácia mení kontext a pokyny, nie váhy modelu. Zdroje sa vyberajú podľa potreby a nenačítavajú sa všetky naraz; toto koncepčné zobrazenie zjednodušuje mechanizmy aktualizácií.

Najprv opíšeme náš mechanizmus sebazlepšovania, ktorý zdieľajú všetky typy Skillov, a vysvetlíme, ako funguje pre osobné a vstavané Skilly.

Zdieľaný mechanizmus sebazlepšovania

Aj užitočný Skill sa musí meniť, keď sa objavia nové preferencie alebo keď skúsenosti odhalia medzery v jeho pokynoch. Brain zodpovedá za to, aby zistil, ako by sa malo správanie agenta zmeniť, keď Computer nabudúce narazí na podobnú úlohu, a určil, ako by sa mal Skill zmeniť, aby lepšie dosahoval požadovaný výsledok.

Tento proces zlepšovania tvorí cyklus so štyrmi fázami:

  1. Dôkazy. Brain vyhľadá minulé relácie, v ktorých sa Skill použil, najmä tie, v ktorých nesplnil očakávania.
  2. Reflexia. Agent na zlepšovanie preštuduje tieto dôkazy a navrhne aktualizácie Skillu.
  3. Overenie. Kontroly potvrdia, že návrh má správny formát a pravdepodobne zlepší výsledky.
  4. Aktivácia. Overená zmena sa uplatní. Budúce relácie používajú novú verziu a poskytujú dôkazy pre ďalšie kolo.
Brain vyberá minulé relácie, v ktorých sa Skill použil, najmä tie, v ktorých nesplnil očakávania. Agent na zlepšovanie navrhne aktualizáciu a kontroly posúdia, či je správne vytvorená a či pravdepodobne zlepší výsledky. Po nasadení sa nová verzia používa v budúcich reláciách, čím poskytuje dôkazy pre ďalšie kolo.

Tento cyklus využíva mnoho existujúcich funkcií vytvorených pre Computer a Brain. Tu opisujeme zdieľané mechanizmy, ktoré umožňujú zber dôkazov a reflexiu. Postupy overenia a aktivácie závisia od toho, či sa zmena dotkne jedného používateľa alebo každého používateľa Perplexity, preto ich rozoberáme v nasledujúcich častiach o cykloch zlepšovania osobných a vstavaných Skillov.

Dôkazy z minulých relácií

Reflexia si vyžaduje nájsť relácie, v ktorých sa Skill použil, najmä tie, v ktorých je priestor na zlepšenie. Signály, ktoré to umožňujú, zaznamenáva harness Computeru. Keď agent načíta Skill, harness zaznamená udalosť načítania Skillu, ktorá Skill prepojí s reláciou. Keď agent zaznamená frustráciu používateľa, nefunkčné správanie alebo zjavnú neefektívnosť, vytvorí krátku štruktúrovanú diagnostiku a harness k nej pripojí používané Skilly. Tieto signály sú obzvlášť užitočné pri vstavaných Skilloch, pri ktorých môže byť relevantná potenciálne akákoľvek relácia, takže systém potrebuje spôsob, ako rýchlo zúžiť súbor dôkazov.

Agentom prospieva prístup k úplnému záznamu namiesto posudzovania na základe výsledku alebo krátkeho zhrnutia. Computer ukladá minulé relácie pomocou reprezentácií trajektórií nezávislých od poskytovateľa, ktoré zachytávajú správy, volania nástrojov, uvažovanie a výsledky. Vytvorili sme aj sadu nástrojov príkazového riadka, pomocou ktorých môžu agenti tieto trajektórie dekódovať a rekonštruovať celé relácie. Agent na reflexiu tak môže skúmať konkrétne načítania Skillov a volania nástrojov a identifikovať presné miesta, kde nastali problémy alebo kde by sa dalo niečo zlepšiť.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Príklad použitia interných nástrojov Computer na kontrolu trajektórií. Cesty a identifikátory sú pre názornosť zjednodušené; názvy príkazov a argumenty zodpovedajú implementácii.

Reflexia pomocou agentov na pozadí

Brain využíva tím agentov na pozadí, ktorí nepretržite optimalizujú používateľský zážitok pre každého používateľa. Napríklad agenti Dream prechádzajú nahromadené skúsenosti a aktualizujú znalostnú wiki. Podobne zlepšovanie Skillov poháňajú agenti na zlepšovanie, ktorí na základe dôkazov o používaní Skillov navrhujú aktualizácie.

Každý agent pracuje vo vlastnom sandboxe so špičkovým modelom, relevantnými dôkazmi a aktuálnou knižnicou Skillov, pričom ho usmerňujú pluginy a Skilly. Rozhoduje, ktoré relácie si prečíta, z každej vyvodí konkrétne poučenie a zoskupí poučenia, ktoré si vyžadujú rovnaké opakovane použiteľné správanie. Keďže oprava jedného zlyhania môže byť v rozpore s iným pokynom alebo pridať prácu inde, pred navrhnutím úpravy si prečíta celý Skill, a ak dôkazy úpravu nepodporujú, žiadnu nenavrhne.

Agenti na zlepšovanie bežia na rovnakom harnesse ako Computer. Harness sme navrhli ako modulárny, takže nová agentová aplikácia môže opätovne využiť jeho mechanizmy na uvažovanie, používanie nástrojov a správu kontextu a zároveň si prostredníctvom pluginov definovať vlastné pokyny a schopnosti. Vyhradená flotila pracovných procesov na pozadí nám umožňuje škálovať toto spracovanie nezávisle od úloh v popredí.

Interaktívny agent aj agent na zlepšovanie na pozadí využívajú rovnaký harness Computer. Agent na zlepšovanie na základe dôkazov z relácií a aktuálnych Skillov navrhne zmenu alebo od zmeny upustí. Návrh musí prejsť kontrolami špecifickými pre daný typ Skillu, skôr než bude nová verzia k dispozícii budúcim reláciám.

Cyklus zlepšovania osobných Skillov

Najprv opíšeme, ako sa zdieľaný mechanizmus sebazlepšovania uplatňuje v cykle zlepšovania osobných Skillov, ktorý premieňa históriu úloh používateľa na nové alebo aktualizované osobné Skilly. Obrázok nižšie sleduje vzorový Skill celým cyklom až po revidovanú verziu.

Cyklus osobných Skillov vedie od dôkazov z relácií cez agenta na zlepšovanie, kontroly návrhov a aktiváciu. Agentovi na zlepšovanie poskytujú podklady aj aktuálne Skilly; aktivované zmeny sa sprístupnia budúcim reláciám.

Počas denného generovania agent na zlepšovanie prechádza nedávne relácie používateľa, aby určil zmeny, ktoré sa oplatí urobiť. Do sandboxu sa vopred načíta súbor nedávnych relácií spolu s údajmi o používaní Skillov; zvyšok histórie relácií používateľa možno podľa potreby načítať. Agent na zlepšovanie dostáva aj katalóg existujúcich Skillov. Nemá prístup na internet ani k iným konektorom.

Pluginy a Skilly navrhnuté pre pracovný postup zlepšovania osobných Skillov usmerňujú proces reflexie a vychádzajú z našich zásad o tom, čo tvorí dobrú aktualizáciu. Agent najprv analyzuje úplné trajektórie, aby v každej relácii identifikoval konkrétne poučenie. Potom porovná poučenia s existujúcimi pokynmi a rozhodne, či Skill aktualizuje, vytvorí nový, alebo nič nezmení. Vytvorenie Skillu si vyžaduje dva nezávislé výskyty rovnakého opakovane použiteľného správania, zatiaľ čo aktualizáciu existujúceho Skillu môže odôvodniť aj jediný podložený výskyt.

Agent Skill priamo neupravuje. Namiesto toho vytvorí návrh, v ktorom zaznamená zamýšľané zmeny spolu s odôvodnením a podpornými dôkazmi. Aktualizácie sú obmedzené na jednu zmenu na Skill za jeden beh. Deterministické kontroly overujú, že návrhy majú správny formát a dajú sa na Skill aplikovať. Okrem toho hodnotiaci model LLM kontroluje vybrané vzorky návrhov a posudzuje, či dôkazy podporujú zmenu a či výsledný Skill poskytuje užitočné pokyny.

Aktivácia premení overený návrh na zmenu v knižnici Skillov používateľa, aby sa nová verzia mohla načítať a používať v budúcich reláciách. Keďže harness na začiatku každej relácie načíta index všetkých dostupných Skillov, veľká knižnica Skillov môže zahltiť kontextové okno a sťažiť agentovi nájdenie a načítanie relevantných Skillov. Systém preto ponecháva iba najhodnotnejšie Skilly a vyraďuje tie, ktoré nie sú potrebné, aby knižnica zostala malá a starostlivo vybraná. Konkrétne uplatňujeme limit 10 automaticky vytvorených Skillov na používateľa. Po dosiahnutí limitu môže agent na zlepšovanie naďalej aktualizovať alebo odstraňovať Skilly, ale ak chce pridať nový Skill, musí vyradiť existujúci a zdôvodniť, prečo je nový Skill pre prácu používateľa užitočnejší.

Cyklus zlepšovania vstavaných Skillov

Rámec Brainu na nepretržité zlepšovanie Skillov rozširujeme aj na vstavané Skilly. Namiesto toho, aby sa na zlepšenie osobných Skillov jedného používateľa využívala jeho pamäť a história relácií, vstavaný cyklus využíva dôkazy od mnohých používateľov na zlepšenie Skillov dostupných každému používateľovi Perplexity. Keďže vstavané Skilly môže používať ktokoľvek, latka pre zmeny je nastavená vysoko; aktualizácie, ktoré neúmyselne zhoršia výkon, môžu ovplyvniť tisíce relácií. Agent na zlepšovanie vstavaných Skillov mení iba kandidátske verzie Skillov. Aby sa tieto aktualizácie dostali do kanonickej verzie Skillu, musia prejsť párovým prehrávaním a internou ľudskou kontrolou. Aj tu sledujeme celý cyklus na vzorovom Skille a podporných dôkazoch.

Z neúspešných relácií vzniká hlavná príčina a vyčlenené scenáre zlyhania. Agent na zlepšovanie na základe hlavnej príčiny a bezproblémových príkladov navrhne revíziu; scenáre sa mu nikdy nezobrazia. Párové prehrávanie porovnáva aktuálne a revidované Skilly na rovnakých testoch, pričom úspešní kandidáti postupujú pred schválením a zlúčením na ľudskú kontrolu.

Cyklus zlepšovania vstavaných Skillov využíva očistené dôkazy z relácií, ktoré je možné použiť na trénovanie. Na výber relevantných dôkazov slúžia diagnostiky a signály zlyhania spolu s kontrolnými reláciami, v ktorých sa Skill použil bez toho, aby vyvolal akékoľvek upozornenie. Proces očisťovania odstraňuje prihlasovacie údaje a ďalšie tajné údaje, ako aj priložené súbory a médiá.

Agent na generovanie scenárov premieňa očistené dôkazy na konkrétne scenáre zlyhania. Ponecháva iba kontext potrebný na pochopenie prípadu zlyhania a zlepšenie Skillu; zvyšok relácie sa synteticky zrekonštruuje, čím vznikne samostatný test pre proces overovania. Scenáre musia bežať bez pripojených aplikácií a bez prihlásenia; ak pôvodná úloha závisela od konektora, tento vstup sa v scenári nahradí syntetickými súbormi. Samostatná kontrola overuje, že Skill vo vygenerovanom scenári zlyhá.

Reflexia prebieha prostredníctvom týždennej revíznej úlohy, ktorá premieňa pozorované zlyhania na opravy. Hľadá zlyhania Skillov, ktoré sa opakujú vo viacerých reláciách, aby úpravu nespôsobila jediná nevydarená relácia. Pre každé opakujúce sa zlyhanie sa samostatne spustí agent na zlepšovanie. Agent dostane popis hlavnej príčiny spolu s očistenými záznamami z úspešných relácií. Na základe týchto dôkazov napíše kandidátsku revíziu Skillu. Úplné scenáre zlyhania nedostane, pretože sa používajú pri hodnotení.

Samostatná úloha prehrávania používa vygenerované scenáre na porovnanie pôvodnej a revidovanej verzie Skillu. Hodnotiaci model LLM posudzuje odpovede a trajektórie agenta podľa hodnotiacich kritérií každého scenára. Aby návrh prešiel, musí s revidovaným Skillom prejsť každý testovací scenár a aspoň jeden musí s pôvodným Skillom zlyhať. Prehrávajú sa aj scenáre vytvorené z kontrolných relácií, aby sa potvrdilo, že nič neprestalo fungovať. Pri scenároch zlyhania hodnotiaci model kontroluje aj to, či nastalo práve dané zlyhanie, namiesto toho, aby neúspešnú úlohu považoval za dôkaz toho istého problému.

Pracovný postup zabalí kandidátske zmeny a výsledky hodnotenia ako pull request na internú ľudskú kontrolu. Zmeny nadobudnú účinnosť, iba ak PR schváli inžinier.

Hodnotenia

Automatické zlepšovanie Skillov výrazne zvýšilo ich tvorbu a používanie. Brain od 1. augusta do 14. novembra napísal viac ako 80 000 osobných Skillov pre viac ako 20 000 používateľov. Okrem toho sa od 4. septembra do 14. novembra uplatnilo viac ako 100 000 automatických aktualizácií na viac ako 30 000 existujúcich osobných Skillov.

Tieto Skilly pokrývajú širokú škálu oblastí a úloh, od overovania softvéru cez odsúhlasovanie miezd až po tvorbu grafov. Skilly vygenerované Brainom sme kategorizovali podľa pracovných postupov, ktoré opisujú. Aj najväčšia oblasť, softvérové inžinierstvo, predstavovala iba 11 % Skillov; nasledujú výskum a brífingy (10,1 %), predaj a prevádzka (9,9 %) a financie a investovanie (9,9 %).

Spomedzi 64 230 osobných Skillov automaticky vytvorených od 1. augusta do 4. novembra pripadol najväčší podiel (11,0 %) na softvérové inžinierstvo, za ktorým nasledovali výskum a brífingy (10,1 %). Desať zobrazených oblastí predstavuje 80,3 % všetkých Skillov vo vzorke.

Na produkčnej prevádzke sme uskutočnili osemtýždňový randomizovaný test, v ktorom sme porovnali používateľov so zapnutým automatickým zlepšovaním osobných Skillov s kontrolnou skupinou, ktorá ho mala vypnuté. Aspoň jeden nový osobný Skill získalo 72,9 % ľudí so zapnutým zlepšovaním Skillov, zatiaľ čo spomedzi ľudí bez neho manuálne pridalo nový Skill iba 6,5 %. Viac ako polovica experimentálnej skupiny (53 %) mala v konverzácii, ktorú začala, načítaný osobný Skill, v porovnaní s 13 % v kontrolnej skupine; v ich konverzačných ťahoch sa osobný Skill načítal približne 3,6-krát častejšie. Spomedzi zákazníkov, ktorí dostali Skill napísaný Brainom, 63 % niektorý z týchto Skillov znova použilo v neskoršej konverzácii do štyroch týždňov.

V osemtýždňovom randomizovanom teste v produkčnom prostredí získalo aspoň jeden nový osobný Skill 72,9 % používateľov so zapnutým automatickým zlepšovaním Skillov v porovnaní so 6,5 % používateľov v kontrolnej skupine. Osobný Skill sa načítal v konverzácii, ktorú začal používateľ, u 53 % používateľov v skupine so zapnutou funkciou a u 13 % v kontrolnej skupine.

Naše hodnotenia sa snažia určiť, aký vplyv majú tieto nové a aktualizované Skilly na vykonávanie úloh a celkový výkon.

Výsledky z toho istého randomizovaného experimentu ukazujú pokles zlyhaní volaní nástrojov aj nespokojnosti používateľov. U používateľov s automatickým zlepšovaním Skillov klesla miera zlyhaní volaní nástrojov o 11 % v rámci všetkej aktivity v Computeri. Po vylúčení vlastných behov systému na pozadí zlyhávali volania nástrojov stále približne o 7 % menej často, čo naznačuje, že spoľahlivosť sa zlepšila pri práci používateľa. Nespokojnosť používateľov, meraná ako počet vlákien so strednou alebo vysokou nespokojnosťou na používateľa, klesla o 7,6 %. Nezaznamenali sme žiadnu merateľnú zmenu nákladov ani času odozvy. Tieto prvé testy ukazujú sľubné výsledky a očakávame, že zlepšenia budú časom narastať, keď budeme systém zdokonaľovať a sprístupňovať samozlepšujúce sa Skilly ďalším používateľom.

Offline experimenty zaznamenali zlepšenia aj v užšie vymedzených podmienkach. V experimente SkillLearnBench Computer využil predchádzajúce trajektórie úloh na vytvorenie jedného osobného Skillu pre každú z deviatich rodín úloh. V 16 párových hodnotiacich inštanciách sa úspešnosť úloh zvýšila zo 43,8 % bez Skillov na 62,5 % s vygenerovanými Skillmi, čo poskytuje dôkaz, že Skilly odvodené z minulých skúseností môžu zlepšiť výkon pri opakovaných úlohách. V jednej prípadovej štúdii vstavaného Skillu viedli úpravy Skillu pre e-commerce k 6-percentnému zvýšeniu kvality pri o 32 % nižších nákladoch, pričom kvalitu meral automatizovaný hodnotiaci model.

Záver

Samozlepšujúce sa Skilly dávajú Computeru ďalší spôsob, ako sa učiť z práce, ktorú vykonáva. Rozširujú Brain o schopnosť vytvárať a udržiavať procedurálnu pamäť, čím zlepšujú výkon pri zložitých pracovných postupoch. Automatické zlepšovanie Skillov už zvýšilo ich používanie, znížilo mieru zlyhaní nástrojov a znížilo nespokojnosť používateľov.

Zlepšovanie osobných Skillov je teraz k dispozícii všetkým predplatiteľom Max v USA. Pre oprávnených používateľov je predvolene zapnuté, no dá sa vypnúť. Karta Pluginy zobrazuje dostupné Skilly, označuje tie, ktoré vytvoril Brain, a umožňuje používateľom vybrať, ktoré Skilly sú zapnuté.

V ďalšom kroku rozšírime zlepšovanie na viac tried Skillov vrátane Skillov vytvorených používateľmi, Skillov zdieľaných v rámci projektov a Skillov organizácie. Budeme naďalej zdokonaľovať proces zlepšovania a jeho hodnotenia, aby revízie viedli k spoľahlivejším postupom a lepším výsledkom.

Citácia

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}