Skilly, které se samy zlepšují

Jak se Perplexity Brain učí opakující se postupy ze zkušeností a udržuje je aktuální.

AutořiPerplexity Engineering

Úvod

Uživatelé mají preference a požadavky specifické pro své pracovní postupy, které model pro obecné použití nemůže předem znát. Agent se tyto podrobnosti musí naučit, aby svou práci přizpůsobil uživateli, místo aby po něm vyžadoval vysvětlování stejného postupu nebo provádění stejných oprav v každé relaci. Umožňuje to průběžné učení: zkušenosti z dokončených úloh by měly ovlivňovat, jak agent přistupuje k budoucí práci.

Brain, personalizovaný systém sebezdokonalování v Computeru, umožňuje učení ze zkušeností. Už nyní spravuje strukturovanou znalostní wiki, která propojuje informace o uživateli a jeho práci s důkazy, o které se opírají. Agenti na pozadí aktualizují wiki s tím, jak přibývají nové informace, takže se systém paměti postupně zlepšuje.

Skilly agentů představují další způsob, jak řídit chování agenta bez změny základního modelu. Skilly jsou znovupoužitelné pokyny, které agenta provádějí konkrétními úlohami. Zachycují požadavky a podpůrné zdroje pro opakující se pracovní postupy, které by agent jinak musel odvozovat z paměti nebo je pokaždé dostávat od uživatele, a zlepšují tak výkon u úloh mimo distribuci trénovacích dat. Mohou také obsahovat skripty pro opakující se postupy nebo zpracování, které lze spolehlivě vyjádřit v kódu, takže agent může tyto skripty v příslušných případech jednoduše spustit. Harness zpřístupňuje dostupné Skilly k vyhledání a načítá jejich pokyny do kontextu, když si je agent vyžádá. Uživatelé mohou také přímo v promptu určit, které Skilly se mají použít.

Rozšiřujeme Brain tak, aby automaticky vytvářel a aktualizoval Skilly agentů. Brain vychází z paměti a historie relací uživatele a píše a zdokonaluje osobní Skilly, které zachycují procedury pro pracovní postupy daného uživatele. Podobný přístup uplatňujeme při aktualizaci vestavěných Skillů, které jsou dostupné všem uživatelům Perplexity, na základě souhrnných vzorců napříč všemi relacemi.

Agent kombinuje obecné schopnosti s vybraným kontextem úkolu a osobní zkušeností. Základní model podle pracovního kontextu rozhoduje, co bude následovat, a tento kontext se s postupem úkolu mění. Brain poskytuje paměť a osobní Skilly a poté využívá vybrané důkazy z relací pro pozdější aktualizace, které podléhají kontrolám a autorizaci. Personalizace mění kontext a instrukce, nikoli váhy modelu. Zdroje se vybírají podle potřeby a nenačítají se všechny najednou; toto koncepční znázornění mechanismy aktualizací zjednodušuje.

Nejprve popíšeme náš mechanismus sebezdokonalování sdílený všemi typy Skillů a vysvětlíme, jak funguje u osobních a vestavěných Skillů.

Sdílený mechanismus sebezdokonalování

I užitečný Skill se musí měnit, když se objeví nové preference nebo když zkušenost odhalí mezery v jeho pokynech. Brain má na starosti zjistit, jak by se mělo chování agenta změnit, až Computer příště narazí na podobnou úlohu, a určit, jak by se měl Skill změnit, aby lépe dosahoval požadovaného výsledku.

Tento proces vylepšování tvoří smyčku se čtyřmi fázemi:

  1. Důkazy. Brain vyhledá minulé relace, ve kterých byl Skill použit, zejména ty, ve kterých nedostál očekávání.
  2. Reflexe. Agent pro vylepšování tyto důkazy prostuduje a navrhne aktualizace Skillu.
  3. Ověření. Kontroly potvrdí, že je návrh správně sestavený a pravděpodobně zlepší výsledky.
  4. Aktivace. Ověřená změna se uplatní. Budoucí relace používají novou verzi a poskytují důkazy pro další kolo.
Brain vybírá minulé relace, ve kterých byl Skill použit, zejména ty, kde nesplnil očekávání. Agent pro zlepšování navrhne aktualizaci a kontroly posoudí, zda je správně utvořená a zda pravděpodobně zlepší výsledky. Po nasazení se nová verze používá v budoucích relacích a poskytuje důkazy pro další kolo.

Tato smyčka se opírá o mnoho stávajících schopností vytvořených pro Computer a Brain. Zde popisujeme sdílený mechanismus, který umožňuje sběr důkazů a reflexi. Postupy ověření a aktivace závisí na tom, zda se změna dotkne jednoho uživatele, nebo všech uživatelů Perplexity, proto se jim věnujeme v následujících částech o smyčkách vylepšování osobních a vestavěných Skillů.

Důkazy z minulých relací

Reflexe vyžaduje najít relace, ve kterých byl Skill použit, zejména ty, kde je prostor ke zlepšení. Harness Computeru zaznamenává signály, které to umožňují. Když agent načte Skill, harness zaznamená událost načtení Skillu, která Skill propojí s relací. Když agent zaznamená frustraci uživatele, nefunkční chování nebo zjevnou neefektivitu, sepíše krátkou strukturovanou diagnostiku a harness k ní připojí používané Skilly. Ty jsou užitečné zejména u vestavěných Skillů, kde může být relevantní kterákoli relace, takže systém potřebuje způsob, jak rychle zúžit okruh důkazů.

Agentům prospívá přístup k úplnému záznamu, místo aby museli soudit jen podle výsledku nebo krátkého shrnutí. Computer ukládá minulé relace pomocí reprezentací trajektorií nezávislých na poskytovateli, které zachycují zprávy, volání nástrojů, uvažování a výsledky. Vytvořili jsme také sadu nástrojů příkazového řádku, pomocí kterých mohou agenti tyto trajektorie dekódovat a rekonstruovat celé relace. Agent pro reflexi tak může zkoumat konkrétní načtení Skillů a volání nástrojů a určit přesná místa, kde došlo k problémům nebo kde by bylo možné něco zlepšit.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Příklad použití interních nástrojů pro kontrolu trajektorií, které používá Computer. Cesty a identifikátory jsou pro ilustraci zjednodušené; názvy příkazů a argumenty odpovídají implementaci.

Reflexe pomocí agentů na pozadí

Brain využívá tým agentů na pozadí, kteří průběžně optimalizují prostředí pro každého uživatele. Například agenti Dream procházejí nashromážděné zkušenosti a aktualizují znalostní wiki. Podobně vylepšování Skillů zajišťují agenti pro vylepšování, kteří vyhodnocují důkazy o používání Skillů a navrhují aktualizace.

Každý agent pracuje ve vlastním sandboxu se špičkovým modelem, relevantními důkazy a aktuální knihovnou Skillů a řídí se pluginy a Skilly. Rozhoduje, které relace si přečte, z každé vyvodí konkrétní poučení a seskupí poučení, která vyžadují stejné znovupoužitelné chování. Protože oprava jednoho selhání může být v rozporu s jiným pokynem nebo přidat práci jinde, přečte si před navržením úpravy celý Skill, a pokud důkazy úpravu nepodporují, žádnou nenavrhne.

Agenti pro vylepšování běží na stejném harnessu jako Computer. Harness jsme navrhli modulárně, takže nová agentní aplikace může znovu využít jeho mechanismy pro uvažování, používání nástrojů a správu kontextu a zároveň definovat vlastní pokyny a schopnosti pomocí pluginů. Vyhrazená flotila pracovních procesů na pozadí nám umožňuje škálovat toto zpracování nezávisle na úlohách v popředí.

Interaktivní agent i agent pro zlepšování běžící na pozadí využívají stejný harness Computer. Agent pro zlepšování na základě důkazů z relací a aktuálních Skillů navrhne změnu, nebo od ní upustí. Než bude nová verze dostupná budoucím relacím, musí návrh projít kontrolami specifickými pro daný typ Skillu.

Smyčka vylepšování osobních Skillů

Nejprve popíšeme, jak se sdílený mechanismus sebezdokonalování uplatňuje ve smyčce osobního vylepšování, která z historie úloh uživatele vytváří nové nebo aktualizované osobní Skilly. Obrázek níže sleduje ukázkový Skill celou smyčkou až k revidované verzi.

Smyčka osobních Skillů postupuje od důkazů z relací přes agenta pro vylepšování a kontroly návrhů až k aktivaci. Současné Skilly slouží agentovi pro vylepšování také jako vstup; aktivované změny jsou k dispozici budoucím relacím.

Během denního generovacího běhu agent pro vylepšování prochází nedávné relace uživatele a určuje, které změny stojí za to provést. Do sandboxu se předem načte sada nedávných relací spolu s daty o používání Skillů; zbytek historie relací uživatele lze podle potřeby načíst. Agent pro vylepšování také dostává katalog existujících Skillů. Nemá přístup k internetu ani k dalším konektorům.

Proces reflexe řídí pluginy a Skilly navržené pro pracovní postup vylepšování osobních Skillů, které vycházejí z našich zásad o tom, co tvoří dobrou aktualizaci. Agent nejprve analyzuje celé trajektorie, aby v každé relaci identifikoval konkrétní poučení. Poté poučení porovná se stávajícími pokyny a rozhodne, zda Skill aktualizuje, vytvoří nový, nebo neprovede žádnou změnu. Vytvoření Skillu vyžaduje dva nezávislé výskyty stejného znovupoužitelného chování, zatímco aktualizaci existujícího Skillu může odůvodnit jediný podložený výskyt.

Agent Skill neupravuje přímo. Místo toho vytvoří návrh, ve kterém zaznamená zamýšlené změny i podpůrné úvahy a důkazy. Aktualizace jsou omezeny na jednu změnu na Skill v každém běhu. Deterministické kontroly ověřují, že návrhy jsou správně sestavené a lze je na Skill použít. Vedle toho LLM hodnotitel kontroluje vybrané vzorky návrhů a ověřuje, zda důkazy změnu podporují a zda výsledný Skill poskytuje užitečné pokyny.

Aktivace promění ověřený návrh ve změnu knihovny Skillů uživatele, takže novou verzi lze načíst a používat v budoucích relacích. Protože harness na začátku každé relace načítá index všech dostupných Skillů, velká knihovna Skillů může zahltit kontextové okno a ztížit agentovi vyhledání a načtení relevantních Skillů. Systém proto ponechává jen nejhodnotnější Skilly a nepotřebné Skilly vyřazuje, aby knihovna zůstala malá a pečlivě sestavená. Konkrétně uplatňujeme limit 10 automaticky vytvořených Skillů na uživatele. Po dosažení limitu může agent pro vylepšování Skilly dál aktualizovat nebo odebírat, ale aby mohl přidat nový Skill, musí vyřadit některý stávající a zdůvodnit, proč je nový Skill pro práci uživatele užitečnější.

Smyčka vylepšování vestavěných Skillů

Rámec Brain pro průběžné vylepšování Skillů rozšiřujeme také na vestavěné Skilly. Místo toho, aby k vylepšení osobních Skillů jednoho uživatele využívala jeho paměť a historii relací, používá smyčka pro vestavěné Skilly důkazy od mnoha uživatelů ke zlepšení Skillů dostupných všem uživatelům Perplexity. Protože vestavěné Skilly může používat kdokoli, laťka pro změny je vysoko; aktualizace, které neúmyslně zhorší výkon, mohou ovlivnit tisíce relací. Agent pro vylepšování vestavěných Skillů mění pouze kandidátní verze Skillů. Aby se tyto aktualizace dostaly do kanonické verze Skillu, musí projít párovým přehráváním a interní lidskou kontrolou. I zde sledujeme celou smyčku na ukázkovém Skillu a podpůrných důkazech.

Z neúspěšných relací vzejde hlavní příčina a odložené scénáře selhání. Agent pro vylepšování na základě hlavní příčiny a bezproblémových příkladů navrhne revizi; scénáře mu nejsou nikdy zobrazeny. Párové přehrávání porovnává současné a revidované Skilly na stejných testech a úspěšní kandidáti postupují před schválením a sloučením k lidské kontrole.

Smyčka vylepšování vestavěných Skillů využívá očištěné důkazy z relací, které lze použít k trénování. K výběru relevantních důkazů slouží diagnostiky a signály selhání spolu s kontrolními relacemi, ve kterých byl Skill použit, aniž by vyvolal jakékoli varování. Proces očištění odstraní přihlašovací údaje a další tajné údaje i připojené soubory a média.

Agent pro generování scénářů promění očištěné důkazy v konkrétní scénáře selhání. Ponechá jen kontext nezbytný k pochopení případu selhání a vylepšení Skillu; zbytek relace se synteticky zrekonstruuje, čímž vznikne samostatný test pro proces ověření. Scénáře musí běžet bez připojených aplikací a bez přihlášení; pokud původní úloha závisela na konektoru, nahradí se tento vstup ve scénáři syntetickými soubory. Samostatná kontrola ověří, že Skill ve vygenerovaném scénáři selže.

Reflexe probíhá prostřednictvím týdenní revizní úlohy, která ze zjištěných selhání vytváří opravy. Hledá selhání Skillů, která se opakují ve více relacích, aby úpravu nevyvolala jediná nepovedená relace. Pro každé opakující se selhání se spustí samostatný běh agenta pro vylepšování. Agent obdrží popis hlavní příčiny spolu s očištěnými záznamy z úspěšných relací. Na základě těchto důkazů napíše kandidátní revizi Skillu. Úplné scénáře selhání nedostává, protože se používají při vyhodnocení.

Samostatná úloha přehrávání pomocí vygenerovaných scénářů porovnává původní a revidovanou verzi Skillu. LLM hodnotitel posuzuje odpovědi a trajektorie agenta podle hodnoticích kritérií každého scénáře. Aby návrh prošel, musí s revidovaným Skillem projít všechny testovací scénáře a alespoň jeden musí s původní verzí selhat. Přehrávají se také scénáře vytvořené z kontrolních relací, aby se potvrdilo, že nic nepřestalo fungovat. U scénářů selhání hodnotitel navíc ověřuje, že došlo právě ke konkrétnímu selhání, a nepovažuje každou neúspěšnou úlohu za důkaz téhož problému.

Pracovní postup zabalí kandidátní změny a výsledky vyhodnocení do pull requestu k interní lidské kontrole. Změny vstoupí v platnost, pouze pokud PR schválí inženýr.

Vyhodnocení

Automatické vylepšování Skillů výrazně zvýšilo jejich vytváření i používání. Brain mezi 1. srpnem a 14. listopadem napsal přes 80 000 osobních Skillů pro více než 20 000 uživatelů. Kromě toho bylo mezi 4. zářím a 14. listopadem provedeno více než 100 000 automatických aktualizací u více než 30 000 existujících osobních Skillů.

Tyto Skilly pokrývají širokou škálu oblastí a úloh, od ověřování softwaru přes odsouhlasování mezd až po navrhování grafů. Skilly vygenerované systémem Brain jsme roztřídili podle pracovních postupů, které popisují. I největší oblast, softwarové inženýrství, představovala jen 11 % Skillů; následují výzkum a přehledy (10,1 %), prodej a provoz (9,9 %) a finance a investice (9,9 %).

Z 64 230 osobních Skillů automaticky vytvořených od 1. srpna do 4. listopadu připadal největší podíl na softwarové inženýrství (11,0 %), následované výzkumem a přehledy (10,1 %). Deset zobrazených oblastí tvoří 80,3 % všech Skillů ve vzorku.

Na produkčním provozu jsme provedli osmitýdenní randomizovaný test, ve kterém jsme porovnali uživatele se zapnutým automatickým vylepšováním osobních Skillů s kontrolní skupinou, která ho měla vypnuté. Alespoň jeden nový osobní Skill získalo 72,9 % lidí se zapnutým vylepšováním Skillů, zatímco ručně přidalo nový Skill jen 6,5 % lidí bez této funkce. Více než polovině experimentální skupiny (53 %) se v konverzaci, kterou zahájili, načetl osobní Skill, oproti 13 % v kontrolní skupině; jejich dotazy načítaly osobní Skill zhruba 3,6krát častěji. Ze zákazníků, kteří získali Skill napsaný systémem Brain, 63 % některý z těchto Skillů znovu použilo v pozdější konverzaci do čtyř týdnů.

V osmitýdenním randomizovaném testu v produkčním prostředí získalo 72,9 % uživatelů se zapnutým automatickým zlepšováním Skillů alespoň jeden nový osobní Skill, oproti 6,5 % uživatelů v kontrolní skupině. Osobní Skill byl načten v konverzaci zahájené uživatelem u 53 % skupiny se zapnutou funkcí a u 13 % kontrolní skupiny.

Naše vyhodnocení se snaží zjistit, jak tyto nové a aktualizované Skilly ovlivňují provádění úloh a celkový výkon.

Výsledky stejného randomizovaného experimentu ukazují pokles neúspěšných volání nástrojů i nespokojenosti uživatelů. U uživatelů s automatickým vylepšováním Skillů klesla míra neúspěšných volání nástrojů napříč veškerou aktivitou v Computeru o 11 %. I po vyloučení vlastních běhů systému na pozadí selhávala volání nástrojů zhruba o 7 % méně často, což naznačuje, že se zvýšila spolehlivost při práci uživatele. Nespokojenost uživatelů, měřená jako počet vláken se střední nebo vysokou mírou nespokojenosti na uživatele, klesla o 7,6 %. Nezaznamenali jsme žádnou měřitelnou změnu nákladů ani doby odezvy. Tyto první testy přinášejí slibné výsledky a očekáváme, že se zlepšení budou postupně zvyšovat, jak budeme systém dolaďovat a zpřístupňovat sebezdokonalující se Skilly dalším uživatelům.

Zlepšení zaznamenaly i offline experimenty v užších podmínkách. V experimentu SkillLearnBench Computer na základě trajektorií dřívějších úloh vytvořil jeden osobní Skill pro každou z devíti skupin úloh. Napříč 16 párovými hodnoticími instancemi vzrostla úspěšnost úloh ze 43,8 % bez Skillů na 62,5 % s vygenerovanými Skilly, což dokládá, že Skilly odvozené z dřívějších zkušeností mohou zlepšit výkon u opakovaných úloh. V jedné případové studii vestavěného Skillu vedly úpravy Skillu pro e-commerce ke zvýšení kvality o 6 % při o 32 % nižších nákladech, přičemž kvalitu měřil automatizovaný hodnotitel.

Závěr

Sebezdokonalující se Skilly dávají Computeru další způsob, jak se učit z práce, kterou vykonává. Rozšiřují Brain o schopnost vytvářet a udržovat procedurální paměť, což zlepšuje výkon u složitých pracovních postupů. Automatické vylepšování Skillů už zvýšilo jejich používání, snížilo míru selhání nástrojů a zmírnilo nespokojenost uživatelů.

Vylepšování osobních Skillů je nyní k dispozici všem předplatitelům Max v USA. U oprávněných uživatelů je ve výchozím nastavení zapnuté, ale lze ho vypnout. Karta Pluginy zobrazuje dostupné Skilly, označuje ty, které vytvořil Brain, a umožňuje uživatelům vybrat, které Skilly jsou zapnuté.

Dále rozšíříme vylepšování na další třídy Skillů, včetně Skillů vytvořených uživateli, Skillů sdílených v rámci projektů a Skillů organizace. Budeme nadále zdokonalovat proces vylepšování a jeho vyhodnocování, aby revize vedly ke spolehlivějším postupům a lepším výsledkům.

Citace

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}