Savaime tobulėjantys Skill

Kaip Perplexity Brain mokosi pasikartojančių procedūrų iš patirties ir nuolat jas atnaujina.

AutoriaiPerplexity Engineering

Įvadas

Naudotojai turi su darbo eigomis susijusių pageidavimų ir reikalavimų, kurių bendrosios paskirties modelis negali žinoti iš anksto. Agentui reikia išmokti šias detales, kad pritaikytų savo darbą naudotojui, o ne reikalautų, kad naudotojas kiekvienoje sesijoje aiškintų tą pačią procedūrą ar darytų tuos pačius pataisymus. Tai įgalina nuolatinis mokymasis: atliktų užduočių patirtis turėtų lemti, kaip agentas atliks būsimą darbą.

Brain – Computer personalizuota savitobulinimo sistema – leidžia mokytis iš patirties. Ji jau palaiko struktūrizuotą žinių wiki, kurioje informacija apie naudotoją ir jo darbą susiejama su ją pagrindžiančiais įrodymais. Foniniai agentai atnaujina wiki kaupiantis naujai informacijai, todėl atminties sistema laikui bėgant tobulėja.

Agentų Skill suteikia dar vieną būdą valdyti agento elgseną nekeičiant pagrindinio modelio. Skill – tai daugkartinio naudojimo instrukcijos, kurios padeda agentui atlikti konkrečias užduotis. Juose užfiksuojami pasikartojančių darbo eigų reikalavimai ir pagalbiniai ištekliai, kuriuos agentui kitaip tektų išvesti iš atminties arba kiekvieną kartą gauti iš naudotojo, todėl pagerėja už mokymo duomenų pasiskirstymo ribų esančių užduočių atlikimas. Juose taip pat gali būti skriptų pasikartojančioms procedūroms ar apdorojimui, kurį galima patikimai išreikšti kodu, kad agentas tiesiog paleistų tuos skriptus, kai jie tinka. Prieinamus Skill harness padaro aptinkamus ir, agentui paprašius, įkelia jų instrukcijas į kontekstą. Naudotojai taip pat gali tiesiogiai nurodyti raginime, kuriuos Skill naudoti.

Plečiame Brain galimybes automatiškai kurti ir atnaujinti agentų Skill. Remdamasis naudotojo atmintimi ir sesijų istorija, Brain rašo ir tobulina asmeninius Skill, kuriuose užfiksuojamos to naudotojo darbo eigų procedūros. Panašų metodą taikome atnaujindami integruotus Skill, prieinamus kiekvienam Perplexity naudotojui, remdamiesi bendrais visų sesijų dėsningumais.

Agentas sujungia bendrąsias galimybes su atrinktu užduoties kontekstu ir asmenine patirtimi. Pagrindinis modelis naudoja darbinį kontekstą, kad nuspręstų, kas bus toliau, o tas kontekstas keičiasi vykdant užduotį. Brain teikia atmintį ir asmeninius Skill, o vėliau naudoja atrinktus sesijų įrodymus atnaujinimams, kuriems taikomos patikros ir reikalingas leidimas. Personalizavimas keičia kontekstą ir instrukcijas, o ne modelio svorius. Šaltiniai atrenkami pagal poreikį, o ne įkeliami visi iš karto; šis konceptualus vaizdas supaprastina atnaujinimo mechanizmus.

Pirmiausia aprašome savitobulinimo variklį, bendrą visiems Skill tipams, ir paaiškiname, kaip jis veikia asmeniniams ir integruotiems Skill.

Bendras savitobulinimo variklis

Naudingas Skill vis tiek turi keistis, kai atsiranda naujų pageidavimų arba patirtis atskleidžia jo instrukcijų spragų. Brain atsako už tai, kad išsiaiškintų, kaip turėtų pasikeisti agento elgsena, kai Computer kitą kartą susidurs su panašia užduotimi, ir nustatytų, kaip reikėtų pakeisti Skill, kad būtų geriau pasiektas norimas rezultatas.

Šis tobulinimo procesas sudaro ciklą iš keturių etapų:

  1. Įrodymai. Brain suranda ankstesnes sesijas, kuriose buvo naudojamas Skill, ypač tas, kuriose jis nepasiekė reikiamo rezultato.
  2. Refleksija. Tobulinimo agentas išnagrinėja šiuos įrodymus ir pasiūlo Skill atnaujinimų.
  3. Patikra. Patikrinimai patvirtina, kad pasiūlymas tinkamai suformuotas ir greičiausiai pagerins rezultatus.
  4. Aktyvinimas. Patikrintas pakeitimas pritaikomas. Būsimose sesijose naudojama nauja versija, kuri suteikia įrodymų kitam ciklui.
Brain atrenka ankstesnes sesijas, kuriose buvo naudojamas Skill, ypač tas, kuriose jis nepasiteisino. Tobulinimo agentas pasiūlo atnaujinimą, o patikros įvertina, ar jis tinkamai suformuotas ir ar tikėtina, kad pagerins rezultatus. Pritaikius naują versiją, ji naudojama būsimose sesijose ir suteikia įrodymų kitam ciklui.

Šis ciklas remiasi daugeliu esamų galimybių, sukurtų Computer ir Brain. Čia aprašome bendrą mechanizmą, kuris leidžia rinkti įrodymus ir atlikti refleksiją. Patikros ir aktyvinimo procedūros priklauso nuo to, ar pakeitimas pasiekia vieną naudotoją, ar kiekvieną Perplexity naudotoją, todėl jas aptariame tolesniuose skyriuose apie asmeninių ir integruotų Skill tobulinimo ciklus.

Ankstesnių sesijų įrodymai

Refleksijai reikia rasti sesijas, kuriose buvo naudojamas Skill, ypač tas, kuriose yra ką tobulinti. Computer harness įrašo signalus, kurie tai įgalina. Kai agentas įkelia Skill, harness įrašo Skill įkėlimo įvykį, susiejantį Skill su sesija. Kai agentas pastebi naudotojo nusivylimą, sutrikusį veikimą ar akivaizdų neefektyvumą, jis pateikia trumpą struktūrizuotą diagnostinį pranešimą, o harness prie jo prideda naudojamus Skill. Tai ypač naudinga integruotiems Skill, nes bet kuri sesija gali būti aktuali, todėl sistemai reikia būdo greitai susiaurinti įrodymų imtį.

Agentams naudinga turėti prieigą prie viso įrašo, o ne priimti sprendimą remiantis rezultatu ar trumpa santrauka. Computer saugo ankstesnes sesijas naudodamas nuo teikėjo nepriklausomus trajektorijų atvaizdavimus, kurie apima pranešimus, įrankių iškvietimus, protavimą ir rezultatus. Taip pat sukūrėme komandinės eilutės įrankių rinkinį, kuriuo agentai gali iššifruoti šias trajektorijas ir atkurti visas sesijas. Tai leidžia refleksijos agentui išnagrinėti konkrečius Skill įkėlimus ir įrankių iškvietimus bei nustatyti tikslias vietas, kur kilo problemų arba ką būtų galima patobulinti.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Computer vidinių trajektorijų tikrinimo įrankių naudojimo pavyzdys. Keliai ir identifikatoriai iliustracijos tikslais supaprastinti; komandų pavadinimai ir argumentai atitinka įgyvendinimą.

Refleksija naudojant foninius agentus

Brain naudoja foninių agentų komandą, kad nuolat optimizuotų kiekvieno naudotojo patirtį. Pavyzdžiui, Dream agentai peržiūri sukauptą patirtį ir atnaujina žinių wiki. Panašiai Skill tobulinimą vykdo tobulinimo agentai, kurie analizuoja Skill naudojimo įrodymus ir siūlo atnaujinimų.

Kiekvienas agentas dirba savo Sandbox aplinkoje su pažangiausiu modeliu, atitinkamais įrodymais ir dabartine Skill biblioteka, vadovaudamasis įskiepiais ir Skill. Jis nusprendžia, kurias sesijas skaityti, iš kiekvienos išsiveda konkrečią pamoką ir sugrupuoja pamokas, kurioms reikia tos pačios daugkartinio naudojimo elgsenos. Kadangi vienos nesėkmės pataisymas gali prieštarauti kitai instrukcijai arba pridėti darbo kitur, prieš siūlydamas pakeitimą jis perskaito visą Skill ir susilaiko, kai įrodymai jo nepagrindžia.

Tobulinimo agentai veikia tame pačiame harness kaip ir Computer. Sukūrėme modulinį harness, kad nauja agento programa galėtų pakartotinai naudoti jo protavimo, įrankių naudojimo ir konteksto valdymo mechanizmus, o savo instrukcijas ir galimybes apibrėžtų per įskiepius. Atskiras foninių vykdyklių parkas leidžia šį apdorojimą plėsti nepriklausomai nuo priekinio plano užduočių.

Interaktyvus agentas ir foninis tobulinimo agentas veikia tame pačiame Computer harness. Tobulinimo agentas, remdamasis sesijų įrodymais ir dabartiniais Skill, pasiūlo pakeitimą arba susilaiko. Kad nauja versija taptų pasiekiama būsimoms sesijoms, pasiūlymas turi praeiti konkrečiam Skill tipui taikomas patikras.

Asmeninių Skill tobulinimo ciklas

Pirmiausia aprašome, kaip bendras savitobulinimo variklis taikomas asmeniniam tobulinimo ciklui, kuris naudotojo užduočių istoriją paverčia naujais arba atnaujintais asmeniniais Skill. Toliau pateiktame paveikslėlyje parodyta, kaip pavyzdinis Skill pereina visą ciklą iki pataisytos versijos.

Asmeninių Skill ciklas pereina nuo sesijų įrodymų per tobulinimo agentą, pasiūlymų patikrinimus ir aktyvinimą. Dabartiniai Skill taip pat teikia informaciją tobulinimo agentui; aktyvinti pakeitimai tampa prieinami būsimoms sesijoms.

Kasdienio generavimo paleidimo metu tobulinimo agentas peržiūri naujausias naudotojo sesijas ir nustato, kokius pakeitimus verta atlikti. Naujausių sesijų rinkinys iš anksto įkeliamas į Sandbox aplinką kartu su Skill naudojimo duomenimis; likusią naudotojo sesijų istoriją galima gauti prireikus. Tobulinimo agentas taip pat gauna esamų Skill katalogą. Jis neturi prieigos prie interneto ar kitų jungčių.

Asmeninių Skill tobulinimo darbo eigai sukurti įskiepiai ir Skill vadovauja refleksijos procesui, remdamiesi mūsų principais apie tai, kas lemia gerą atnaujinimą. Agentas pirmiausia analizuoja visas trajektorijas, kad kiekvienoje sesijoje nustatytų konkrečią pamoką. Tada jis palygina pamokas su esamomis instrukcijomis ir nusprendžia, ar atnaujinti Skill, sukurti naują, ar nieko nekeisti. Norint sukurti Skill, reikia dviejų nepriklausomų tos pačios daugkartinio naudojimo elgsenos atvejų, o esamo Skill atnaujinimą gali pagrįsti vienas įrodymais paremtas atvejis.

Agentas nekeičia Skill tiesiogiai. Vietoj to jis parengia pasiūlymą, kuriame užfiksuojami numatomi pakeitimai ir juos pagrindžiantys argumentai bei įrodymai. Per vieną paleidimą kiekvienam Skill leidžiamas vienas pakeitimas. Deterministiniai patikrinimai patvirtina, kad pasiūlymai tinkamai suformuoti ir gali būti pritaikyti Skill. Atskirai LLM vertintojas audituoja atrinktus pasiūlymus, tikrindamas, ar įrodymai pagrindžia pakeitimą ir ar gautas Skill pateikia naudingų instrukcijų.

Aktyvinimas patikrintą pasiūlymą paverčia naudotojo Skill bibliotekos pakeitimu, kad naują versiją būtų galima įkelti ir naudoti būsimose sesijose. Kadangi harness kiekvienos sesijos pradžioje įkelia visų prieinamų Skill rodyklę, didelė Skill biblioteka gali perpildyti konteksto langą ir apsunkinti agentui aktualių Skill paiešką bei įkėlimą. Todėl sistema išlaiko tik vertingiausius Skill ir išima iš naudojimo nebūtinus, kad biblioteka liktų nedidelė ir kruopščiai atrinkta. Konkrečiai, kiekvienam naudotojui taikome 10 automatiškai sukurtų Skill ribą. Pasiekus ribą, tobulinimo agentas vis dar gali atnaujinti ar pašalinti Skill, tačiau norėdamas pridėti naują Skill, jis turi išimti iš naudojimo esamą ir pagrįsti, kodėl naujasis Skill naudotojo darbui naudingesnis.

Integruotų Skill tobulinimo ciklas

Brain nuolatinio Skill tobulinimo sistemą taip pat taikome integruotiems Skill. Užuot naudojęs vieno naudotojo atmintį ir sesijų istoriją to naudotojo asmeniniams Skill tobulinti, integruotas ciklas naudoja daugelio naudotojų įrodymus, kad patobulintų Skill, prieinamus kiekvienam Perplexity naudotojui. Kadangi integruotus Skill gali naudoti bet kas, pakeitimams keliami aukšti reikalavimai; atnaujinimai, netyčia pabloginantys veikimą, gali paveikti tūkstančius sesijų. Integruotų Skill tobulinimo agentas keičia tik kandidatines Skill versijas. Kad pasiektų kanoninę Skill versiją, šie atnaujinimai turi įveikti porinį pakartojimą ir vidinę žmogaus peržiūrą. Ir vėl visą ciklą parodome su pavyzdiniu Skill ir jį pagrindžiančiais įrodymais.

Nesėkmingos sesijos atskleidžia pagrindinę priežastį ir atidėtus nesėkmės scenarijus. Tobulinimo agentas, remdamasis pagrindine priežastimi ir švariais pavyzdžiais, pasiūlo redakciją; scenarijai jam niekada nerodomi. Porinis pakartojimas palygina dabartinį ir pataisytą Skill tais pačiais testais, o sėkmingi kandidatai prieš patvirtinimą ir sujungimą perduodami žmogaus peržiūrai.

Integruotų Skill tobulinimo ciklas naudoja išvalytus įrodymus iš sesijų, kurias leidžiama naudoti mokymui. Diagnostika ir nesėkmių signalai naudojami aktualiems įrodymams atrinkti, kartu su kontrolinėmis sesijomis, kuriose Skill buvo naudojamas nesukėlus jokių įspėjimų. Išvalymo konvejeris pašalina prisijungimo duomenis ir kitus slaptus duomenis, taip pat pridėtus failus ir mediją.

Scenarijų generavimo agentas išvalytus įrodymus paverčia konkrečiais nesėkmės scenarijais. Jis išlaiko tik kontekstą, būtiną nesėkmės atvejui suprasti ir Skill patobulinti; likusi sesijos dalis atkuriama sintetiškai, taip sukuriant savarankišką testą patikros procesui. Scenarijai turi veikti be prijungtų programų ar prisijungimo; jei pradinė užduotis priklausė nuo jungties, scenarijuje šie įvesties duomenys pakeičiami sintetiniais failais. Atskiras patikrinimas patvirtina, kad su sugeneruotu scenarijumi Skill nepavyksta.

Refleksija vyksta per kassavaitinę redakcijų užduotį, kuri pastebėtas nesėkmes paverčia pataisymais. Ji ieško Skill nesėkmių, pasikartojančių keliose sesijose, kad pakeitimą lemtų ne viena nesėkminga sesija. Kiekvienai pasikartojančiai nesėkmei paleidžiamas atskiras tobulinimo agentas. Agentas gauna pagrindinės priežasties aprašymą kartu su išvalytais sėkmingų sesijų įrašais. Remdamasis šiais įrodymais, jis parašo kandidatinę Skill redakciją. Jis negauna visų nesėkmės scenarijų, nes jie naudojami vertinimui.

Atskira pakartojimo užduotis, naudodama sugeneruotus scenarijus, palygina pradinę ir pataisytą Skill versijas. LLM vertintojas įvertina agento atsakymus ir trajektorijas pagal kiekvieno scenarijaus vertinimo kriterijus. Kad pasiūlymas būtų priimtas, kiekvienas testinis scenarijus turi būti įveiktas su pataisytu Skill, o bent vienas turi būti neįveiktas su pradiniu. Kontrolinių sesijų pagrindu sukurti scenarijai taip pat pakartojami, kad būtų patvirtinta, jog niekas nenustojo veikti. Nesėkmės scenarijų atveju vertintojas taip pat patikrina, ar įvyko būtent ta nesėkmė, o ne laiko bet kurią nesėkmingą užduotį tos pačios problemos įrodymu.

Darbo eiga sudeda kandidatinius pakeitimus ir vertinimo rezultatus į pull request vidinei žmogaus peržiūrai. Pakeitimai įsigalioja tik tada, jei inžinierius patvirtina PR.

Vertinimai

Automatinis Skill tobulinimas gerokai padidino Skill kūrimą ir naudojimą. Nuo rugpjūčio 1 d. iki lapkričio 14 d. Brain parašė daugiau nei 80 000 asmeninių Skill daugiau nei 20 000 naudotojų. Be to, nuo rugsėjo 4 d. iki lapkričio 14 d. daugiau nei 30 000 esamų asmeninių Skill gavo daugiau nei 100 000 automatinių atnaujinimų.

Šie Skill apima platų sričių ir užduočių spektrą – nuo programinės įrangos tikrinimo iki darbo užmokesčio suderinimo ir paveikslų kūrimo. Brain sugeneruotus Skill suskirstėme pagal juose aprašomas darbo eigas. Net didžiausia sritis – programinės įrangos inžinerija – sudarė tik 11 % Skill; po jos eina tyrimai ir santraukos (10,1 %), pardavimai ir operacijos (9,9 %) bei finansai ir investavimas (9,9 %).

Iš 64 230 asmeninių Skill, automatiškai sukurtų nuo rugpjūčio 1 d. iki lapkričio 4 d., didžiausią dalį sudarė programinės įrangos inžinerija (11,0 %), po jos – tyrimai ir santraukos (10,1 %). Parodytos dešimt sričių sudaro 80,3 % visų imties Skill.

Aštuonias savaites atlikome atsitiktinių imčių testą su realiu srautu, palygindami naudotojus, kuriems įjungtas automatinis asmeninių Skill tobulinimas, su kontroline grupe, kuriai jis išjungtas. 72,9 % žmonių, kuriems įjungtas Skill tobulinimas, gavo bent vieną naują asmeninį Skill, o tarp žmonių be jo tik 6,5 % rankiniu būdu pridėjo naują Skill. Daugiau nei pusė tiriamosios grupės (53 %) turėjo asmeninį Skill, įkeltą jų pradėtame pokalbyje, palyginti su 13 % kontrolinėje grupėje; jų pokalbio ėjimuose asmeninis Skill buvo įkeliamas maždaug 3,6 karto dažniau. Iš klientų, gavusių Brain parašytą Skill, 63 % per keturias savaites vėl jį panaudojo vėlesniame pokalbyje.

Aštuonių savaičių atsitiktinių imčių teste gamybinėje aplinkoje 72,9 % naudotojų, kuriems buvo įjungtas automatinis Skill tobulinimas, gavo bent vieną naują asmeninį Skill, palyginti su 6,5 % kontrolinės grupės naudotojų. Asmeninis Skill buvo įkeltas naudotojo pradėtame pokalbyje 53 % grupės, kuriai funkcija įjungta, ir 13 % kontrolinės grupės naudotojų.

Mūsų vertinimais siekiama nustatyti, kaip šie nauji ir atnaujinti Skill veikia užduočių vykdymą ir bendrą našumą.

To paties atsitiktinių imčių eksperimento rezultatai rodo, kad sumažėjo įrankių iškvietimų nesėkmių ir naudotojų nepasitenkinimo. Naudotojams, kuriems įjungtas automatinis Skill tobulinimas, įrankių iškvietimų nesėkmių dažnis visoje Computer veikloje sumažėjo 11 %. Neįskaitant pačios sistemos foninių paleidimų, įrankių iškvietimai vis tiek nepavykdavo maždaug 7 % rečiau – tai rodo, kad patikimumas pagerėjo atliekant naudotojo darbą. Naudotojų nepasitenkinimas, matuojamas vidutinio ar didelio nepasitenkinimo gijų skaičiumi vienam naudotojui, sumažėjo 7,6 %. Išmatuojamo išlaidų ar atsako laiko pokyčio nepastebėjome. Šie ankstyvieji testai rodo daug žadančius rezultatus ir tikimės, kad patobulinimai laikui bėgant didės, kai tobulinsime sistemą ir savaime tobulėjančius Skill pateiksime daugiau naudotojų.

Ne realiame sraute atlikti eksperimentai taip pat užfiksavo patobulinimų siauresnėmis sąlygomis. SkillLearnBench eksperimente Computer, naudodamas ankstesnių užduočių trajektorijas, sukūrė po vieną asmeninį Skill kiekvienai iš devynių užduočių šeimų. Per 16 porinių vertinimo atvejų užduočių sėkmė padidėjo nuo 43,8 % be Skill iki 62,5 % su sugeneruotais Skill – tai rodo, kad iš ankstesnės patirties gauti Skill gali pagerinti pasikartojančių užduočių atlikimą. Viename integruoto Skill atvejo tyrime e. prekybos Skill pakeitimai lėmė 6 % kokybės padidėjimą ir 32 % mažesnes išlaidas; kokybė buvo matuojama automatiniu vertintoju.

Išvados

Savitobulinantys Skill suteikia Computer dar vieną būdą mokytis iš atliekamo darbo. Jie išplečia Brain galimybes kurti ir palaikyti procedūrinę atmintį, gerindami sudėtingų darbo eigų atlikimą. Automatinis Skill tobulinimas jau padidino Skill naudojimą, sumažino įrankių nesėkmių dažnį ir naudotojų nepasitenkinimą.

Asmeninių Skill tobulinimas dabar prieinamas visiems JAV Max prenumeratoriams. Tinkamiems naudotojams jis įjungtas pagal numatytuosius nustatymus, tačiau jį galima išjungti. Skirtuke „Įskiepiai“ rodomi prieinami Skill, pažymimi tie, kuriuos sukūrė Brain, ir naudotojai gali pasirinkti, kurie Skill įjungti.

Toliau išplėsime tobulinimą, kad jis apimtų daugiau Skill klasių, įskaitant naudotojų sukurtus Skill, projektuose bendrinamus Skill ir organizacijos Skill. Toliau gerinsime tobulinimo konvejerį ir jo vertinimus, kad redakcijos lemtų patikimesnes procedūras ir geresnius rezultatus.

Citavimas

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}