Skillovi koji se sami poboljšavaju

Kako Perplexity Brain uči ponavljajuće postupke iz iskustva i održava ih ažurnima.

AutoriPerplexity Engineering

Uvod

Korisnici imaju preferencije i zahtjeve specifične za pojedine tijekove rada koje model opće namjene ne može unaprijed znati. Agent mora naučiti te pojedinosti kako bi svoj rad prilagodio korisniku, umjesto da korisnik u svakoj sesiji mora objašnjavati isti postupak ili unositi iste ispravke. Kontinuirano učenje to omogućuje: iskustvo iz dovršenih zadataka trebalo bi oblikovati način na koji agent pristupa budućem radu.

Brain, personalizirani sustav samopoboljšanja za Computer, omogućuje učenje kroz iskustvo. On već održava strukturirani wiki znanja koji povezuje informacije o korisniku i njegovu radu s dokazima koji ih podupiru. Pozadinski agenti ažuriraju wiki kako se nakupljaju nove informacije, pa se sustav memorije s vremenom poboljšava.

Skillovi za agente pružaju još jedan način usmjeravanja ponašanja agenta bez mijenjanja temeljnog modela. Skillovi su ponovno upotrebljive upute koje vode agenta kroz određene zadatke. Oni bilježe zahtjeve i pomoćne resurse za ponavljajuće tijekove rada koje bi agent inače morao zaključiti iz memorije ili ih svaki put dobiti od korisnika, čime se poboljšavaju performanse na zadacima izvan distribucije. Mogu uključivati i skripte za ponavljajuće postupke ili obradu koja se može pouzdano izraziti kodom, pa agent jednostavno može pokrenuti te skripte kada su primjenjive. Harness omogućuje otkrivanje dostupnih Skillova i učitava njihove upute u kontekst kada ih agent zatraži. Korisnici također mogu izravno u promptu navesti koje Skillove treba koristiti.

Proširujemo Brain kako bi automatski stvarao i ažurirao Skillove za agente. Brain se oslanja na memoriju i povijest sesija korisnika kako bi pisao i usavršavao osobne Skillove koji bilježe postupke za tijekove rada tog korisnika. Sličan pristup primjenjujemo za ažuriranje ugrađenih Skillova, koji su dostupni svim korisnicima usluge Perplexity, na temelju zbirnih obrazaca u svim sesijama.

Agent kombinira opće sposobnosti s odabranim kontekstom zadatka i osobnim iskustvom. Temeljni model koristi radni kontekst kako bi odabrao sljedeći korak, a taj se kontekst mijenja kako zadatak napreduje. Brain pruža memoriju i osobne Skillove, a zatim koristi odabrane dokaze iz sesija za kasnija ažuriranja, uz provjere i autorizaciju. Personalizacija mijenja kontekst i upute, a ne težine modela. Izvori se odabiru po potrebi, a ne učitavaju svi odjednom; ovaj konceptualni prikaz pojednostavljuje mehanizme ažuriranja.

Najprije opisujemo naš mehanizam za samopoboljšanje zajednički svim vrstama Skillova i objašnjavamo kako funkcionira za osobne i ugrađene Skillove.

Zajednički mehanizam za samopoboljšanje

Čak i koristan Skill mora se mijenjati kako se pojavljuju nove preferencije ili kako iskustvo otkriva nedostatke u njegovim uputama. Brain je zadužen za otkrivanje kako bi se ponašanje agenta trebalo promijeniti sljedeći put kada Computer naiđe na sličan zadatak te za utvrđivanje kako bi se Skill trebao promijeniti da bi bolje postigao željeni ishod.

Ovaj proces poboljšanja čini petlju od četiri faze:

  1. Dokazi. Brain pronalazi prošle sesije u kojima je Skill korišten, osobito one u kojima nije ispunio očekivanja.
  2. Refleksija. Agent za poboljšanje proučava te dokaze i predlaže ažuriranja Skilla.
  3. Verifikacija. Provjere potvrđuju da je prijedlog ispravno oblikovan i da će vjerojatno poboljšati ishode.
  4. Aktivacija. Verificirana promjena se primjenjuje. Buduće sesije koriste novu verziju i pružaju dokaze za sljedeći krug.
Brain odabire prošle sesije u kojima je Skill korišten, osobito one u kojima nije bio dovoljno uspješan. Agent za poboljšanje predlaže ažuriranje, a provjere procjenjuju je li ono ispravno oblikovano i hoće li vjerojatno poboljšati ishode. Nakon primjene nova se verzija koristi u budućim sesijama i pruža dokaze za sljedeći krug.

Ova se petlja oslanja na mnoge postojeće mogućnosti izgrađene za Computer i Brain. Ovdje opisujemo zajednički mehanizam koji omogućuje prikupljanje dokaza i refleksiju. Postupci verifikacije i aktivacije ovise o tome dopire li promjena do jednog korisnika ili do svih korisnika usluge Perplexity, pa ih obrađujemo u sljedećim odjeljcima o petljama poboljšanja osobnih i ugrađenih Skillova.

Dokazi iz prošlih sesija

Refleksija zahtijeva pronalaženje sesija u kojima je Skill korišten, osobito onih u kojima ima prostora za poboljšanje. Harness za Computer bilježi signale koji to omogućuju. Kada agent učita Skill, harness bilježi događaj učitavanja Skilla koji povezuje Skill sa sesijom. Kada agent primijeti frustraciju korisnika, neispravno ponašanje ili očitu neučinkovitost, podnosi kratku, strukturiranu dijagnostiku, a harness joj pridružuje Skillove koji su u upotrebi. To je osobito korisno za ugrađene Skillove, kod kojih bi bilo koja sesija potencijalno mogla biti relevantna, pa sustav treba način da brzo suzi skup dokaza.

Agentima koristi pristup cjelokupnom zapisu, umjesto da donose prosudbu na temelju ishoda ili kratkog sažetka. Computer pohranjuje prošle sesije pomoću prikaza putanja neovisnih o pružatelju usluge, koji bilježe poruke, pozive alata, rasuđivanje i rezultate. Izradili smo i skup alata naredbenog retka koje agenti mogu koristiti za dekodiranje tih putanja i rekonstrukciju cijelih sesija. To agentu za refleksiju omogućuje pregled određenih učitavanja Skillova i poziva alata te prepoznavanje točnih mjesta na kojima su nastali problemi ili na kojima su moguća poboljšanja.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Primjer upotrebe internih alata Computera za pregled trajektorija. Putanje i identifikatori pojednostavljeni su radi ilustracije; nazivi naredbi i argumenti odgovaraju implementaciji.

Refleksija s pomoću pozadinskih agenata

Brain koristi tim pozadinskih agenata kako bi neprestano optimizirao iskustvo svakog korisnika. Primjerice, agenti Dream pregledavaju akumulirano iskustvo kako bi ažurirali wiki znanja. Slično tome, poboljšanje Skillova pokreću agenti za poboljšanje koji promišljaju o dokazima o upotrebi Skillova kako bi predložili ažuriranja.

Svaki agent radi u vlastitom Sandboxu s najnaprednijim modelom, relevantnim dokazima i trenutačnom bibliotekom Skillova, a vode ga dodaci i Skillovi. On odlučuje koje će sesije pročitati, iz svake izvlači konkretnu pouku i grupira pouke koje zahtijevaju isto ponovno upotrebljivo ponašanje. Budući da ispravak jednog neuspjeha može proturječiti drugoj uputi ili dodati posao negdje drugdje, agent čita cijeli Skill prije nego što predloži izmjenu, a suzdržava se kada dokazi ne podupiru izmjenu.

Agenti za poboljšanje rade na istom harnessu kao i Computer. Harness smo izradili modularno, pa nova agentska aplikacija može ponovno upotrijebiti njegove mehanizme za rasuđivanje, upotrebu alata i upravljanje kontekstom, a vlastite upute i mogućnosti definirati putem dodataka. Namjenska flota pozadinskih radnih procesa omogućuje nam da tu obradu skaliramo neovisno o zadacima u prvom planu.

Interaktivni agent i pozadinski agent za poboljšanje rade na istom Computer harnessu. Agent za poboljšanje koristi dokaze iz sesija i trenutačne Skillove kako bi predložio promjenu ili se suzdržao. Prijedlog mora proći provjere specifične za vrstu Skilla prije nego što nova verzija postane dostupna budućim sesijama.

Petlja poboljšanja osobnih Skillova

Najprije opisujemo kako se zajednički mehanizam za samopoboljšanje primjenjuje na petlju osobnog poboljšanja, koja povijest zadataka korisnika pretvara u nove ili ažurirane osobne Skillove. Slika u nastavku prati primjer Skilla kroz cijelu petlju, sve do revidirane verzije.

Petlja osobnih Skillova kreće od dokaza iz sesija preko agenta za poboljšanje i provjera prijedloga do aktivacije. Trenutačni Skillovi također služe kao ulaz agentu za poboljšanje; aktivirane promjene postaju dostupne budućim sesijama.

Tijekom dnevnog pokretanja generiranja agent za poboljšanje pregledava nedavne sesije korisnika kako bi utvrdio koje su promjene vrijedne. Skup nedavnih sesija unaprijed se učitava u Sandbox, zajedno s podacima o upotrebi Skillova; ostatak povijesti sesija korisnika može se dohvatiti po potrebi. Agent za poboljšanje dobiva i katalog postojećih Skillova. Nema pristup internetu ni drugim konektorima.

Dodaci i Skillovi osmišljeni za tijek rada poboljšanja osobnih Skillova usmjeravaju proces refleksije, oslanjajući se na naša načela o tome što čini dobro ažuriranje. Agent najprije analizira cjelovite putanje kako bi u svakoj sesiji prepoznao konkretnu pouku. Zatim uspoređuje pouke s postojećim uputama i odlučuje hoće li ažurirati Skill, stvoriti novi ili ne napraviti nikakvu promjenu. Za stvaranje Skilla potrebna su dva neovisna pojavljivanja istog ponovno upotrebljivog ponašanja, dok se ažuriranje postojećeg Skilla može opravdati jednim utemeljenim pojavljivanjem.

Agent ne mijenja Skill izravno. Umjesto toga, izrađuje prijedlog u kojem bilježi namjeravane promjene te obrazloženje i dokaze koji ih podupiru. Ažuriranja su ograničena na jednu promjenu po Skillu po pokretanju. Determinističke provjere potvrđuju da su prijedlozi ispravno oblikovani i da se mogu primijeniti na Skill. Zasebno, LLM sudac pregledava uzorkovane prijedloge i provjerava podupiru li dokazi promjenu te pruža li dobiveni Skill korisne upute.

Aktivacija pretvara verificirani prijedlog u promjenu u korisnikovoj biblioteci Skillova, tako da se nova verzija može učitati i koristiti u budućim sesijama. Budući da harness na početku svake sesije učitava indeks svih dostupnih Skillova, velika biblioteka Skillova može zagušiti kontekstni prozor i agentu otežati pronalaženje i učitavanje relevantnih Skillova. Zato sustav zadržava samo najvrjednije Skillove i umirovljuje one koji nisu potrebni kako bi biblioteka ostala mala i pomno odabrana. Konkretno, primjenjujemo ograničenje od 10 automatski stvorenih Skillova po korisniku. Kada je ograničenje dosegnuto, agent za poboljšanje i dalje može ažurirati ili ukloniti Skillove, ali da bi dodao novi Skill, mora umiroviti postojeći i obrazložiti zašto je novi Skill korisniji za rad korisnika.

Petlja poboljšanja ugrađenih Skillova

Okvir za kontinuirano poboljšanje Skillova u sustavu Brain proširujemo i na ugrađene Skillove. Umjesto da memoriju i povijest sesija jednog korisnika koristi za poboljšanje osobnih Skillova tog korisnika, ugrađena petlja koristi dokaze mnogih korisnika kako bi poboljšala Skillove dostupne svim korisnicima usluge Perplexity. Budući da ugrađene Skillove može koristiti bilo tko, kriteriji za promjene su visoki; ažuriranja koja nenamjerno pogoršaju performanse mogu utjecati na tisuće sesija. Agent za poboljšanje ugrađenih Skillova mijenja samo kandidatske verzije Skillova. Da bi došla do kanonske verzije Skilla, ta ažuriranja moraju proći upareno ponovno izvođenje i internu ljudsku provjeru. I ovdje pratimo cijelu petlju na primjeru Skilla i dokaza koji ga podupiru.

Iz neuspjelih sesija proizlaze temeljni uzrok i izdvojeni scenariji neuspjeha. Agent za poboljšanje koristi temeljni uzrok i čiste primjere kako bi predložio reviziju; scenariji mu se nikada ne prikazuju. Upareno ponovno izvođenje uspoređuje trenutačne i revidirane Skillove na istim testovima, a uspješni kandidati prelaze na ljudsku provjeru prije odobrenja i spajanja.

Petlja poboljšanja ugrađenih Skillova koristi pročišćene dokaze iz sesija koje ispunjavaju uvjete za upotrebu u treniranju. Dijagnostika i signali neuspjeha koriste se za odabir relevantnih dokaza, uz kontrolne sesije u kojima je Skill korišten bez ikakvih upozorenja. Cjevovod za pročišćavanje uklanja vjerodajnice i druge tajne podatke, kao i priložene datoteke i medije.

Agent za generiranje scenarija pretvara pročišćene dokaze u konkretne scenarije neuspjeha. Zadržava samo kontekst potreban za razumijevanje slučaja neuspjeha i poboljšanje Skilla; ostatak sesije sintetički se rekonstruira, čime se stvara samostalan test za proces verifikacije. Scenariji se moraju izvoditi bez povezanih aplikacija ili prijave; ako je izvorni zadatak ovisio o konektoru, taj se ulaz u scenariju zamjenjuje sintetičkim datotekama. Zasebna provjera potvrđuje da Skill ne uspijeva na generiranom scenariju.

Refleksija se odvija putem tjednog posla revizije koji uočene neuspjehe pretvara u ispravke. On traži neuspjehe Skillova koji se ponavljaju u više sesija, kako jedna loša sesija ne bi potaknula izmjenu. Za svaki ponavljajući neuspjeh zasebno se pokreće agent za poboljšanje. Agent dobiva opis temeljnog uzroka, zajedno s pročišćenim zapisima uspješnih sesija. Te dokaze koristi za pisanje kandidatske revizije Skilla. Ne dobiva cjelovite scenarije neuspjeha jer se oni koriste u evaluaciji.

Zaseban posao ponovnog izvođenja koristi generirane scenarije za usporedbu izvorne i revidirane verzije Skilla. LLM sudac ocjenjuje odgovore i putanje agenta u odnosu na kriterije ocjenjivanja svakog scenarija. Da bi prijedlog prošao, svaki testni scenarij mora uspjeti s revidiranim Skillom, a barem jedan mora biti neuspješan s izvornim. Scenariji izrađeni iz kontrolnih sesija također se ponovno izvode kako bi se potvrdilo da ništa nije prestalo raditi. Kod scenarija neuspjeha sudac provjerava i je li se dogodio upravo taj neuspjeh, umjesto da neuspješan zadatak smatra dokazom istog problema.

Tijek rada pakira kandidatske promjene i rezultate evaluacije u pull request za internu ljudsku provjeru. Promjene stupaju na snagu samo ako inženjer odobri PR.

Evaluacije

Automatsko poboljšanje Skillova znatno je povećalo stvaranje i upotrebu Skillova. Brain je od 1. kolovoza do 14. studenoga napisao više od 80.000 osobnih Skillova za više od 20.000 korisnika. Osim toga, od 4. rujna do 14. studenoga primijenjeno je više od 100.000 automatskih ažuriranja na više od 30.000 postojećih osobnih Skillova.

Ti Skillovi obuhvaćaju širok raspon domena i zadataka, od verifikacije softvera i usklađivanja obračuna plaća do izrade grafikona. Skillove koje je generirao Brain kategorizirali smo prema tijekovima rada koje opisuju. Čak je i najveća domena, softverski inženjering, činila samo 11 % Skillova; slijede istraživanje i sažeci (10,1 %), prodaja i operacije (9,9 %) te financije i ulaganja (9,9 %).

Među 64.230 osobnih Skillova automatski stvorenih od 1. kolovoza do 4. studenoga najveći udio imao je softverski inženjering (11,0 %), a slijede istraživanje i sažeci (10,1 %). Deset prikazanih domena čini 80,3 % svih Skillova u uzorku.

Proveli smo osmotjedni randomizirani test na produkcijskom prometu, uspoređujući korisnike s uključenim automatskim poboljšanjem osobnih Skillova s kontrolnom skupinom kojoj je ta značajka bila isključena. Od osoba s uključenim poboljšanjem Skillova, 72,9 % dobilo je barem jedan novi osobni Skill, dok je samo 6,5 % osoba bez te značajke ručno dodalo novi Skill. Više od polovice eksperimentalne skupine (53 %) imalo je osobni Skill učitan u razgovoru koji su započeli, u usporedbi s 13 % u kontrolnoj skupini; u njihovim se izmjenama u razgovoru osobni Skill učitavao otprilike 3,6 puta češće. Među korisnicima koji su dobili Skill koji je napisao Brain, njih 63 % ponovno je upotrijebilo takav Skill u kasnijem razgovoru unutar četiri tjedna.

U osmotjednom randomiziranom testu u produkciji 72,9 % korisnika s uključenim automatskim poboljšanjem Skillova dobilo je barem jedan novi osobni Skill, u usporedbi sa 6,5 % korisnika u kontrolnoj skupini. Osobni Skill učitan je u razgovoru koji je pokrenuo korisnik kod 53 % korisnika u skupini s uključenom značajkom i kod 13 % korisnika u kontrolnoj skupini.

Našim evaluacijama nastojimo utvrditi kako ti novi i ažurirani Skillovi utječu na izvršavanje zadataka i ukupne performanse.

Rezultati istog randomiziranog eksperimenta pokazuju smanjenje neuspjelih poziva alata i nezadovoljstva korisnika. Kod korisnika s automatskim poboljšanjem Skillova stopa neuspjelih poziva alata smanjila se za 11 % u cjelokupnoj aktivnosti u Computeru. Kada se izuzmu pozadinska pokretanja samog sustava, pozivi alata i dalje su bili neuspješni oko 7 % rjeđe, što upućuje na to da se pouzdanost poboljšala u radu korisnika. Nezadovoljstvo korisnika, mjereno brojem niti sa srednjom ili visokom razinom nezadovoljstva po korisniku, smanjilo se za 7,6 %. Nismo zabilježili mjerljivu promjenu troškova ni vremena odziva. Ovi rani testovi pokazuju obećavajuće rezultate, a očekujemo da će se poboljšanja s vremenom povećavati kako budemo usavršavali sustav i uvodili Skillove koji se sami poboljšavaju za više korisnika.

Offline eksperimenti također su zabilježili poboljšanja u užim okruženjima. U eksperimentu SkillLearnBench Computer je koristio prethodne putanje zadataka kako bi izradio po jedan osobni Skill za svaku od devet obitelji zadataka. U 16 uparenih instanci evaluacije uspješnost zadataka porasla je s 43,8 % bez Skillova na 62,5 % s generiranim Skillovima, što pokazuje da Skillovi izvedeni iz prošlog iskustva mogu poboljšati performanse na ponavljajućim zadacima. U jednoj studiji slučaja ugrađenog Skilla izmjene Skilla za e-trgovinu dovele su do povećanja kvalitete od 6 % uz 32 % niži trošak, pri čemu je kvalitetu mjerio automatizirani sudac.

Zaključak

Skillovi koji se sami poboljšavaju daju Computeru još jedan način učenja iz rada koji obavlja. Ova značajka proširuje Brain tako da stvara i održava proceduralnu memoriju, čime se poboljšavaju performanse u složenim tijekovima rada. Automatsko poboljšanje Skillova već je povećalo upotrebu Skillova, smanjilo stope neuspjeha alata i smanjilo nezadovoljstvo korisnika.

Poboljšanje osobnih Skillova sada je dostupno svim pretplatnicima na Max u SAD-u. Za korisnike koji ispunjavaju uvjete uključeno je prema zadanim postavkama, ali se može isključiti. Kartica Dodaci prikazuje dostupne Skillove, označava one koje je izradio Brain i omogućuje korisnicima da odaberu koji su Skillovi omogućeni.

Sljedeći korak je proširenje poboljšanja na više vrsta Skillova, uključujući Skillove koje su izradili korisnici, Skillove podijeljene unutar projekata i Skillove organizacije. Nastavit ćemo usavršavati cjevovod za poboljšanje i njegove evaluacije kako bi revizije dovele do pouzdanijih postupaka i boljih rezultata.

Citiranje

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}