Skill-uri care se autoîmbunătățesc

Cum învață Perplexity Brain proceduri recurente din experiență și cum le menține actualizate.

AutoriPerplexity Engineering

Introducere

Utilizatorii au preferințe și cerințe specifice fluxurilor lor de lucru pe care un model de uz general nu le poate cunoaște dinainte. Un agent trebuie să învețe aceste detalii pentru a-și adapta munca la utilizator, în loc să îi ceară acestuia să explice aceeași procedură sau să facă aceleași corecții în fiecare sesiune. Învățarea continuă face acest lucru posibil: experiența din sarcinile finalizate ar trebui să influențeze modul în care agentul abordează munca viitoare.

Brain, sistemul personalizat de autoîmbunătățire din Computer, permite învățarea prin experiență. Acesta menține deja un wiki structurat de cunoștințe care conectează informațiile despre utilizator și munca sa cu dovezile care le susțin. Agenții în fundal actualizează wiki-ul pe măsură ce se acumulează informații noi, astfel încât sistemul de memorie se îmbunătățește în timp.

Skill-urile de agent oferă o altă modalitate de a ghida comportamentul agentului fără a modifica modelul de bază. Skill-urile sunt instrucțiuni reutilizabile care ghidează un agent prin anumite sarcini. Ele surprind cerințele și resursele de suport pentru fluxurile de lucru recurente pe care agentul ar trebui altfel să le deducă din memorie sau să le primească de la utilizator de fiecare dată, îmbunătățind performanța în sarcinile din afara distribuției. Pot include și scripturi pentru proceduri repetitive sau prelucrări care pot fi exprimate fiabil în cod, astfel încât agentul să poată pur și simplu rula acele scripturi atunci când se aplică. Harness-ul face ca skill-urile disponibile să poată fi descoperite și le încarcă instrucțiunile în context atunci când agentul le solicită. De asemenea, utilizatorii pot specifica direct în prompt ce skill-uri să fie folosite.

Extindem Brain pentru a crea și actualiza automat skill-uri de agent. Brain se bazează pe memoria și istoricul de sesiuni ale unui utilizator pentru a scrie și rafina skill-uri personale care surprind procedurile pentru fluxurile de lucru ale acelui utilizator. Aplicăm o abordare similară pentru a actualiza skill-urile încorporate, disponibile pentru toți utilizatorii Perplexity, pe baza tiparelor agregate din toate sesiunile.

Un agent combină capabilitățile generale cu contextul selectat al sarcinii și cu experiența personală. Modelul de bază folosește contextul de lucru pentru a alege ce urmează, iar acest context se schimbă pe măsură ce sarcina avansează. Brain furnizează memorie și skill-uri personale, apoi folosește dovezile selectate din sesiuni pentru actualizări ulterioare, sub rezerva verificărilor și a autorizării. Personalizarea modifică contextul și instrucțiunile, nu ponderile modelului. Sursele sunt selectate după necesitate, nu încărcate toate odată; această reprezentare conceptuală simplifică mecanismele de actualizare.

Descriem mai întâi motorul nostru de autoîmbunătățire comun tuturor tipurilor de skill-uri și explicăm cum funcționează pentru skill-urile personale și cele încorporate.

Motor comun de autoîmbunătățire

Chiar și un skill util trebuie să se schimbe pe măsură ce apar preferințe noi sau experiența scoate la iveală lacune în instrucțiunile sale. Brain este responsabil să descopere cum ar trebui să se schimbe comportamentul agentului data viitoare când Computer întâlnește o sarcină similară și să determine cum ar trebui modificat skill-ul pentru a obține mai bine rezultatul dorit.

Acest proces de îmbunătățire formează o buclă cu patru etape:

  1. Dovezi. Brain găsește sesiuni anterioare în care a fost folosit skill-ul, în special pe cele în care acesta nu a dat rezultatele așteptate.
  2. Reflecție. Un agent de îmbunătățire studiază aceste dovezi și propune actualizări ale skill-ului.
  3. Verificare. Controalele confirmă că propunerea este bine formată și că are șanse să îmbunătățească rezultatele.
  4. Activare. Modificarea verificată este aplicată. Sesiunile viitoare folosesc noua versiune, oferind dovezi pentru runda următoare.
Brain selectează sesiunile anterioare în care a fost folosit skill-ul, în special pe cele în care acesta nu a dat rezultatele așteptate. Un agent de îmbunătățire propune o actualizare, iar verificările evaluează dacă aceasta este corect structurată și dacă are șanse să îmbunătățească rezultatele. Odată aplicată, noua versiune este folosită în sesiunile viitoare, oferind dovezi pentru runda următoare.

Această buclă se bazează pe multe capabilități existente create pentru Computer și Brain. Aici descriem mecanismele comune care permit colectarea dovezilor și reflecția. Procedurile de verificare și activare depind de faptul că o modificare ajunge la un singur utilizator sau la toți utilizatorii Perplexity, așa că le prezentăm în secțiunile următoare, dedicate buclelor de îmbunătățire a skill-urilor personale și a celor încorporate.

Dovezi din sesiunile anterioare

Reflecția necesită găsirea sesiunilor în care a fost folosit un skill, în special a celor în care există loc de îmbunătățire. Harness-ul Computer înregistrează semnale care fac acest lucru posibil. Când agentul încarcă un skill, harness-ul înregistrează un eveniment de încărcare a skill-ului care leagă skill-ul de sesiune. Când agentul observă frustrarea utilizatorului, un comportament defectuos sau o ineficiență evidentă, acesta trimite un diagnostic scurt și structurat, iar harness-ul atașează skill-urile folosite. Acestea sunt deosebit de utile pentru skill-urile încorporate, unde orice sesiune ar putea fi relevantă, așa că sistemul are nevoie de o modalitate de a restrânge rapid setul de dovezi.

Agenții au de câștigat dacă au acces la înregistrarea completă, în loc să judece pe baza rezultatului sau a unui scurt rezumat. Computer stochează sesiunile anterioare folosind reprezentări ale traiectoriilor independente de furnizor, care surprind mesajele, apelurile de instrumente, raționamentul și rezultatele. Am creat și o suită de instrumente în linie de comandă pe care agenții le pot folosi pentru a decoda aceste traiectorii și a reconstitui sesiunile complete. Acest lucru îi permite agentului de reflecție să inspecteze anumite încărcări de skill-uri și apeluri de instrumente, identificând punctele exacte în care au apărut probleme sau în care s-ar putea aduce îmbunătățiri.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Exemplu de utilizare a instrumentelor interne din Computer pentru inspectarea traiectoriilor. Căile și identificatorii sunt simplificați în scop ilustrativ; numele comenzilor și argumentele corespund implementării.

Reflecție cu agenți în fundal

Brain folosește o echipă de agenți în fundal pentru a optimiza continuu experiența fiecărui utilizator. De exemplu, agenții Dream analizează experiența acumulată pentru a actualiza wiki-ul de cunoștințe. În mod similar, îmbunătățirea skill-urilor este realizată de agenți de îmbunătățire care reflectează asupra dovezilor de utilizare a skill-urilor pentru a propune actualizări.

Fiecare agent lucrează în propriul sandbox, cu un model de frontieră, dovezile relevante și biblioteca actuală de skill-uri, ghidat de module și skill-uri. Acesta decide ce sesiuni să citească, extrage o lecție concretă din fiecare și grupează lecțiile care necesită același comportament reutilizabil. Deoarece o remediere pentru un eșec poate contrazice o altă instrucțiune sau poate adăuga muncă în altă parte, agentul citește întregul skill înainte de a propune o modificare și se abține atunci când dovezile nu o susțin.

Agenții de îmbunătățire rulează pe același harness ca și Computer. Am făcut harness-ul modular, astfel încât o nouă aplicație de agent să își poată reutiliza mecanismele pentru raționament, utilizarea instrumentelor și gestionarea contextului, definindu-și în același timp propriile instrucțiuni și capabilități prin module. O flotă dedicată de procese de lucru în fundal ne permite să scalăm această procesare independent de sarcinile din prim-plan.

Agentul interactiv și agentul de îmbunătățire din fundal rulează pe același harness Computer. Agentul de îmbunătățire folosește dovezile din sesiuni și skill-urile actuale pentru a propune o modificare sau pentru a se abține. O propunere trebuie să treacă verificări specifice tipului de skill înainte ca o versiune nouă să devină disponibilă pentru sesiunile viitoare.

Bucla de îmbunătățire a skill-urilor personale

Descriem mai întâi modul în care motorul comun de autoîmbunătățire este aplicat buclei de îmbunătățire personale, care transformă istoricul sarcinilor unui utilizator în skill-uri personale noi sau actualizate. Figura de mai jos urmărește un exemplu de skill de-a lungul întregii bucle, încheind cu versiunea revizuită.

Bucla pentru skill-urile personale pornește de la dovezile din sesiuni și trece printr-un agent de îmbunătățire, verificări ale propunerilor și activare. Skill-urile actuale informează, de asemenea, agentul de îmbunătățire; modificările activate devin disponibile pentru sesiunile viitoare.

În timpul unei rulări zilnice de generare, agentul de îmbunătățire analizează sesiunile recente ale utilizatorului pentru a stabili ce modificări merită făcute. Un set de sesiuni recente este preîncărcat în sandbox, împreună cu datele de utilizare a skill-urilor; restul istoricului de sesiuni al utilizatorului poate fi preluat la nevoie. Agentul de îmbunătățire primește și catalogul skill-urilor existente. Nu are acces la internet sau la alți conectori.

Modulele și skill-urile concepute pentru fluxul de lucru de îmbunătățire a skill-urilor personale ghidează procesul de reflecție, pe baza principiilor noastre despre ce înseamnă o actualizare bună. Agentul analizează mai întâi traiectoriile complete pentru a identifica o lecție concretă în fiecare sesiune. Apoi compară lecțiile cu instrucțiunile existente și decide dacă să actualizeze un skill, să creeze unul nou sau să nu facă nicio modificare. Crearea unui skill necesită două apariții independente ale aceluiași comportament reutilizabil, în timp ce o actualizare a unui skill existent poate fi justificată de o singură apariție bine fundamentată.

Agentul nu modifică direct skill-ul. În schimb, produce o propunere, înregistrând modificările intenționate, precum și raționamentul și dovezile care le susțin. Actualizările sunt limitate la o singură modificare per skill per rulare. Verificări deterministe confirmă că propunerile sunt bine formate și pot fi aplicate skill-ului. Separat, un judecător LLM auditează un eșantion de propuneri, verificând dacă dovezile susțin modificarea și dacă skill-ul rezultat oferă instrucțiuni utile.

Activarea transformă o propunere verificată într-o modificare a bibliotecii de skill-uri a utilizatorului, astfel încât noua versiune să poată fi încărcată și folosită în sesiunile viitoare. Deoarece harness-ul încarcă un index al tuturor skill-urilor disponibile la începutul fiecărei sesiuni, o bibliotecă mare de skill-uri poate aglomera fereastra de context și îi poate îngreuna agentului găsirea și încărcarea skill-urilor relevante. Prin urmare, sistemul păstrează doar skill-urile cele mai valoroase, retrăgându-le pe cele care nu sunt necesare, pentru a menține o bibliotecă mică și bine selectată. Mai exact, impunem o limită de 10 skill-uri create automat per utilizator. Când limita este atinsă, agentul de îmbunătățire poate în continuare să actualizeze sau să elimine skill-uri, dar pentru a adăuga un skill nou trebuie să retragă unul existent și să justifice de ce noul skill este mai util pentru munca utilizatorului.

Bucla de îmbunătățire a skill-urilor încorporate

Extindem, de asemenea, cadrul de îmbunătățire continuă a skill-urilor din Brain la skill-urile încorporate. În loc să folosească memoria și istoricul de sesiuni ale unui singur utilizator pentru a îmbunătăți skill-urile personale ale acestuia, bucla pentru skill-urile încorporate folosește dovezi de la mulți utilizatori pentru a îmbunătăți skill-urile disponibile pentru toți utilizatorii Perplexity. Deoarece skill-urile încorporate pot fi folosite de oricine, standardul pentru modificări este ridicat; actualizările care înrăutățesc din neatenție performanța pot afecta mii de sesiuni. Agentul de îmbunătățire pentru skill-urile încorporate modifică doar versiunile candidate ale skill-urilor. Pentru a ajunge în versiunea canonică a skill-ului, aceste actualizări trebuie să treacă prin reluarea în perechi și prin revizuirea umană internă. Încă o dată, urmărim întreaga buclă cu un exemplu de skill și dovezile aferente.

Sesiunile eșuate furnizează o cauză fundamentală și scenarii de eșec păstrate deoparte. Agentul de îmbunătățire folosește cauza fundamentală și exemplele fără probleme pentru a propune o revizie; scenariile nu îi sunt niciodată arătate. Reluarea în perechi compară skill-urile actuale și cele revizuite pe aceleași teste, iar candidații reușiți trec la revizuirea umană înainte de aprobare și îmbinare.

Bucla de îmbunătățire pentru skill-urile încorporate folosește dovezi igienizate din sesiunile eligibile pentru a fi folosite la antrenare. Diagnosticele și semnalele de eșec sunt folosite pentru a selecta dovezile relevante, alături de sesiuni de control în care skill-ul a fost folosit fără a declanșa vreun semnal de alertă. Un pipeline de igienizare elimină datele de autentificare și alte secrete, precum și fișierele și conținutul media atașate.

Un agent de generare a scenariilor transformă dovezile igienizate în scenarii de eșec concrete. Acesta păstrează doar contextul necesar pentru a înțelege cazul de eșec și pentru a îmbunătăți skill-ul; restul sesiunii este reconstruit sintetic, creând un test autonom pentru procesul de verificare. Scenariile trebuie să ruleze fără aplicații conectate sau autentificare; dacă sarcina originală depindea de un conector, acea intrare este înlocuită în scenariu cu fișiere sintetice. O verificare separată confirmă că skill-ul eșuează în scenariul generat.

Reflecția are loc printr-un job săptămânal de revizie care transformă eșecurile observate în remedieri. Acesta caută eșecuri ale skill-urilor care se repetă în mai multe sesiuni, astfel încât o singură sesiune nereușită să nu determine o modificare. Pentru fiecare eșec recurent se pornește o rulare separată a agentului de îmbunătățire. Agentul primește o descriere a cauzei fundamentale, împreună cu înregistrări igienizate din sesiunile reușite. Folosește aceste dovezi pentru a scrie o revizie candidată a skill-ului. Nu primește scenariile de eșec complete, deoarece acestea sunt folosite în evaluare.

Un job separat de reluare folosește scenariile generate pentru a compara versiunea originală și cea revizuită a skill-ului. Un judecător LLM evaluează răspunsurile și traiectoriile unui agent în raport cu grila de evaluare a fiecărui scenariu. Pentru ca o propunere să fie acceptată, fiecare scenariu de test trebuie să treacă cu skill-ul revizuit, iar cel puțin unul trebuie să eșueze cu cel original. Sunt reluate și scenariile construite din sesiunile de control, pentru a confirma că nimic nu a încetat să funcționeze. Pentru scenariile de eșec, judecătorul verifică și dacă a apărut eșecul specific, în loc să trateze o sarcină nereușită ca dovadă a aceleiași probleme.

Fluxul de lucru împachetează modificările candidate și rezultatele evaluării într-un pull request pentru revizuirea umană internă. Modificările intră în vigoare doar dacă un inginer aprobă PR-ul.

Evaluări

Îmbunătățirea automată a skill-urilor a crescut semnificativ crearea și utilizarea skill-urilor. Brain a scris peste 80.000 de skill-uri personale pentru peste 20.000 de utilizatori între 1 august și 14 noiembrie. În plus, peste 100.000 de actualizări automate au fost aplicate la peste 30.000 de skill-uri personale existente între 4 septembrie și 14 noiembrie.

Aceste skill-uri acoperă o gamă largă de domenii și sarcini, de la verificarea software-ului la reconcilierea salariilor și la crearea de figuri. Am clasificat skill-urile generate de Brain în funcție de fluxurile de lucru pe care le descriu. Chiar și cel mai mare domeniu, ingineria software, a reprezentat doar 11% dintre skill-uri; acesta este urmat de cercetare și informări (10,1%), vânzări și operațiuni (9,9%) și finanțe și investiții (9,9%).

Dintre cele 64.230 de skill-uri personale create automat între 1 august și 4 noiembrie, ingineria software a reprezentat cea mai mare pondere (11,0%), urmată de cercetare și informări (10,1%). Cele zece domenii afișate reprezintă 80,3% din totalul skill-urilor din eșantion.

Am desfășurat un test randomizat de opt săptămâni pe traficul de producție, comparând utilizatorii cu îmbunătățirea automată a skill-urilor personale activată cu un grup de control care o avea dezactivată. 72,9% dintre persoanele cu îmbunătățirea skill-urilor activată au primit cel puțin un skill personal nou, în timp ce doar 6,5% dintre persoanele fără această funcție au adăugat manual un skill nou. Peste jumătate dintre utilizatorii din grupul de tratament (53%) au avut un skill personal încărcat într-o conversație pe care au inițiat-o, față de 13% în grupul de control; turele lor de conversație au încărcat un skill personal de aproximativ 3,6 ori mai des. Dintre clienții care au primit un skill scris de Brain, 63% au folosit din nou unul într-o conversație ulterioară, în decurs de patru săptămâni.

Într-un test randomizat în producție, desfășurat pe parcursul a opt săptămâni, 72,9% dintre utilizatorii cu îmbunătățirea automată a skill-urilor activată au obținut cel puțin un skill personal nou, față de 6,5% din grupul de control. Un skill personal a fost încărcat într-o conversație inițiată de utilizator pentru 53% din grupul cu funcția activată și pentru 13% din grupul de control.

Evaluările noastre urmăresc să determine modul în care aceste skill-uri noi și actualizate influențează executarea sarcinilor și performanța generală.

Rezultatele aceluiași experiment randomizat arată o scădere a eșecurilor apelurilor de instrumente și a nemulțumirii utilizatorilor. Pentru utilizatorii cu îmbunătățirea automată a skill-urilor, rata de eșec a apelurilor de instrumente a scăzut cu 11% în întreaga activitate Computer. Excluzând rulările proprii ale sistemului în fundal, apelurile de instrumente au eșuat în continuare cu aproximativ 7% mai rar, ceea ce sugerează că fiabilitatea s-a îmbunătățit în munca utilizatorului. Nemulțumirea utilizatorilor, măsurată ca numărul de fire cu nemulțumire medie/ridicată per utilizator, a scăzut cu 7,6%. Nu am observat nicio modificare măsurabilă a costului sau a timpului de răspuns. Aceste teste timpurii arată rezultate promițătoare și ne așteptăm ca îmbunătățirile să crească în timp, pe măsură ce rafinăm sistemul și extindem skill-urile cu autoîmbunătățire la mai mulți utilizatori.

Experimentele offline au înregistrat, de asemenea, îmbunătățiri în contexte mai restrânse. Într-un experiment SkillLearnBench, Computer a folosit traiectoriile sarcinilor anterioare pentru a crea câte un skill personal pentru fiecare dintre cele nouă familii de sarcini. În 16 instanțe de evaluare în perechi, rata de succes a sarcinilor a crescut de la 43,8% fără skill-uri la 62,5% cu skill-uri generate, oferind dovezi că skill-urile derivate din experiența anterioară pot îmbunătăți performanța în sarcinile repetate. Într-un studiu de caz cu un skill încorporat, modificările aduse unui skill de comerț electronic au dus la o creștere a calității de 6%, la un cost cu 32% mai mic, calitatea fiind măsurată de un evaluator automat.

Concluzie

Skill-urile cu autoîmbunătățire îi oferă lui Computer încă o modalitate de a învăța din munca pe care o face. Acestea extind Brain pentru a crea și menține memoria procedurală, îmbunătățind performanța în fluxurile de lucru complexe. Îmbunătățirea automată a skill-urilor a crescut deja utilizarea skill-urilor, a redus ratele de eșec ale instrumentelor și a scăzut nemulțumirea utilizatorilor.

Îmbunătățirea skill-urilor personale este acum disponibilă pentru toți abonații Max din SUA. Este activată implicit pentru utilizatorii eligibili, dar poate fi dezactivată. Fila Module afișează skill-urile disponibile, le identifică pe cele create de Brain și le permite utilizatorilor să aleagă ce skill-uri sunt activate.

În continuare, vom extinde îmbunătățirea la mai multe categorii de skill-uri, inclusiv skill-urile create de utilizatori, skill-urile partajate în cadrul proiectelor și skill-urile organizației. Vom continua să rafinăm pipeline-ul de îmbunătățire și evaluările acestuia, astfel încât reviziile să ducă la proceduri mai fiabile și la rezultate mai bune.

Citare

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}