Pašuzlabojošie Skill

Kā Perplexity Brain no pieredzes apgūst atkārtotas procedūras un uztur tās aktuālas.

AutoriPerplexity Engineering

Ievads

Lietotājiem ir konkrētām darbplūsmām specifiskas preferences un prasības, kuras vispārēja lietojuma modelis nevar zināt iepriekš. Aģentam ir jāapgūst šīs detaļas, lai pielāgotu savu darbu lietotājam, nevis liktu lietotājam katrā sesijā skaidrot to pašu procedūru vai veikt tos pašus labojumus. Nepārtraukta mācīšanās to padara iespējamu: pieredzei no paveiktajiem uzdevumiem būtu jāietekmē, kā aģents pieiet turpmākajam darbam.

Brain — Computer personalizētā pašpilnveides sistēma — ļauj mācīties no pieredzes. Tā jau uztur strukturētu zināšanu wiki, kas sasaista informāciju par lietotāju un viņa darbu ar to pamatojošiem pierādījumiem. Fona aģenti atjaunina wiki, uzkrājoties jaunai informācijai, tāpēc atmiņas sistēma laika gaitā uzlabojas.

Aģentu Skills nodrošina vēl vienu veidu, kā vadīt aģenta uzvedību, nemainot pamatā esošo modeli. Skills ir atkārtoti izmantojami norādījumi, kas vada aģentu konkrētu uzdevumu izpildē. Tie ietver prasības un atbalsta resursus atkārtotām darbplūsmām, kas aģentam citādi būtu jāsecina no atmiņas vai katru reizi jāsaņem no lietotāja, tādējādi uzlabojot veiktspēju uzdevumos ārpus apmācības datu sadalījuma. Tie var ietvert arī skriptus atkārtotām procedūrām vai apstrādei, ko var uzticami izteikt kodā, lai aģents attiecīgajos gadījumos varētu vienkārši palaist šos skriptus. Pieejamos Skills harness padara atrodamus un ielādē to norādījumus kontekstā, kad aģents tos pieprasa. Lietotāji var arī tieši norādīt uzvednē, kurus Skills izmantot.

Mēs paplašinām Brain, lai tas automātiski izveidotu un atjauninātu aģentu Skills. Brain izmanto lietotāja atmiņu un sesiju vēsturi, lai rakstītu un pilnveidotu personīgos Skills, kas ietver procedūras šī lietotāja darbplūsmām. Līdzīgu pieeju mēs izmantojam, lai, balstoties uz apkopotām tendencēm visās sesijās, atjauninātu iebūvētos Skills, kas pieejami katram Perplexity lietotājam.

Aģents apvieno vispārējas spējas ar atlasītu uzdevuma kontekstu un personīgo pieredzi. Pamatā esošais modelis izmanto darba kontekstu, lai izvēlētos nākamo soli, un šis konteksts mainās, uzdevumam virzoties uz priekšu. Brain nodrošina atmiņu un personīgos Skill, pēc tam izmanto atlasītus sesiju pierādījumus vēlākiem atjauninājumiem atkarībā no pārbaudēm un autorizācijas. Personalizācija maina kontekstu un instrukcijas, nevis modeļa svarus. Avoti tiek atlasīti pēc vajadzības, nevis ielādēti visi uzreiz; šis konceptuālais skats vienkāršo atjaunināšanas mehānismus.

Vispirms aprakstām mūsu pašpilnveides dzinēju, kas ir kopīgs visiem Skills veidiem, un paskaidrojam, kā tas darbojas personīgajiem un iebūvētajiem Skills.

Koplietots pašpilnveides dzinējs

Pat noderīgam Skill joprojām jāmainās, kad parādās jaunas preferences vai pieredze atklāj nepilnības tā norādījumos. Brain ir atbildīgs par to, lai noteiktu, kā aģenta uzvedībai jāmainās nākamreiz, kad Computer saskarsies ar līdzīgu uzdevumu, un kā jāmaina Skill, lai labāk sasniegtu vēlamo rezultātu.

Šis uzlabošanas process veido ciklu ar četriem posmiem:

  1. Pierādījumi. Brain atrod iepriekšējās sesijas, kurās Skill tika izmantots, īpaši tās, kurās tas nav attaisnojis cerības.
  2. Refleksija. Uzlabošanas aģents izpēta šos pierādījumus un piedāvā Skill atjauninājumus.
  3. Verifikācija. Pārbaudes apstiprina, ka priekšlikums ir pareizi noformēts un, visticamāk, uzlabos rezultātus.
  4. Aktivizēšana. Verificētās izmaiņas tiek piemērotas. Turpmākās sesijas izmanto jauno versiju, nodrošinot pierādījumus nākamajai kārtai.
Brain atlasa iepriekšējās sesijas, kurās Skill tika izmantots, īpaši tās, kurās tas nesniedza vēlamo rezultātu. Uzlabošanas aģents ierosina atjauninājumu, un pārbaudes novērtē, vai tas ir pareizi noformēts un, visticamāk, uzlabos rezultātus. Pēc izmaiņu lietošanas jaunā versija tiek izmantota turpmākajās sesijās, sniedzot pierādījumus nākamajai kārtai.

Šis cikls balstās uz daudzām esošām iespējām, kas izveidotas Computer un Brain. Šeit mēs aprakstām koplietoto mehānismu, kas nodrošina pierādījumu vākšanu un refleksiju. Verifikācijas un aktivizēšanas procedūras ir atkarīgas no tā, vai izmaiņas skar vienu lietotāju vai katru Perplexity lietotāju, tāpēc tās aplūkojam nākamajās sadaļās par personīgo un iebūvēto Skills uzlabošanas cikliem.

Pierādījumi no iepriekšējām sesijām

Refleksijai nepieciešams atrast sesijas, kurās Skill tika izmantots, īpaši tās, kurās ir iespējams kaut ko uzlabot. Computer harness reģistrē signālus, kas to padara iespējamu. Kad aģents ielādē Skill, harness reģistrē Skill ielādes notikumu, kas sasaista Skill ar sesiju. Kad aģents pamana lietotāja neapmierinātību, kļūdainu darbību vai acīmredzamu neefektivitāti, tas iesniedz īsu, strukturētu diagnostikas ziņojumu, un harness tam pievieno izmantotos Skills. Tie ir īpaši noderīgi iebūvētajiem Skills, kur potenciāli jebkura sesija varētu būt būtiska, tāpēc sistēmai ir nepieciešams veids, kā ātri sašaurināt pierādījumu kopu.

Aģentiem ir lietderīgi piekļūt pilnam ierakstam, nevis spriest, pamatojoties uz rezultātu vai īsu kopsavilkumu. Computer glabā iepriekšējās sesijas, izmantojot no nodrošinātāja neatkarīgus trajektoriju attēlojumus, kas ietver ziņojumus, rīku izsaukumus, spriešanu un rezultātus. Mēs esam izveidojuši arī komandrindas rīku komplektu, ko aģenti var izmantot, lai atkodētu šīs trajektorijas un rekonstruētu pilnas sesijas. Tas ļauj refleksijas aģentam pārbaudīt konkrētas Skill ielādes un rīku izsaukumus, nosakot precīzus brīžus, kad radās problēmas vai bija iespējami uzlabojumi.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Computer iekšējo trajektoriju pārbaudes rīku lietojuma piemērs. Ceļi un identifikatori ilustrācijas nolūkā ir vienkāršoti; komandu nosaukumi un argumenti atbilst implementācijai.

Refleksija ar fona aģentiem

Brain izmanto fona aģentu komandu, lai nepārtraukti optimizētu pieredzi katram lietotājam. Piemēram, Dream aģenti pārskata uzkrāto pieredzi, lai atjauninātu zināšanu wiki. Līdzīgi Skills uzlabošanu nodrošina uzlabošanas aģenti, kas analizē Skills lietojuma pierādījumus, lai piedāvātu atjauninājumus.

Katrs aģents strādā savā smilšu kastē ar vismodernāko modeli, attiecīgajiem pierādījumiem un pašreizējo Skills bibliotēku, vadoties pēc spraudņiem un Skills. Tas izlemj, kuras sesijas lasīt, no katras izdara konkrētu secinājumu un grupē secinājumus, kas prasa vienu un to pašu atkārtoti izmantojamu uzvedību. Tā kā vienas kļūmes labojums var būt pretrunā ar citu norādījumu vai radīt papildu darbu citur, aģents pirms labojuma piedāvāšanas izlasa visu Skill un atturas no tā, ja pierādījumi labojumu neatbalsta.

Uzlabošanas aģenti darbojas tajā pašā harness, ko izmanto Computer. Mēs izveidojām harness modulāru, lai jauna aģenta lietojumprogramma varētu atkārtoti izmantot tā mehānismus spriešanai, rīku lietošanai un konteksta pārvaldībai, vienlaikus definējot savus norādījumus un iespējas ar spraudņu palīdzību. Atsevišķa fona apstrādes procesu flote ļauj mums mērogot šo apstrādi neatkarīgi no priekšplāna uzdevumiem.

Interaktīvais aģents un fona uzlabošanas aģents darbojas, izmantojot to pašu Computer harness. Uzlabošanas aģents izmanto sesiju pierādījumus un pašreizējos Skill, lai ierosinātu izmaiņas vai atturētos. Priekšlikumam jāiztur attiecīgajam Skill veidam specifiskas pārbaudes, pirms jaunā versija kļūst pieejama turpmākajām sesijām.

Personīgo Skills uzlabošanas cikls

Vispirms aprakstām, kā koplietotais pašpilnveides dzinējs tiek izmantots personīgajā uzlabošanas ciklā, kas pārvērš lietotāja uzdevumu vēsturi jaunos vai atjauninātos personīgajos Skills. Zemāk redzamajā attēlā Skill piemērs ir izsekots visā ciklā līdz pat pārskatītajai versijai.

Personīgo Skills cikls virzās no sesiju pierādījumiem caur uzlabošanas aģentu, priekšlikumu pārbaudēm un aktivizēšanu. Pašreizējie Skills arī sniedz informāciju uzlabošanas aģentam; aktivizētās izmaiņas kļūst pieejamas turpmākajās sesijās.

Ikdienas ģenerēšanas laikā uzlabošanas aģents pārskata lietotāja nesenās sesijas, lai noteiktu, kādas izmaiņas ir vērts veikt. Smilšu kastē iepriekš tiek ielādēta neseno sesiju kopa kopā ar Skills lietojuma datiem; pārējo lietotāja sesiju vēsturi var izgūt pēc vajadzības. Uzlabošanas aģents saņem arī esošo Skills katalogu. Tam nav piekļuves internetam vai citiem savienotājiem.

Personīgo Skills uzlabošanas darbplūsmai izstrādāti spraudņi un Skills vada refleksijas procesu, balstoties uz mūsu principiem par to, kas ir labs atjauninājums. Aģents vispirms analizē pilnas trajektorijas, lai katrā sesijā identificētu konkrētu secinājumu. Pēc tam tas salīdzina secinājumus ar esošajiem norādījumiem un izlemj, vai atjaunināt Skill, izveidot jaunu vai neko nemainīt. Lai izveidotu Skill, nepieciešami divi neatkarīgi vienas un tās pašas atkārtoti izmantojamas uzvedības gadījumi, savukārt esoša Skill atjaunināšanu var pamatot ar vienu labi pamatotu gadījumu.

Aģents nemaina Skill tieši. Tā vietā tas sagatavo priekšlikumu, kurā fiksētas plānotās izmaiņas, kā arī pamatojums un pierādījumi. Atjauninājumi ir ierobežoti līdz vienai izmaiņai katram Skill katrā izpildes reizē. Deterministiskas pārbaudes verificē, ka priekšlikumi ir pareizi noformēti un tos var piemērot Skill. Atsevišķi LLM vērtētājs pārbauda atlasītus priekšlikumus, izvērtējot, vai pierādījumi pamato izmaiņas un vai iegūtais Skill sniedz noderīgus norādījumus.

Aktivizēšana pārvērš verificētu priekšlikumu izmaiņās lietotāja Skills bibliotēkā, lai jauno versiju varētu ielādēt un izmantot turpmākajās sesijās. Tā kā harness katras sesijas sākumā ielādē visu pieejamo Skills indeksu, liela Skills bibliotēka var pārslogot konteksta logu un apgrūtināt aģentam atrast un ielādēt atbilstošos Skills. Tāpēc sistēma patur tikai vērtīgākos Skills un atsakās no tiem, kas nav nepieciešami, lai uzturētu nelielu, rūpīgi atlasītu bibliotēku. Konkrēti, mēs nosakām ierobežojumu — 10 automātiski izveidoti Skills katram lietotājam. Kad šis ierobežojums ir sasniegts, uzlabošanas aģents joprojām var atjaunināt vai noņemt Skills, taču, lai pievienotu jaunu Skill, tam ir jāatsakās no kāda esoša Skill un jāpamato, kāpēc jaunais Skill ir noderīgāks lietotāja darbam.

Iebūvēto Skills uzlabošanas cikls

Mēs paplašinām arī Brain nepārtrauktās Skills uzlabošanas sistēmu, attiecinot to uz iebūvētajiem Skills. Tā vietā, lai izmantotu viena lietotāja atmiņu un sesiju vēsturi šī lietotāja personīgo Skills uzlabošanai, iebūvētais cikls izmanto pierādījumus no daudziem lietotājiem, lai uzlabotu Skills, kas pieejami katram Perplexity lietotājam. Tā kā iebūvētos Skills var izmantot ikviens, prasības izmaiņām ir augstas; atjauninājumi, kas netīšām pasliktina veiktspēju, var ietekmēt tūkstošiem sesiju. Iebūvētais uzlabošanas aģents maina tikai Skills kandidātversijas. Lai nonāktu Skill kanoniskajā versijā, šiem atjauninājumiem jāiziet pāru atkārtojums un iekšēja cilvēka pārskatīšana. Arī šoreiz izsekojam visam ciklam ar Skill piemēru un pamatojošiem pierādījumiem.

Neveiksmīgās sesijas sniedz pamatcēloni un atsevišķi glabātus kļūmju scenārijus. Uzlabošanas aģents izmanto pamatcēloni un tīros piemērus, lai piedāvātu pārskatītu versiju; scenāriji tam nekad netiek parādīti. Pārotā atkārtotā izpilde salīdzina pašreizējās un pārskatītās Skill versijas ar vieniem un tiem pašiem testiem, un sekmīgie kandidāti pirms apstiprināšanas un sapludināšanas nonāk cilvēka pārskatīšanā.

Iebūvētais uzlabošanas cikls izmanto attīrītus pierādījumus no sesijām, kas ir piemērotas izmantošanai apmācībā. Diagnostika un kļūmju signāli tiek izmantoti atbilstošo pierādījumu atlasei, kopā ar kontroles sesijām, kurās Skill tika izmantots, neradot nekādus brīdinājumus. Attīrīšanas konveijers noņem akreditācijas datus un citus noslēpumus, kā arī pievienotos failus un multividi.

Scenāriju ģenerēšanas aģents pārvērš attīrītus pierādījumus konkrētos kļūmju scenārijos. Tas patur tikai kontekstu, kas nepieciešams, lai izprastu kļūmes gadījumu un uzlabotu Skill; pārējā sesijas daļa tiek sintētiski atjaunota, izveidojot autonomu testu verifikācijas procesam. Scenārijiem jādarbojas bez pievienotām lietotnēm vai pierakstīšanās; ja sākotnējais uzdevums bija atkarīgs no savienotāja, šie ievaddati scenārijā tiek aizstāti ar sintētiskiem failiem. Atsevišķa pārbaude verificē, ka ģenerētajā scenārijā Skill nedarbojas sekmīgi.

Refleksija notiek iknedēļas pārskatīšanas uzdevumā, kas novērotās kļūmes pārvērš labojumos. Tas meklē Skill kļūmes, kas atkārtojas vairākās sesijās, lai viena neveiksmīga sesija neizraisītu labojumu. Katrai atkārtotai kļūmei tiek palaists atsevišķs uzlabošanas aģents. Aģents saņem pamatcēloņa aprakstu kopā ar attīrītiem ierakstiem no veiksmīgām sesijām. Tas izmanto šos pierādījumus, lai uzrakstītu Skill kandidātversiju. Tas nesaņem pilnus kļūmju scenārijus, jo tie tiek izmantoti novērtēšanā.

Atsevišķs atkārtošanas uzdevums izmanto ģenerētos scenārijus, lai salīdzinātu Skill sākotnējo un pārskatīto versiju. LLM vērtētājs novērtē aģenta atbildes un trajektorijas atbilstoši katra scenārija vērtēšanas kritērijiem. Lai priekšlikums tiktu pieņemts, katram testa scenārijam jābūt sekmīgam ar pārskatīto Skill un vismaz vienam jābūt nesekmīgam ar sākotnējo. Tiek atkārtoti arī no kontroles sesijām izveidotie scenāriji, lai pārliecinātos, ka nekas nav pārstājis darboties. Kļūmju scenārijiem vērtētājs pārbauda arī, vai radās tieši konkrētā kļūme, nevis uzskata jebkuru neveiksmīgu uzdevumu par tās pašas problēmas pierādījumu.

Darbplūsma apkopo izmaiņu kandidātus un novērtēšanas rezultātus pull request iekšējai cilvēka pārskatīšanai. Izmaiņas stājas spēkā tikai tad, ja inženieris apstiprina PR.

Novērtējumi

Automātiskā Skills uzlabošana ir ievērojami palielinājusi Skills izveidi un lietojumu. Laikā no 1. augusta līdz 14. novembrim Brain uzrakstīja vairāk nekā 80 000 personīgo Skills vairāk nekā 20 000 lietotājiem. Turklāt laikā no 4. septembra līdz 14. novembrim vairāk nekā 30 000 esošiem personīgajiem Skills tika piemēroti vairāk nekā 100 000 automātisku atjauninājumu.

Šie Skills aptver plašu jomu un uzdevumu loku — no programmatūras verificēšanas līdz algu saskaņošanai un attēlu veidošanai. Mēs sagrupējām Brain ģenerētos Skills pēc darbplūsmām, ko tie apraksta. Pat lielākā joma, programmatūras izstrāde, veidoja tikai 11% Skills; tai seko izpēte un kopsavilkumi (10,1%), pārdošana un operācijas (9,9%), kā arī finanses un investīcijas (9,9%).

No 64 230 personīgajiem Skills, kas automātiski izveidoti laikā no 1. augusta līdz 4. novembrim, vislielākais īpatsvars bija programmatūras izstrādei (11,0%), tai sekoja izpēte un informatīvie pārskati (10,1%). Desmit attēlotās jomas veido 80,3% no visiem izlases Skills.

Mēs veicām astoņu nedēļu randomizētu testu ar produkcijas datplūsmu, salīdzinot lietotājus, kuriem bija iespējota automātiskā personīgo Skills uzlabošana, ar kontroles grupu, kurai tā bija atspējota. 72,9% cilvēku ar iespējotu Skills uzlabošanu ieguva vismaz vienu jaunu personīgo Skill, savukārt tikai 6,5% cilvēku bez tās manuāli pievienoja jaunu Skill. Vairāk nekā pusei testa grupas (53%) viņu sāktajā sarunā tika ielādēts personīgais Skill, salīdzinot ar 13% kontroles grupā; viņu sarunu gājienos personīgais Skill tika ielādēts aptuveni 3,6 reizes biežāk. No klientiem, kuri ieguva Brain uzrakstītu Skill, 63% četru nedēļu laikā kādā vēlākā sarunā atkal izmantoja kādu no tiem.

Astoņu nedēļu randomizētā testā produkcijas vidē 72,9 % lietotāju, kuriem bija ieslēgta automātiskā Skill uzlabošana, ieguva vismaz vienu jaunu personīgo Skill, salīdzinot ar 6,5 % kontrolgrupā. 53 % lietotāju grupā ar ieslēgtu funkciju un 13 % kontrolgrupā personīgais Skill tika ielādēts sarunā, ko bija sācis pats lietotājs.

Mūsu novērtējumu mērķis ir noteikt, kā šie jaunie un atjauninātie Skills ietekmē uzdevumu izpildi un kopējo veiktspēju.

Tā paša randomizētā eksperimenta rezultāti liecina par rīku izsaukumu kļūmju un lietotāju neapmierinātības samazināšanos. Lietotājiem ar automātisko Skills uzlabošanu rīku izsaukumu kļūmju īpatsvars visās Computer darbībās samazinājās par 11%. Neņemot vērā pašas sistēmas fona izpildes, rīku izsaukumi joprojām neizdevās aptuveni par 7% retāk, kas liecina, ka uzticamība uzlabojās tieši lietotāja darbā. Lietotāju neapmierinātība, ko mēra kā pavedienu ar vidēju/augstu neapmierinātību skaitu uz vienu lietotāju, samazinājās par 7,6%. Izmaksās vai atbildes laikā izmērāmas izmaiņas netika novērotas. Šie agrīnie testi uzrāda daudzsološus rezultātus, un mēs sagaidām, ka uzlabojumi laika gaitā pieaugs, pilnveidojot sistēmu un ieviešot pašpilnveidojošos Skills arvien vairāk lietotājiem.

Bezsaistes eksperimentos uzlabojumi ir reģistrēti arī šaurākos apstākļos. SkillLearnBench eksperimentā Computer izmantoja iepriekšējo uzdevumu trajektorijas, lai izveidotu vienu personīgo Skill katrai no deviņām uzdevumu grupām. 16 pāru novērtējuma gadījumos uzdevumu sekmīgums pieauga no 43,8% bez Skills līdz 62,5% ar ģenerētiem Skills, kas liecina, ka no iepriekšējās pieredzes iegūti Skills var uzlabot veiktspēju atkārtotos uzdevumos. Vienā iebūvēto Skills gadījuma izpētē e-komercijas Skill labojumi nodrošināja kvalitātes pieaugumu par 6% ar par 32% zemākām izmaksām, kvalitāti mērot ar automatizētu vērtētāju.

Secinājumi

Pašpilnveidojošie Skills sniedz Computer vēl vienu veidu, kā mācīties no paveiktā darba. Tie paplašina Brain iespējas veidot un uzturēt procedurālo atmiņu, uzlabojot veiktspēju sarežģītās darbplūsmās. Automātiskā Skills uzlabošana jau ir palielinājusi Skills lietojumu, samazinājusi rīku kļūmju īpatsvaru un mazinājusi lietotāju neapmierinātību.

Personīgo Skills uzlabošana tagad ir pieejama visiem Max abonentiem ASV. Piemērotiem lietotājiem tā ir ieslēgta pēc noklusējuma, taču to var izslēgt. Cilnē „Spraudņi” ir redzami pieejamie Skills, norādīti Brain izveidotie Skills, un lietotāji var izvēlēties, kuri Skills ir iespējoti.

Turpmāk mēs paplašināsim uzlabošanu, aptverot vairāk Skills klašu, tostarp lietotāju izveidotos Skills, projektos koplietotos Skills un organizācijas Skills. Mēs turpināsim pilnveidot uzlabošanas konveijeru un tā novērtējumus, lai pārskatītās versijas nodrošinātu uzticamākas procedūras un labākus rezultātus.

Atsauce

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}