Selvforbedrende skills

Hvordan Perplexity Brain lærer tilbakevendende prosedyrer av erfaring og holder dem oppdatert.

ForfatterePerplexity Engineering

Innledning

Brukere har arbeidsflytspesifikke preferanser og krav som en generell modell ikke kan kjenne til på forhånd. En agent må lære disse detaljene for å tilpasse arbeidet sitt til brukeren, i stedet for at brukeren må forklare den samme prosedyren eller gjøre de samme rettelsene i hver økt. Kontinuerlig læring gjør dette mulig: Erfaring fra fullførte oppgaver bør påvirke hvordan agenten tilnærmer seg fremtidig arbeid.

Brain, Computers personaliserte system for selvforbedring, muliggjør læring gjennom erfaring. Det vedlikeholder allerede en strukturert kunnskapswiki som kobler informasjon om brukeren og arbeidet deres til bevisene som støtter den. Bakgrunnsagenter oppdaterer wikien etter hvert som ny informasjon samles, slik at minnesystemet blir bedre over tid.

Agent-Skills er en annen måte å styre agentatferd på uten å endre den underliggende modellen. Skills er gjenbrukbare instruksjoner som veileder en agent gjennom bestemte oppgaver. De fanger opp krav og støtteressurser for gjentakende arbeidsflyter som agenten ellers måtte utlede fra minnet eller få fra brukeren hver gang, og forbedrer ytelsen på oppgaver utenfor distribusjonen. De kan også inneholde skript for repeterende prosedyrer eller behandling som pålitelig kan uttrykkes i kode, slik at agenten ganske enkelt kan kjøre disse skriptene når de er relevante. Harnessen gjør tilgjengelige Skills synlige og laster instruksjonene deres inn i konteksten når agenten ber om dem. Brukere kan også angi direkte i prompten hvilke Skills som skal brukes.

Vi utvider Brain til automatisk å opprette og oppdatere agent-Skills. Brain bygger på brukerens minne og økthistorikk for å skrive og forbedre personlige Skills som fanger opp prosedyrer for brukerens arbeidsflyter. Vi bruker en lignende tilnærming til å oppdatere innebygde Skills, som er tilgjengelige for alle Perplexity-brukere, basert på samlede mønstre på tvers av alle økter.

En agent kombinerer generell kapasitet med utvalgt oppgavekontekst og personlig erfaring. Den underliggende modellen bruker arbeidskonteksten til å velge hva som skjer videre, og konteksten endres etter hvert som oppgaven skrider frem. Brain leverer minne og personlige skills, og bruker deretter utvalgt øktbevis til senere oppdateringer, med forbehold om kontroller og autorisasjon. Personalisering endrer kontekst og instruksjoner, ikke modellvekter. Kildene velges ut etter behov og lastes ikke inn samtidig; denne konseptuelle visningen forenkler oppdateringsmekanismene.

Vi beskriver først selvforbedringsmotoren vår, som deles av alle typer Skills, og forklarer hvordan den fungerer for personlige og innebygde Skills.

Delt motor for selvforbedring

En nyttig Skill må fortsatt endres etter hvert som nye preferanser oppstår eller erfaring avdekker hull i instruksjonene. Brain har ansvaret for å finne ut hvordan agentens atferd bør endres neste gang Computer møter en lignende oppgave, og for å avgjøre hvordan Skillen bør endres for å oppnå ønsket resultat bedre.

Denne forbedringsprosessen danner en sløyfe med fire trinn:

  1. Bevis. Brain finner tidligere økter der Skillen ble brukt, særlig de der den kom til kort.
  2. Refleksjon. En forbedringsagent studerer disse bevisene og foreslår oppdateringer av Skillen.
  3. Verifisering. Kontroller bekrefter at forslaget er velformet og sannsynligvis vil gi bedre resultater.
  4. Aktivering. Den verifiserte endringen tas i bruk. Fremtidige økter bruker den nye versjonen og gir bevis til neste runde.
Brain velger ut tidligere økter der skillen ble brukt, særlig de der den kom til kort. En forbedringsagent foreslår en oppdatering, og kontroller vurderer om den er velformet og sannsynligvis vil gi bedre resultater. Når den er tatt i bruk, brukes den nye versjonen i fremtidige økter og gir bevis til neste runde.

Denne sløyfen bygger på mange eksisterende funksjoner utviklet for Computer og Brain. Her beskriver vi det delte maskineriet som muliggjør bevis og refleksjon. Verifiserings- og aktiveringsprosedyrene avhenger av om en endring når én bruker eller alle Perplexity-brukere, så vi tar for oss dem i de følgende avsnittene om sløyfene for forbedring av personlige og innebygde Skills.

Bevis fra tidligere økter

Refleksjon krever at man finner økter der en Skill ble brukt, særlig de der det er rom for forbedring. Computer-harnessen registrerer signaler som gjør dette mulig. Når agenten laster inn en Skill, registrerer harnessen en Skill-innlastingshendelse som knytter Skillen til økten. Når agenten ser brukerfrustrasjon, atferd som ikke fungerer, eller tydelig ineffektivitet, sender agenten inn en kort, strukturert diagnostikk, og harnessen legger ved Skillene som er i bruk. Disse er særlig nyttige for innebygde Skills, der enhver økt potensielt kan være relevant, så systemet trenger en måte å raskt snevre inn bevisgrunnlaget på.

Agenter har nytte av tilgang til hele historikken, i stedet for å gjøre en vurdering basert på utfallet eller et kort sammendrag. Computer lagrer tidligere økter ved hjelp av leverandøruavhengige forløpsrepresentasjoner som fanger opp meldinger, verktøykall, resonnering og resultater. Vi har også bygget en pakke med kommandolinjeverktøy som agenter kan bruke til å dekode disse forløpene og rekonstruere hele økter. Dette gjør det mulig for refleksjonsagenten å undersøke bestemte Skill-innlastinger og verktøykall og identifisere nøyaktig hvor problemer oppsto eller forbedringer kunne gjøres.

bash
# Decode a stored trajectory into structured messages, # including tool calls, their arguments, and their results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --jsonl -o session.jsonl # Identify which skills the agent loaded and how often. python3 list_skills_used.py session.jsonl # Read one turn in detail, including its tool calls and results. python3 deserialize_trajectory.py \ --convo-path session/convo.pb.lz4 \ --turn 3 -o turn-3.md # Recover earlier steps preserved before a context compaction. python3 deserialize_trajectory.py \ --convo-path session/compactions/001/original_convo.pb.lz4 \ --jsonl -o earlier-history.jsonl

Eksempel på bruk av de interne verktøyene i Computer for inspeksjon av forløp. Stier og identifikatorer er forenklet for illustrasjonens skyld; kommandonavn og argumenter følger implementeringen.

Refleksjon med bakgrunnsagenter

Brain bruker et team av bakgrunnsagenter til kontinuerlig å optimalisere opplevelsen for hver bruker. For eksempel går Dream-agenter gjennom akkumulert erfaring for å oppdatere kunnskapswikien. På samme måte drives Skill-forbedring av forbedringsagenter som reflekterer over bevis på Skill-bruk for å foreslå oppdateringer.

Hver agent arbeider i sin egen sandbox med en frontier-modell, de relevante bevisene og det nåværende Skill-biblioteket, veiledet av utvidelser og Skills. Den avgjør hvilke økter den skal lese, trekker en konkret lærdom fra hver av dem og grupperer lærdommer som krever den samme gjenbrukbare atferden. Fordi en løsning på én feil kan motsi en annen instruksjon eller skape ekstra arbeid andre steder, leser den hele Skillen før den foreslår en endring, og avstår når bevisene ikke støtter en.

Forbedringsagenter kjører på den samme harnessen som Computer. Vi gjorde harnessen modulær, slik at en ny agentapplikasjon kan gjenbruke maskineriet for resonnering, verktøybruk og konteksthåndtering, samtidig som den definerer sine egne instruksjoner og funksjoner gjennom utvidelser. En egen flåte av bakgrunnsarbeidere lar oss skalere denne behandlingen uavhengig av forgrunnsoppgaver.

Den interaktive agenten og forbedringsagenten i bakgrunnen kjører på samme Computer-harness. Forbedringsagenten bruker øktbevis og gjeldende skills til å foreslå en endring eller avstå. Et forslag må bestå kontroller som er spesifikke for skill-typen, før en ny versjon blir tilgjengelig for fremtidige økter.

Sløyfen for forbedring av personlige Skills

Vi beskriver først hvordan den delte selvforbedringsmotoren brukes i den personlige forbedringssløyfen, som gjør en brukers oppgavehistorikk om til nye eller oppdaterte personlige Skills. Figuren nedenfor følger en eksempel-Skill gjennom hele sløyfen og avslutter med den reviderte versjonen.

Sløyfen for personlige Skills går fra bevis fra økter via en forbedringsagent, kontroll av forslag og aktivering. Nåværende Skills gir også innspill til forbedringsagenten; aktiverte endringer blir tilgjengelige for fremtidige økter.

Under en daglig genereringskjøring går forbedringsagenten gjennom brukerens nylige økter for å avgjøre hvilke endringer som er verdt å gjøre. Et utvalg nylige økter lastes inn i sandboxen på forhånd, sammen med data om Skill-bruk; resten av brukerens økthistorikk kan hentes ved behov. Forbedringsagenten mottar også katalogen over eksisterende Skills. Den har ikke tilgang til internett eller andre koblinger.

Utvidelser og Skills utformet for arbeidsflyten for forbedring av personlige Skills styrer refleksjonsprosessen og bygger på prinsippene våre for hva som kjennetegner en god oppdatering. Agenten analyserer først hele forløp for å identifisere en konkret lærdom i hver økt. Deretter sammenligner den lærdommene med de eksisterende instruksjonene og avgjør om den skal oppdatere en Skill, opprette en eller ikke gjøre noen endring. Å opprette en Skill krever to uavhengige forekomster av den samme gjenbrukbare atferden, mens en oppdatering av en eksisterende Skill kan begrunnes med én enkelt forankret forekomst.

Agenten endrer ikke Skillen direkte. I stedet lager den et forslag som registrerer de tiltenkte endringene og begrunnelsen og bevisene som støtter dem. Oppdateringer er begrenset til én endring per Skill per kjøring. Deterministiske kontroller verifiserer at forslagene er velformede og kan brukes på Skillen. I tillegg reviderer en LLM-dommer et utvalg av forslagene og kontrollerer om bevisene støtter endringen, og om den resulterende Skillen gir nyttige instruksjoner.

Aktivering gjør et verifisert forslag om til en endring i brukerens Skill-bibliotek, slik at den nye versjonen kan lastes inn og brukes i fremtidige økter. Fordi harnessen laster inn en indeks over alle tilgjengelige Skills ved starten av hver økt, kan et stort bibliotek av Skills tette igjen kontekstvinduet og gjøre det vanskeligere for agenten å finne og laste inn relevante Skills. Derfor beholder systemet bare de mest verdifulle Skillene og pensjonerer Skills som ikke er nødvendige, for å opprettholde et lite, kuratert bibliotek. Konkret håndhever vi en grense på 10 automatisk opprettede Skills per bruker. Når grensen er nådd, kan forbedringsagenten fortsatt oppdatere eller fjerne Skills, men for å legge til en ny Skill må den pensjonere en eksisterende Skill og begrunne hvorfor den nye Skillen er mer nyttig for brukerens arbeid.

Sløyfen for forbedring av innebygde Skills

Vi utvider også Brains rammeverk for kontinuerlig Skill-forbedring til innebygde Skills. I stedet for å bruke én brukers minne og økthistorikk til å forbedre denne brukerens personlige Skills, bruker den innebygde sløyfen bevis fra mange brukere til å forbedre Skillene som er tilgjengelige for alle Perplexity-brukere. Fordi innebygde Skills kan brukes av hvem som helst, er terskelen for endringer høy; oppdateringer som utilsiktet svekker ytelsen, kan påvirke tusenvis av økter. Den innebygde forbedringsagenten endrer bare kandidatversjoner av Skills. For å nå den kanoniske versjonen av Skillen må disse oppdateringene gjennom parvis gjenkjøring og intern menneskelig gjennomgang. Også her følger vi hele sløyfen med en eksempel-Skill og støttende bevis.

Mislykkede økter gir en rotårsak og tilbakeholdte feilscenarioer. Forbedringsagenten bruker rotårsaken og feilfrie eksempler til å foreslå en revisjon; scenarioene vises aldri for den. Parvis gjenkjøring sammenligner nåværende og reviderte Skills på de samme testene, og vellykkede kandidater går videre til menneskelig gjennomgang før godkjenning og fletting.

Den innebygde forbedringssløyfen bruker rensede bevis fra økter som kan brukes til trening. Diagnostikk og feilsignaler brukes til å velge ut relevante bevis, sammen med kontrolløkter der Skillen ble brukt uten at noe ble flagget. En renseprosess fjerner påloggingsinformasjon og andre hemmeligheter, i tillegg til vedlagte filer og medier.

En agent for scenariogenerering gjør rensede bevis om til konkrete feilscenarioer. Den beholder bare konteksten som er nødvendig for å forstå feiltilfellet og forbedre Skillen; resten av økten gjenskapes syntetisk, slik at det oppstår en selvstendig test for verifiseringsprosessen. Scenarioer må kunne kjøres uten tilkoblede apper eller pålogging; hvis den opprinnelige oppgaven var avhengig av en kobling, erstattes disse inndataene av syntetiske filer i scenarioet. En separat kontroll verifiserer at Skillen mislykkes i det genererte scenarioet.

Refleksjon skjer gjennom en ukentlig revisjonsjobb som gjør observerte feil om til rettelser. Den ser etter Skill-feil som gjentar seg på tvers av flere økter, slik at én enkelt dårlig økt ikke utløser en endring. Hver gjentakende feil får en egen kjøring av forbedringsagenten. Agenten mottar en beskrivelse av rotårsaken, sammen med rensede registreringer fra vellykkede økter. Den bruker disse bevisene til å skrive en kandidatrevisjon av Skillen. Den mottar ikke de fullstendige feilscenarioene, siden disse brukes i evalueringen.

En separat gjenkjøringsjobb bruker de genererte scenarioene til å sammenligne den opprinnelige og den reviderte versjonen av Skillen. En LLM-dommer evaluerer en agents svar og forløp opp mot vurderingskriteriene for hvert scenario. For at et forslag skal godkjennes, må hvert testscenario bestås med den reviderte Skillen, og minst ett må mislykkes med den opprinnelige. Scenarioer bygget fra kontrolløktene kjøres også på nytt for å bekrefte at ingenting har sluttet å fungere. For feilscenarioene kontrollerer dommeren også at den spesifikke feilen oppsto, i stedet for å behandle en mislykket oppgave som bevis på det samme problemet.

Arbeidsflyten pakker kandidatendringene og evalueringsresultatene inn i en pull request for intern menneskelig gjennomgang. Endringene trer bare i kraft hvis en ingeniør godkjenner PR-en.

Evalueringer

Automatisk Skill-forbedring har økt opprettelsen og bruken av Skills betydelig. Brain skrev over 80 000 personlige Skills for over 20 000 brukere mellom 1. august og 14. november. I tillegg ble mer enn 100 000 automatiske oppdateringer brukt på over 30 000 eksisterende personlige Skills mellom 4. september og 14. november.

Disse Skillene spenner over et bredt spekter av domener og oppgaver, fra verifisering av programvare til avstemming av lønn og utforming av figurer. Vi kategoriserte Skills generert av Brain etter arbeidsflytene de beskriver. Selv det største domenet, programvareutvikling, utgjorde bare 11 % av Skillene; deretter følger forskning og orienteringer (10,1 %), salg og drift (9,9 %) og finans og investering (9,9 %).

Blant 64 230 personlige Skills som ble opprettet automatisk fra 1. august til 4. november, utgjorde programvareutvikling den største andelen (11,0 %), fulgt av forskning og orienteringer (10,1 %). De ti viste domenene utgjør 80,3 % av alle Skills i utvalget.

Vi gjennomførte en åtte uker lang randomisert test på produksjonstrafikk og sammenlignet brukere med automatisk forbedring av personlige Skills aktivert med en kontrollgruppe der funksjonen var deaktivert. 72,9 % av personene med Skill-forbedring aktivert fikk minst én ny personlig Skill, mens bare 6,5 % av personene uten funksjonen la til en ny Skill manuelt. Mer enn halvparten av behandlingsgruppen (53 %) hadde en personlig Skill lastet inn i en samtale de startet, sammenlignet med 13 % i kontrollgruppen; meldingsrundene deres lastet inn en personlig Skill omtrent 3,6 ganger så ofte. Blant kundene som fikk en Skill skrevet av Brain, brukte 63 % en slik Skill igjen i en senere samtale innen fire uker.

I en åtte uker lang randomisert produksjonstest fikk 72,9 % av brukerne med automatisk skill-forbedring aktivert minst én ny personlig skill, sammenlignet med 6,5 % i kontrollgruppen. En personlig skill ble lastet inn i en samtale brukeren startet, for 53 % av den aktiverte gruppen og 13 % av kontrollgruppen.

Evalueringene våre tar sikte på å fastslå hvordan disse nye og oppdaterte Skillene påvirker oppgaveutførelsen og den samlede ytelsen.

Resultater fra det samme randomiserte eksperimentet viser en nedgang i mislykkede verktøykall og misnøye blant brukerne. For brukere med automatisk Skill-forbedring falt feilraten for verktøykall med 11 % på tvers av all aktivitet i Computer. Når systemets egne bakgrunnskjøringer holdes utenfor, mislyktes verktøykall fortsatt omtrent 7 % sjeldnere, noe som tyder på at påliteligheten ble bedre i brukerens arbeid. Brukermisnøye, målt som antall tråder med middels/høy misnøye per bruker, falt med 7,6 %. Vi så ingen målbar endring i kostnad eller responstid. Disse tidlige testene viser lovende resultater, og vi forventer at forbedringene vil øke over tid etter hvert som vi videreutvikler systemet og ruller ut selvforbedrende Skills til flere brukere.

Offline-eksperimenter har også registrert forbedringer i smalere sammenhenger. I et SkillLearnBench-eksperiment brukte Computer tidligere oppgaveforløp til å opprette én personlig Skill for hver av ni oppgavefamilier. På tvers av 16 parvise evalueringsinstanser økte oppgavesuksessen fra 43,8 % uten Skills til 62,5 % med genererte Skills, noe som tyder på at Skills utledet fra tidligere erfaring kan forbedre ytelsen på gjentatte oppgaver. I én innebygd casestudie førte endringer i en Skill for netthandel til 6 % høyere kvalitet til 32 % lavere kostnad, der kvaliteten ble målt av en automatisert dommer.

Konklusjon

Selvforbedrende Skills gir Computer enda en måte å lære av arbeidet den gjør på. Dette utvider Brain til å opprette og vedlikeholde prosedyreminne, noe som forbedrer ytelsen i komplekse arbeidsflyter. Automatisk Skill-forbedring har allerede økt bruken av Skills, redusert feilraten for verktøy og senket misnøyen blant brukerne.

Forbedring av personlige Skills er nå tilgjengelig for alle Max-abonnenter i USA. Funksjonen er slått på som standard for kvalifiserte brukere, men kan slås av. Fanen Utvidelser viser tilgjengelige Skills, identifiserer dem som er skrevet av Brain, og lar brukerne velge hvilke Skills som er aktivert.

Deretter utvider vi forbedringen til flere Skill-klasser, inkludert Skills skrevet av brukere, Skills som deles i prosjekter, og organisasjons-Skills. Vi fortsetter å videreutvikle forbedringsprosessen og evalueringene av den, slik at revisjoner gir mer pålitelige prosedyrer og bedre resultater.

Sitering

BibTeX
@online{perplexity2026SelfImprovingSkills,
  author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Self-improving skills}},
  date = {2026-11-18},
  url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}