Samodoskonalące się skille
Jak Perplexity Brain uczy się powtarzalnych procedur na podstawie doświadczenia i dba o ich aktualność.
Wprowadzenie
Użytkownicy mają preferencje i wymagania specyficzne dla swoich przepływów pracy, których model ogólnego przeznaczenia nie może znać z góry. Agent musi poznać te szczegóły, aby dostosować swoją pracę do użytkownika, zamiast wymagać od niego wyjaśniania tej samej procedury lub wprowadzania tych samych poprawek w każdej sesji. Umożliwia to ciągłe uczenie się: doświadczenie z ukończonych zadań powinno wpływać na to, jak agent podchodzi do przyszłej pracy.
Brain, spersonalizowany system samodoskonalenia Computer, umożliwia uczenie się na podstawie doświadczenia. Już teraz prowadzi ustrukturyzowane wiki wiedzy, które łączy informacje o użytkowniku i jego pracy z potwierdzającymi je dowodami. Agenci działający w tle aktualizują wiki w miarę gromadzenia nowych informacji, dzięki czemu system pamięci z czasem staje się coraz lepszy.
Skille agentów to kolejny sposób na kierowanie zachowaniem agenta bez zmieniania modelu bazowego. Skille to instrukcje wielokrotnego użytku, które prowadzą agenta przez określone zadania. Obejmują wymagania i zasoby pomocnicze dla powtarzających się przepływów pracy, które agent musiałby w przeciwnym razie wywnioskować z pamięci lub za każdym razem otrzymywać od użytkownika, co poprawia wydajność w zadaniach spoza rozkładu danych treningowych. Mogą też zawierać skrypty dla powtarzalnych procedur lub przetwarzania, które da się niezawodnie wyrazić w kodzie, dzięki czemu agent może po prostu uruchomić te skrypty, gdy mają zastosowanie. Dzięki harnessowi dostępne Skille są wykrywalne, a ich instrukcje są ładowane do kontekstu, gdy agent o nie poprosi. Użytkownicy mogą też bezpośrednio wskazać w prompcie, których Skilli użyć.
Rozszerzamy Brain o automatyczne tworzenie i aktualizowanie Skilli agentów. Brain wykorzystuje pamięć i historię sesji użytkownika, aby pisać i dopracowywać osobiste Skille, które utrwalają procedury dla przepływów pracy tego użytkownika. Podobne podejście stosujemy do aktualizowania wbudowanych Skilli, dostępnych dla każdego użytkownika Perplexity, na podstawie zbiorczych wzorców ze wszystkich sesji.
Najpierw opisujemy nasz mechanizm samodoskonalenia wspólny dla wszystkich typów Skilli, a następnie wyjaśniamy, jak działa w przypadku osobistych i wbudowanych Skilli.
Wspólny mechanizm samodoskonalenia
Nawet przydatny Skill musi się zmieniać, gdy pojawiają się nowe preferencje lub doświadczenie ujawnia luki w jego instrukcjach. Brain odpowiada za odkrywanie, jak powinno zmienić się zachowanie agenta, gdy Computer następnym razem napotka podobne zadanie, oraz za określenie, jak należy zmienić Skill, aby lepiej osiągać pożądany rezultat.
Ten proces ulepszania tworzy pętlę składającą się z czterech etapów:
- Dowody. Brain wyszukuje wcześniejsze sesje, w których użyto Skilla, zwłaszcza te, w których okazał się niewystarczający.
- Refleksja. Agent ulepszający analizuje te dowody i proponuje aktualizacje Skilla.
- Weryfikacja. Kontrole potwierdzają, że propozycja jest poprawnie sformułowana i prawdopodobnie poprawi wyniki.
- Aktywacja. Zweryfikowana zmiana zostaje zastosowana. Przyszłe sesje korzystają z nowej wersji, dostarczając dowodów do kolejnej rundy.
Ta pętla opiera się na wielu istniejących możliwościach zbudowanych dla Computer i Brain. W tym miejscu opisujemy wspólne mechanizmy, które umożliwiają gromadzenie dowodów i refleksję. Procedury weryfikacji i aktywacji zależą od tego, czy zmiana dotyczy jednego użytkownika, czy każdego użytkownika Perplexity, dlatego omawiamy je w kolejnych sekcjach poświęconych pętlom ulepszania osobistych i wbudowanych Skilli.
Dowody z wcześniejszych sesji
Refleksja wymaga znalezienia sesji, w których użyto Skilla, zwłaszcza tych, w których jest pole do poprawy. Sygnały, które to umożliwiają, rejestruje harness Computer. Gdy agent ładuje Skill, harness rejestruje zdarzenie załadowania Skilla, które łączy Skill z sesją. Gdy agent dostrzega frustrację użytkownika, nieprawidłowe działanie lub wyraźną nieefektywność, zgłasza krótką, ustrukturyzowaną diagnostykę, a harness dołącza do niej używane Skille. Są one szczególnie przydatne w przypadku wbudowanych Skilli, gdzie potencjalnie istotna może być każda sesja, więc system potrzebuje sposobu na szybkie zawężenie puli dowodów.
Agenci zyskują na dostępie do pełnego zapisu zamiast oceniać na podstawie wyniku lub krótkiego podsumowania. Computer przechowuje wcześniejsze sesje w postaci niezależnych od dostawcy reprezentacji trajektorii, które obejmują wiadomości, wywołania narzędzi, rozumowanie i wyniki. Stworzyliśmy też zestaw narzędzi wiersza poleceń, których agenci mogą używać do dekodowania tych trajektorii i odtwarzania pełnych sesji. Dzięki temu agent refleksji może analizować konkretne załadowania Skilli i wywołania narzędzi, wskazując dokładne miejsca, w których wystąpiły problemy lub w których można było wprowadzić ulepszenia.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlPrzykładowe użycie wewnętrznych narzędzi Computer do analizy trajektorii. Ścieżki i identyfikatory zostały uproszczone na potrzeby ilustracji; nazwy poleceń i argumenty są zgodne z implementacją.
Refleksja z użyciem agentów działających w tle
Brain wykorzystuje zespół agentów działających w tle, aby stale optymalizować doświadczenie każdego użytkownika. Na przykład agenci Dream przeglądają zgromadzone doświadczenia, aby aktualizować wiki wiedzy. Podobnie ulepszanie Skilli realizują agenci ulepszający, którzy analizują dowody użycia Skilli, aby proponować aktualizacje.
Każdy agent pracuje we własnej piaskownicy z czołowym modelem, odpowiednimi dowodami i aktualną biblioteką Skilli, kierując się wtyczkami i Skillami. Decyduje, które sesje przeczytać, wyciąga z każdej konkretny wniosek i grupuje wnioski, które wymagają tego samego zachowania wielokrotnego użytku. Ponieważ poprawka jednego błędu może być sprzeczna z inną instrukcją lub dodawać pracy gdzie indziej, agent czyta cały Skill przed zaproponowaniem edycji i powstrzymuje się od niej, gdy dowody jej nie uzasadniają.
Agenci ulepszający korzystają z tego samego harnessu co Computer. Zaprojektowaliśmy harness modułowo, dzięki czemu nowa aplikacja agentowa może ponownie wykorzystywać jego mechanizmy rozumowania, używania narzędzi i zarządzania kontekstem, a jednocześnie definiować własne instrukcje i możliwości za pomocą wtyczek. Dedykowana flota procesów roboczych działających w tle pozwala nam skalować to przetwarzanie niezależnie od zadań pierwszoplanowych.
Pętla ulepszania osobistych Skilli
Najpierw opisujemy, jak wspólny mechanizm samodoskonalenia jest stosowany w pętli ulepszania osobistego, która przekształca historię zadań użytkownika w nowe lub zaktualizowane osobiste Skille. Poniższy rysunek śledzi przykładowy Skill przez całą pętlę, aż do wersji poprawionej.
Podczas codziennego przebiegu generowania agent ulepszający przegląda ostatnie sesje użytkownika, aby określić, jakie zmiany warto wprowadzić. Zestaw ostatnich sesji jest wstępnie ładowany do piaskownicy wraz z danymi o użyciu Skilli; resztę historii sesji użytkownika można pobrać w razie potrzeby. Agent ulepszający otrzymuje także katalog istniejących Skilli. Nie ma dostępu do internetu ani innych łączników.
Wtyczki i Skille zaprojektowane dla przepływu pracy ulepszania osobistych Skilli kierują procesem refleksji, opierając się na naszych zasadach dotyczących tego, co stanowi dobrą aktualizację. Agent najpierw analizuje pełne trajektorie, aby w każdej sesji zidentyfikować konkretny wniosek. Następnie porównuje wnioski z istniejącymi instrukcjami i decyduje, czy zaktualizować Skill, utworzyć nowy, czy nie wprowadzać zmian. Utworzenie Skilla wymaga dwóch niezależnych wystąpień tego samego zachowania wielokrotnego użytku, natomiast aktualizację istniejącego Skilla może uzasadnić jedno dobrze udokumentowane wystąpienie.
Agent nie modyfikuje Skilla bezpośrednio. Zamiast tego tworzy propozycję, w której zapisuje zamierzone zmiany wraz z uzasadnieniem i dowodami. Aktualizacje są ograniczone do jednej zmiany na Skill w każdym przebiegu. Deterministyczne kontrole weryfikują, czy propozycje są poprawnie sformułowane i czy można je zastosować do Skilla. Niezależnie od tego sędzia LLM sprawdza losowo wybrane propozycje, oceniając, czy dowody uzasadniają zmianę i czy wynikowy Skill zawiera przydatne instrukcje.
Aktywacja przekształca zweryfikowaną propozycję w zmianę w bibliotece Skilli użytkownika, dzięki czemu nowa wersja może być ładowana i używana w przyszłych sesjach. Ponieważ harness ładuje indeks wszystkich dostępnych Skilli na początku każdej sesji, duża biblioteka Skilli może zapychać okno kontekstu i utrudniać agentowi znajdowanie i ładowanie odpowiednich Skilli. Dlatego system zachowuje tylko najcenniejsze Skille, wycofując te, które nie są niezbędne, aby utrzymać małą, starannie dobraną bibliotekę. Konkretnie stosujemy limit 10 automatycznie utworzonych Skilli na użytkownika. Po osiągnięciu limitu agent ulepszający nadal może aktualizować lub usuwać Skille, ale aby dodać nowy Skill, musi wycofać istniejący i uzasadnić, dlaczego nowy Skill jest bardziej przydatny w pracy użytkownika.
Pętla ulepszania wbudowanych Skilli
Rozszerzamy też stosowany w Brain mechanizm ciągłego ulepszania Skilli na wbudowane Skille. Zamiast wykorzystywać pamięć i historię sesji jednego użytkownika do ulepszania jego osobistych Skilli, pętla dla wbudowanych Skilli wykorzystuje dowody od wielu użytkowników, aby ulepszać Skille dostępne dla każdego użytkownika Perplexity. Ponieważ wbudowanych Skilli może używać każdy, poprzeczka dla zmian jest zawieszona wysoko; aktualizacje, które nieumyślnie pogorszą działanie, mogą wpłynąć na tysiące sesji. Agent ulepszający wbudowane Skille zmienia wyłącznie kandydackie wersje Skilli. Aby trafić do kanonicznej wersji Skilla, aktualizacje muszą przejść sparowane odtwarzanie i wewnętrzny przegląd przez człowieka. Ponownie śledzimy całą pętlę na przykładzie Skilla wraz z potwierdzającymi dowodami.
Pętla ulepszania wbudowanych Skilli wykorzystuje oczyszczone dowody z sesji, które kwalifikują się do wykorzystania w trenowaniu. Diagnostyka i sygnały niepowodzeń służą do wyboru odpowiednich dowodów, obok sesji kontrolnych, w których Skill został użyty bez zgłoszenia żadnych problemów. Potok oczyszczania usuwa dane uwierzytelniające i inne sekrety, a także załączone pliki i multimedia.
Agent generujący scenariusze przekształca oczyszczone dowody w konkretne scenariusze niepowodzeń. Zachowuje tylko kontekst niezbędny do zrozumienia przypadku niepowodzenia i ulepszenia Skilla; reszta sesji jest odtwarzana syntetycznie, co tworzy samodzielny test na potrzeby procesu weryfikacji. Scenariusze muszą działać bez połączonych aplikacji i logowania; jeśli pierwotne zadanie zależało od łącznika, te dane wejściowe są w scenariuszu zastępowane plikami syntetycznymi. Osobna kontrola sprawdza, czy Skill zawodzi w wygenerowanym scenariuszu.
Refleksja odbywa się w ramach cotygodniowego zadania rewizji, które przekształca zaobserwowane niepowodzenia w poprawki. Zadanie wyszukuje niepowodzenia Skilli powtarzające się w wielu sesjach, aby pojedyncza nieudana sesja nie powodowała edycji. Dla każdego powtarzającego się niepowodzenia uruchamiany jest osobny przebieg agenta ulepszającego. Agent otrzymuje opis przyczyny źródłowej wraz z oczyszczonymi zapisami udanych sesji. Na podstawie tych dowodów pisze kandydacką poprawioną wersję Skilla. Nie otrzymuje pełnych scenariuszy niepowodzeń, ponieważ są one wykorzystywane podczas ewaluacji.
Osobne zadanie odtwarzania wykorzystuje wygenerowane scenariusze do porównania oryginalnej i poprawionej wersji Skilla. Sędzia LLM ocenia odpowiedzi i trajektorie agenta względem kryteriów oceny każdego scenariusza. Aby propozycja przeszła, każdy scenariusz testowy musi zakończyć się powodzeniem z poprawionym Skillem, a co najmniej jeden musi zakończyć się niepowodzeniem z oryginalnym. Scenariusze utworzone na podstawie sesji kontrolnych również są odtwarzane, aby potwierdzić, że nic nie przestało działać. W przypadku scenariuszy niepowodzeń sędzia sprawdza też, czy wystąpiło konkretne niepowodzenie, zamiast traktować nieudane zadanie jako dowód tego samego problemu.
Przepływ pracy pakuje kandydackie zmiany i wyniki ewaluacji w pull request do wewnętrznego przeglądu przez człowieka. Zmiany wchodzą w życie tylko wtedy, gdy inżynier zatwierdzi PR.
Ewaluacje
Automatyczne ulepszanie Skilli znacząco zwiększyło tworzenie i używanie Skilli. Od 1 sierpnia do 14 listopada Brain napisał ponad 80 000 osobistych Skilli dla ponad 20 000 użytkowników. Ponadto od 4 września do 14 listopada zastosowano ponad 100 000 automatycznych aktualizacji w ponad 30 000 istniejących osobistych Skilli.
Te Skille obejmują szeroki zakres dziedzin i zadań – od weryfikacji oprogramowania, przez uzgadnianie list płac, po projektowanie ilustracji. Skategoryzowaliśmy Skille wygenerowane przez Brain według opisywanych w nich przepływów pracy. Nawet największa dziedzina, inżynieria oprogramowania, odpowiadała za zaledwie 11% Skilli; dalej plasują się badania i briefingi (10,1%), sprzedaż i operacje (9,9%) oraz finanse i inwestowanie (9,9%).
Przeprowadziliśmy ośmiotygodniowy test randomizowany na ruchu produkcyjnym, porównując użytkowników z włączonym automatycznym ulepszaniem osobistych Skilli z grupą kontrolną, w której ta funkcja była wyłączona. Spośród osób z włączonym ulepszaniem Skilli 72,9% otrzymało co najmniej jeden nowy osobisty Skill, podczas gdy wśród osób bez tej funkcji tylko 6,5% ręcznie dodało nowy Skill. Ponad połowa grupy eksperymentalnej (53%) miała osobisty Skill załadowany w rozpoczętej przez siebie rozmowie, w porównaniu z 13% w grupie kontrolnej; w ich turach osobisty Skill był ładowany około 3,6 razy częściej. Spośród klientów, którzy otrzymali Skill napisany przez Brain, 63% ponownie użyło takiego Skilla w późniejszej rozmowie w ciągu czterech tygodni.
Nasze ewaluacje mają na celu ustalenie, jak te nowe i zaktualizowane Skille wpływają na wykonywanie zadań i ogólną wydajność.
Wyniki tego samego randomizowanego eksperymentu wskazują na spadek liczby nieudanych wywołań narzędzi i niezadowolenia użytkowników. U użytkowników z automatycznym ulepszaniem Skilli wskaźnik nieudanych wywołań narzędzi spadł o 11% w całej aktywności Computer. Po wyłączeniu własnych przebiegów systemu działających w tle wywołania narzędzi nadal kończyły się niepowodzeniem o około 7% rzadziej, co sugeruje, że niezawodność poprawiła się w pracy samego użytkownika. Niezadowolenie użytkowników, mierzone jako liczba wątków o średnim/wysokim poziomie niezadowolenia na użytkownika, spadło o 7,6%. Nie zaobserwowaliśmy mierzalnej zmiany kosztów ani czasu odpowiedzi. Te wczesne testy przynoszą obiecujące wyniki i spodziewamy się, że ulepszenia będą z czasem rosły, w miarę jak będziemy dopracowywać system i udostępniać samodoskonalące się Skille kolejnym użytkownikom.
Eksperymenty offline również wykazały poprawę w węższych warunkach. W eksperymencie SkillLearnBench Computer wykorzystał wcześniejsze trajektorie zadań do utworzenia jednego osobistego Skilla dla każdej z dziewięciu rodzin zadań. W 16 sparowanych instancjach ewaluacyjnych odsetek pomyślnie wykonanych zadań wzrósł z 43,8% bez Skilli do 62,5% z wygenerowanymi Skillami, co świadczy o tym, że Skille wywiedzione z wcześniejszych doświadczeń mogą poprawić wydajność w powtarzalnych zadaniach. W jednym studium przypadku dotyczącym wbudowanych Skilli edycje Skilla e-commerce przyniosły wzrost jakości o 6% przy kosztach niższych o 32%, przy czym jakość mierzył automatyczny sędzia.
Wnioski
Samodoskonalące się Skille dają Computer kolejny sposób uczenia się na podstawie wykonywanej pracy. Rozszerzają one Brain o tworzenie i utrzymywanie pamięci proceduralnej, poprawiając wydajność w złożonych przepływach pracy. Automatyczne ulepszanie Skilli już zwiększyło ich wykorzystanie, zmniejszyło odsetek niepowodzeń narzędzi i obniżyło niezadowolenie użytkowników.
Ulepszanie osobistych Skilli jest teraz dostępne dla wszystkich subskrybentów planu Max w USA. Jest domyślnie włączone dla uprawnionych użytkowników, ale można je wyłączyć. Karta Wtyczki pokazuje dostępne Skille, wskazuje te utworzone przez Brain i pozwala użytkownikom wybrać, które Skille są włączone.
W następnej kolejności rozszerzymy ulepszanie na kolejne klasy Skilli, w tym Skille tworzone przez użytkowników, Skille udostępniane w projektach oraz Skille organizacji. Będziemy nadal dopracowywać potok ulepszania i jego ewaluacje, aby poprawki prowadziły do bardziej niezawodnych procedur i lepszych wyników.
Cytowanie
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}