Skills que melloran por si mesmas
Como Perplexity Brain aprende procedementos recorrentes a partir da experiencia e os mantén actualizados.
Introdución
Os usuarios teñen preferencias e requisitos específicos dos seus fluxos de traballo que un modelo de propósito xeral non pode coñecer de antemán. Un axente necesita aprender estes detalles para adaptar o seu traballo ao usuario, en lugar de esixir que o usuario explique o mesmo procedemento ou faga as mesmas correccións en cada sesión. A aprendizaxe continua faino posible: a experiencia das tarefas completadas debería orientar o xeito en que o axente aborda o traballo futuro.
Brain, o sistema de automellora personalizado de Computer, permite aprender a través da experiencia. Xa mantén unha wiki de coñecemento estruturada que conecta a información sobre o usuario e o seu traballo coas evidencias que a apoian. Os axentes en segundo plano actualizan a wiki a medida que se acumula nova información, de xeito que o sistema de memoria mellora co tempo.
As Skills de axente ofrecen outra forma de guiar o comportamento do axente sen cambiar o modelo subxacente. As Skills son instrucións reutilizables que guían un axente en tarefas concretas. Recollen requisitos e recursos de apoio para fluxos de traballo recorrentes que, doutro xeito, o axente tería que deducir da memoria ou recibir do usuario cada vez, o que mellora o rendemento en tarefas fóra da distribución. Tamén poden incluír scripts para procedementos repetitivos ou procesamentos que se poden expresar de forma fiable en código, para que o axente simplemente poida executar eses scripts cando corresponda. O harness fai que as Skills dispoñibles se poidan descubrir e carga as súas instrucións no contexto cando o axente as solicita. Os usuarios tamén poden especificar directamente na indicación que Skills usar.
Estamos estendendo Brain para que cree e actualice automaticamente Skills de axente. Brain baséase na memoria e no historial de sesións dun usuario para escribir e perfeccionar Skills persoais que recollen procedementos para os fluxos de traballo dese usuario. Aplicamos un enfoque semellante para actualizar as Skills integradas, que están dispoñibles para todos os usuarios de Perplexity, a partir de patróns agregados de todas as sesións.
Primeiro describimos o noso motor de automellora compartido por todos os tipos de Skills e explicamos como funciona para as Skills persoais e integradas.
Motor de automellora compartido
Unha Skill útil aínda ten que cambiar a medida que xorden novas preferencias ou a experiencia revela lagoas nas súas instrucións. Brain encárgase de descubrir como debería cambiar o comportamento do axente a próxima vez que Computer se atope cunha tarefa semellante e de determinar como debería cambiar a Skill para acadar mellor o resultado desexado.
Este proceso de mellora forma un bucle con catro etapas:
- Evidencias. Brain atopa sesións pasadas nas que se usou a Skill, especialmente aquelas nas que non deu o resultado esperado.
- Reflexión. Un axente de mellora estuda esas evidencias e propón actualizacións para a Skill.
- Verificación. As comprobacións confirman que a proposta está ben formada e que probablemente mellorará os resultados.
- Activación. Aplícase o cambio verificado. As sesións futuras usan a nova versión, o que achega evidencias para a seguinte rolda.
Este bucle depende de moitas capacidades existentes creadas para Computer e Brain. Aquí describimos a maquinaria compartida que fai posibles as evidencias e a reflexión. Os procedementos de verificación e activación dependen de se un cambio chega a un só usuario ou a todos os usuarios de Perplexity, polo que os tratamos nas seguintes seccións sobre os bucles de mellora das Skills persoais e integradas.
Evidencias de sesións pasadas
A reflexión require atopar sesións nas que se usou unha Skill, especialmente aquelas nas que hai marxe de mellora. O harness de Computer rexistra sinais que o fan posible. Cando o axente carga unha Skill, o harness rexistra un evento de carga de Skill que vincula a Skill coa sesión. Cando o axente detecta frustración do usuario, un comportamento defectuoso ou unha ineficiencia clara, rexistra un diagnóstico breve e estruturado, e o harness achega as Skills en uso. Isto resulta especialmente útil para as Skills integradas, onde calquera sesión podería ser relevante, polo que o sistema necesita un xeito de acoutar rapidamente o conxunto de evidencias.
Os axentes benefícianse de ter acceso ao rexistro completo, en lugar de emitir un xuízo baseado no resultado ou nun resumo breve. Computer almacena as sesións pasadas mediante representacións de traxectorias independentes do provedor que recollen mensaxes, chamadas a ferramentas, razoamentos e resultados. Tamén creamos un conxunto de ferramentas de liña de comandos que os axentes poden usar para descodificar estas traxectorias e reconstruír sesións completas. Isto permite que o axente de reflexión inspeccione cargas de Skills e chamadas a ferramentas concretas, e identifique os puntos exactos onde se produciron problemas ou se podían facer melloras.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlExemplo de uso das ferramentas internas de Computer para inspeccionar traxectorias. As rutas e os identificadores simplificáronse para ilustralo; os nomes dos comandos e os argumentos seguen a implementación.
Reflexión con axentes en segundo plano
Brain usa un equipo de axentes en segundo plano para optimizar continuamente a experiencia de cada usuario. Por exemplo, os axentes Dream revisan a experiencia acumulada para actualizar a wiki de coñecemento. Do mesmo xeito, a mellora das Skills impúlsana axentes de mellora que reflexionan sobre as evidencias de uso das Skills para propoñer actualizacións.
Cada axente traballa no seu propio contorno illado cun modelo de vangarda, as evidencias relevantes e a biblioteca actual de Skills, guiado por plugins e Skills. Decide que sesións ler, extrae unha lección concreta de cada unha e agrupa as leccións que requiren o mesmo comportamento reutilizable. Como unha corrección para un fallo pode contradicir outra instrución ou engadir traballo noutra parte, le a Skill completa antes de propoñer unha edición, e abstense cando as evidencias non a xustifican.
Os axentes de mellora execútanse no mesmo harness ca Computer. Fixemos o harness modular, de xeito que unha nova aplicación de axente pode reutilizar a súa maquinaria para o razoamento, o uso de ferramentas e a xestión do contexto, mentres define as súas propias instrucións e capacidades mediante plugins. Unha frota dedicada de procesos en segundo plano permítenos escalar este procesamento independentemente das tarefas en primeiro plano.
O bucle de mellora das Skills persoais
Primeiro describimos como se aplica o motor de automellora compartido ao bucle de mellora persoal, que converte o historial de tarefas dun usuario en Skills persoais novas ou actualizadas. A figura seguinte segue unha Skill de exemplo ao longo de todo o bucle, ata chegar á versión revisada.
Durante unha execución diaria de xeración, o axente de mellora revisa as sesións recentes do usuario para determinar que cambios paga a pena facer. Un conxunto de sesións recentes cárgase previamente no contorno illado, xunto cos datos de uso das Skills; o resto do historial de sesións do usuario pódese recuperar segundo se necesite. O axente de mellora tamén recibe o catálogo de Skills existentes. Non ten acceso a internet nin a outros conectores.
Os plugins e as Skills deseñados para o fluxo de traballo de mellora das Skills persoais guían o proceso de reflexión, baseándose nos nosos principios sobre o que fai que unha actualización sexa boa. Primeiro, o axente analiza as traxectorias completas para identificar unha lección concreta en cada sesión. Despois compara as leccións coas instrucións existentes e decide se actualizar unha Skill, crear unha ou non facer ningún cambio. Crear unha Skill require dúas aparicións independentes do mesmo comportamento reutilizable, mentres que unha actualización dunha Skill existente pode xustificarse cunha única aparición fundamentada.
O axente non modifica a Skill directamente. En cambio, elabora unha proposta na que rexistra os cambios previstos e o razoamento e as evidencias que os apoian. As actualizacións limítanse a un cambio por Skill e por execución. Comprobacións deterministas verifican que as propostas están ben formadas e que se poden aplicar á Skill. Por separado, un LLM xuíz audita unha mostra de propostas e comproba se as evidencias apoian o cambio e se a Skill resultante ofrece instrucións útiles.
A activación converte unha proposta verificada nun cambio na biblioteca de Skills do usuario, para que a nova versión se poida cargar e usar en sesións futuras. Como o harness carga un índice de todas as Skills dispoñibles ao comezo de cada sesión, unha biblioteca grande de Skills pode saturar a xanela de contexto e dificultar que o axente atope e cargue as Skills relevantes. Por iso, o sistema conserva só as Skills máis valiosas e retira as que non son necesarias para manter unha biblioteca pequena e coidada. En concreto, aplicamos un límite de 10 Skills creadas automaticamente por usuario. Cando se alcanza o límite, o axente de mellora aínda pode actualizar ou eliminar Skills, pero para engadir unha nova debe retirar unha existente e xustificar por que a nova Skill é máis útil para o traballo do usuario.
O bucle de mellora das Skills integradas
Tamén estendemos o marco de mellora continua de Skills de Brain ás Skills integradas. En lugar de usar a memoria e o historial de sesións dun usuario para mellorar as Skills persoais dese usuario, o bucle integrado usa evidencias de moitos usuarios para mellorar as Skills dispoñibles para todos os usuarios de Perplexity. Como calquera pode usar as Skills integradas, o listón para os cambios é alto; as actualizacións que empeoran o rendemento sen querer poden afectar a milleiros de sesións. O axente de mellora integrado só cambia versións candidatas das Skills. Para chegar á versión canónica da Skill, estas actualizacións deben pasar pola reprodución emparellada e pola revisión humana interna. Unha vez máis, seguimos o bucle completo cunha Skill de exemplo e as evidencias que a apoian.
O bucle de mellora integrado usa evidencias saneadas de sesións aptas para usarse no adestramento. Os diagnósticos e os sinais de fallo serven para seleccionar evidencias relevantes, xunto con sesións de control nas que se usou a Skill sen que saltase ningunha alerta. Unha canle de saneamento elimina as credenciais e outros segredos, así como os ficheiros e o contido multimedia anexos.
Un axente de xeración de escenarios converte as evidencias saneadas en escenarios de fallo concretos. Conserva só o contexto necesario para comprender o caso de fallo e mellorar a Skill; o resto da sesión reconstrúese de forma sintética, o que crea unha proba autónoma para o proceso de verificación. Os escenarios deben executarse sen aplicacións conectadas nin inicio de sesión; se a tarefa orixinal dependía dun conector, esa entrada substitúese por ficheiros sintéticos no escenario. Unha comprobación separada verifica que a Skill falla no escenario xerado.
A reflexión prodúcese mediante un traballo de revisión semanal que converte os fallos observados en correccións. Busca fallos das Skills que se repiten en varias sesións, para que unha soa sesión errónea non provoque unha edición. Cada fallo recorrente recibe unha execución separada do axente de mellora. O axente recibe unha descrición da causa raíz, xunto con rexistros saneados de sesións con éxito. Usa estas evidencias para escribir unha revisión candidata da Skill. Non recibe os escenarios de fallo completos, xa que estes se usan na avaliación.
Un traballo de reprodución separado usa os escenarios xerados para comparar as versións orixinal e revisada da Skill. Un LLM xuíz avalía as respostas e as traxectorias dun axente segundo a rúbrica de cada escenario. Para que unha proposta se aprobe, todos os escenarios de proba deben superarse coa Skill revisada, e polo menos un debe fallar coa orixinal. Os escenarios creados a partir das sesións de control tamén se reproducen, para confirmar que nada deixou de funcionar. Nos escenarios de fallo, o xuíz tamén comproba que se produciu o fallo específico, en lugar de tratar unha tarefa sen éxito como evidencia do mesmo problema.
O fluxo de traballo empaqueta os cambios candidatos e os resultados da avaliación nun pull request para a revisión humana interna. Os cambios só entran en vigor se un enxeñeiro aproba o PR.
Avaliacións
A mellora automática das Skills aumentou significativamente a creación e o uso de Skills. Brain escribiu máis de 80.000 Skills persoais para máis de 20.000 usuarios entre o 1 de agosto e o 14 de novembro. Ademais, entre o 4 de setembro e o 14 de novembro aplicáronse máis de 100.000 actualizacións automáticas a máis de 30.000 Skills persoais existentes.
Estas Skills abranguen unha ampla variedade de dominios e tarefas, desde verificar software ata conciliar nóminas ou deseñar figuras. Clasificamos as Skills xeradas por Brain segundo os fluxos de traballo que describen. Mesmo o dominio máis grande, a enxeñaría de software, representou só o 11 % das Skills; séguenlle investigación e informes (10,1 %), vendas e operacións (9,9 %) e finanzas e investimento (9,9 %).
Realizamos unha proba aleatorizada de oito semanas con tráfico de produción, na que comparamos usuarios coa mellora automática de Skills persoais activada cun grupo de control que a tiña desactivada. O 72,9 % das persoas coa mellora de Skills activada obtiveron polo menos unha nova Skill persoal, mentres que só o 6,5 % das persoas sen ela engadiron manualmente unha nova Skill. Máis da metade do grupo de tratamento (53 %) tivo unha Skill persoal cargada nunha conversa que iniciou, fronte ao 13 % do grupo de control; as súas quendas cargaron unha Skill persoal unhas 3,6 veces máis a miúdo. Entre os clientes que obtiveron unha Skill escrita por Brain, o 63 % volveu usar unha nunha conversa posterior dentro de catro semanas.
As nosas avaliacións buscan determinar como afectan estas Skills novas e actualizadas á execución das tarefas e ao rendemento xeral.
Os resultados do mesmo experimento aleatorizado mostran un descenso nos fallos das chamadas a ferramentas e na insatisfacción dos usuarios. Para os usuarios coa mellora automática de Skills, a taxa de fallos das chamadas a ferramentas baixou un 11 % en toda a actividade de Computer. Excluíndo as execucións en segundo plano do propio sistema, as chamadas a ferramentas seguiron fallando arredor dun 7 % menos, o que suxire que a fiabilidade mellorou no traballo do usuario. A insatisfacción dos usuarios, medida como os fíos con insatisfacción media ou alta por usuario, baixou un 7,6 %. Non observamos ningún cambio medible no custo nin no tempo de resposta. Estas primeiras probas mostran resultados prometedores, e esperamos que as melloras aumenten co tempo a medida que perfeccionemos o sistema e levemos as Skills que se automelloran a máis usuarios.
Os experimentos fóra de liña tamén rexistraron melloras en contextos máis restrinxidos. Nun experimento con SkillLearnBench, Computer usou traxectorias de tarefas anteriores para crear unha Skill persoal para cada unha de nove familias de tarefas. En 16 instancias de avaliación emparelladas, o éxito nas tarefas aumentou do 43,8 % sen Skills ao 62,5 % con Skills xeradas, o que achega evidencias de que as Skills derivadas da experiencia pasada poden mellorar o rendemento en tarefas repetidas. Nun estudo de caso dunha Skill integrada, as edicións dunha Skill de comercio electrónico levaron a un aumento da calidade do 6 % cun custo un 32 % inferior, cunha calidade medida por un xuíz automatizado.
Conclusión
As Skills que se automelloran dan a Computer outra forma de aprender do traballo que fai. Isto estende Brain para crear e manter memoria procedural, o que mellora o rendemento en fluxos de traballo complexos. A mellora automática das Skills xa aumentou o uso de Skills, reduciu as taxas de fallo das ferramentas e diminuíu a insatisfacción dos usuarios.
A mellora das Skills persoais xa está dispoñible para todos os subscritores de Max nos EUA. Está activada de forma predeterminada para os usuarios aptos, pero pódese desactivar. A pestana Plugins mostra as Skills dispoñibles, identifica as creadas por Brain e permite que os usuarios escollan que Skills están activadas.
A continuación, estenderemos a mellora a máis clases de Skills, incluídas as Skills creadas polos usuarios, as Skills compartidas dentro de proxectos e as Skills da organización. Seguiremos perfeccionando a canle de mellora e as súas avaliacións para que as revisións dean lugar a procedementos máis fiables e mellores resultados.
Cita
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}