Skills que se mejoran a sí mismas
Cómo Perplexity Brain aprende procedimientos recurrentes a partir de la experiencia y los mantiene actualizados.
Introducción
Los usuarios tienen preferencias y requisitos específicos de sus flujos de trabajo que un modelo de uso general no puede conocer de antemano. Un agente necesita aprender estos detalles para adaptar su trabajo al usuario, en lugar de obligarle a explicar el mismo procedimiento o a hacer las mismas correcciones en cada sesión. El aprendizaje continuo lo hace posible: la experiencia de las tareas completadas debería influir en cómo el agente aborda el trabajo futuro.
Brain, el sistema de automejora personalizada de Computer, permite aprender a través de la experiencia. Ya mantiene una wiki de conocimiento estructurada que conecta la información sobre el usuario y su trabajo con las evidencias que la respaldan. Los agentes en segundo plano actualizan la wiki a medida que se acumula nueva información, por lo que el sistema de memoria mejora con el tiempo.
Las Skills de agente ofrecen otra forma de guiar el comportamiento de un agente sin cambiar el modelo subyacente. Las Skills son instrucciones reutilizables que guían a un agente en tareas concretas. Recogen los requisitos y los recursos de apoyo de flujos de trabajo recurrentes que, de otro modo, el agente tendría que deducir de la memoria o recibir del usuario cada vez, lo que mejora el rendimiento en tareas fuera de distribución. También pueden incluir scripts para procedimientos repetitivos o procesamientos que se pueden expresar de forma fiable en código, de modo que el agente simplemente ejecute esos scripts cuando corresponda. El harness permite descubrir las Skills disponibles y carga sus instrucciones en el contexto cuando el agente las solicita. Los usuarios también pueden especificar directamente en el prompt qué Skills usar.
Estamos ampliando Brain para que cree y actualice Skills de agente automáticamente. Brain se basa en la memoria y el historial de sesiones de un usuario para escribir y perfeccionar Skills personales que recogen los procedimientos de sus flujos de trabajo. Aplicamos un enfoque similar para actualizar las Skills integradas, que están disponibles para todos los usuarios de Perplexity, a partir de patrones agregados de todas las sesiones.
Primero describimos nuestro motor de automejora, común a todos los tipos de Skills, y explicamos cómo funciona con las Skills personales e integradas.
Motor de automejora compartido
Incluso una Skill útil debe cambiar a medida que surgen nuevas preferencias o la experiencia revela lagunas en sus instrucciones. Brain se encarga de descubrir cómo debería cambiar el comportamiento del agente la próxima vez que Computer se enfrente a una tarea similar y de determinar cómo debería cambiar la Skill para lograr mejor el resultado deseado.
Este proceso de mejora forma un bucle con cuatro etapas:
- Evidencias. Brain busca sesiones anteriores en las que se usó la Skill, sobre todo aquellas en las que no estuvo a la altura.
- Reflexión. Un agente de mejora estudia esas evidencias y propone actualizaciones de la Skill.
- Verificación. Una serie de comprobaciones confirman que la propuesta está bien formada y que probablemente mejorará los resultados.
- Activación. Se aplica el cambio verificado. Las sesiones futuras usan la nueva versión, lo que aporta evidencias para la siguiente ronda.
Este bucle se apoya en muchas capacidades existentes creadas para Computer y Brain. Aquí describimos la maquinaria compartida que hace posibles las evidencias y la reflexión. Los procedimientos de verificación y activación dependen de si un cambio llega a un solo usuario o a todos los usuarios de Perplexity, por lo que los tratamos en las secciones siguientes, dedicadas a los bucles de mejora de Skills personales e integradas.
Evidencias de sesiones anteriores
La reflexión requiere encontrar sesiones en las que se usó una Skill, sobre todo aquellas en las que hay margen de mejora. El harness de Computer registra señales que lo hacen posible. Cuando el agente carga una Skill, el harness registra un evento de carga de Skill que vincula la Skill con la sesión. Cuando el agente detecta frustración del usuario, un comportamiento defectuoso o una ineficiencia evidente, registra un diagnóstico breve y estructurado, y el harness adjunta las Skills en uso. Estos diagnósticos son especialmente útiles para las Skills integradas, en las que cualquier sesión podría ser relevante, por lo que el sistema necesita una forma de acotar rápidamente el conjunto de evidencias.
A los agentes les beneficia tener acceso al registro completo, en lugar de emitir un juicio a partir del resultado o de un breve resumen. Computer almacena las sesiones anteriores mediante representaciones de trayectorias independientes del proveedor que recogen mensajes, llamadas a herramientas, razonamientos y resultados. También hemos creado un conjunto de herramientas de línea de comandos que los agentes pueden usar para decodificar estas trayectorias y reconstruir sesiones completas. Esto permite al agente de reflexión inspeccionar cargas de Skills y llamadas a herramientas concretas, e identificar los puntos exactos en los que se produjeron problemas o en los que se podrían introducir mejoras.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlEjemplo de uso de las herramientas internas de inspección de trayectorias de Computer. Las rutas y los identificadores se han simplificado a modo ilustrativo; los nombres de los comandos y los argumentos se corresponden con la implementación.
Reflexión con agentes en segundo plano
Brain utiliza un equipo de agentes en segundo plano para optimizar continuamente la experiencia de cada usuario. Por ejemplo, los agentes Dream revisan la experiencia acumulada para actualizar la wiki de conocimiento. Del mismo modo, la mejora de Skills se basa en agentes de mejora que reflexionan sobre las evidencias de uso de las Skills para proponer actualizaciones.
Cada agente trabaja en su propio entorno aislado con un modelo de frontera, las evidencias pertinentes y la biblioteca de Skills actual, guiado por plugins y Skills. Decide qué sesiones leer, extrae una lección concreta de cada una y agrupa las lecciones que requieren el mismo comportamiento reutilizable. Como la corrección de un fallo puede contradecir otra instrucción o añadir trabajo en otro lugar, lee la Skill completa antes de proponer una modificación y se abstiene cuando las evidencias no la justifican.
Los agentes de mejora se ejecutan en el mismo harness que Computer. Hicimos que el harness fuera modular, de modo que una nueva aplicación de agente puede reutilizar su maquinaria de razonamiento, uso de herramientas y gestión del contexto, al tiempo que define sus propias instrucciones y capacidades mediante plugins. Una flota dedicada de procesos en segundo plano nos permite escalar este procesamiento con independencia de las tareas en primer plano.
El bucle de mejora de Skills personales
En primer lugar, describimos cómo se aplica el motor de automejora compartido al bucle de mejora personal, que convierte el historial de tareas de un usuario en Skills personales nuevas o actualizadas. La siguiente figura sigue una Skill de ejemplo a lo largo de todo el bucle, hasta llegar a la versión revisada.
Durante una ejecución de generación diaria, el agente de mejora revisa las sesiones recientes del usuario para determinar qué cambios merece la pena hacer. Un conjunto de sesiones recientes se precarga en el entorno aislado, junto con datos de uso de las Skills; el resto del historial de sesiones del usuario se puede recuperar según sea necesario. El agente de mejora también recibe el catálogo de Skills existentes. No tiene acceso a internet ni a otros conectores.
Los plugins y las Skills diseñados para el flujo de trabajo de mejora de Skills personales guían el proceso de reflexión, basándose en nuestros principios sobre lo que constituye una buena actualización. Primero, el agente analiza las trayectorias completas para identificar una lección concreta en cada sesión. Después, compara las lecciones con las instrucciones existentes y decide si actualizar una Skill, crear una o no hacer ningún cambio. Para crear una Skill se necesitan dos casos independientes del mismo comportamiento reutilizable, mientras que una actualización de una Skill existente puede justificarse con un único caso bien fundamentado.
El agente no modifica la Skill directamente. En su lugar, genera una propuesta en la que registra los cambios previstos, junto con el razonamiento y las evidencias que los respaldan. Las actualizaciones se limitan a un cambio por Skill en cada ejecución. Unas comprobaciones deterministas verifican que las propuestas estén bien formadas y se puedan aplicar a la Skill. Por otro lado, un juez LLM audita una muestra de propuestas y comprueba si las evidencias respaldan el cambio y si la Skill resultante ofrece instrucciones útiles.
La activación convierte una propuesta verificada en un cambio en la biblioteca de Skills del usuario, para que la nueva versión pueda cargarse y usarse en sesiones futuras. Como el harness carga un índice de todas las Skills disponibles al inicio de cada sesión, una biblioteca de Skills muy grande puede saturar la ventana de contexto y dificultar que el agente encuentre y cargue las Skills pertinentes. Por eso, el sistema conserva solo las Skills más valiosas y retira las que no son necesarias para mantener una biblioteca pequeña y seleccionada. En concreto, aplicamos un límite de 10 Skills creadas automáticamente por usuario. Cuando se alcanza ese límite, el agente de mejora puede seguir actualizando o eliminando Skills, pero para añadir una nueva debe retirar una existente y justificar por qué la nueva es más útil para el trabajo del usuario.
El bucle de mejora de Skills integradas
También ampliamos el marco de mejora continua de Skills de Brain a las Skills integradas. En lugar de usar la memoria y el historial de sesiones de un usuario para mejorar sus Skills personales, el bucle integrado utiliza evidencias de muchos usuarios para mejorar las Skills disponibles para todos los usuarios de Perplexity. Como cualquiera puede usar las Skills integradas, el listón para los cambios es alto: las actualizaciones que empeoran el rendimiento de forma involuntaria pueden afectar a miles de sesiones. El agente de mejora de Skills integradas solo modifica versiones candidatas de las Skills. Para llegar a la versión canónica de la Skill, estas actualizaciones deben superar la reproducción emparejada y una revisión humana interna. Una vez más, seguimos el bucle completo con una Skill de ejemplo y las evidencias que la respaldan.
El bucle de mejora integrado utiliza evidencias saneadas de sesiones aptas para usarse en el entrenamiento. Los diagnósticos y las señales de fallo se usan para seleccionar evidencias pertinentes, junto con sesiones de control en las que se usó la Skill sin que se activara ninguna alerta. Un proceso de saneamiento elimina las credenciales y otros secretos, así como los archivos y contenidos multimedia adjuntos.
Un agente de generación de escenarios convierte las evidencias saneadas en escenarios de fallo concretos. Conserva solo el contexto necesario para entender el caso de fallo y mejorar la Skill; el resto de la sesión se reconstruye de forma sintética, lo que crea una prueba autónoma para el proceso de verificación. Los escenarios deben ejecutarse sin aplicaciones conectadas ni inicio de sesión; si la tarea original dependía de un conector, esa entrada se sustituye por archivos sintéticos en el escenario. Una comprobación independiente verifica que la Skill falla en el escenario generado.
La reflexión se produce mediante un trabajo de revisión semanal que convierte los fallos observados en correcciones. Busca fallos de Skills que se repitan en varias sesiones, para que una sola sesión defectuosa no motive una modificación. Cada fallo recurrente da lugar a una ejecución independiente del agente de mejora. El agente recibe una descripción de la causa raíz, junto con registros saneados de sesiones satisfactorias. Utiliza estas evidencias para redactar una revisión candidata de la Skill. No recibe los escenarios de fallo completos, ya que se usan en la evaluación.
Un trabajo de reproducción independiente usa los escenarios generados para comparar la versión original y la revisada de la Skill. Un juez LLM evalúa las respuestas y las trayectorias de un agente según la rúbrica de cada escenario. Para que una propuesta se apruebe, todos los escenarios de prueba deben superarse con la Skill revisada y al menos uno debe fallar con la original. Los escenarios creados a partir de las sesiones de control también se reproducen para confirmar que nada ha dejado de funcionar. En los escenarios de fallo, el juez también comprueba que se produjo el fallo específico, en lugar de tratar una tarea fallida como evidencia del mismo problema.
El flujo de trabajo empaqueta los cambios candidatos y los resultados de la evaluación en una pull request para su revisión humana interna. Los cambios solo entran en vigor si un ingeniero aprueba la PR.
Evaluaciones
La mejora automática de Skills ha aumentado considerablemente la creación y el uso de Skills. Brain escribió más de 80.000 Skills personales para más de 20.000 usuarios entre el 1 de agosto y el 14 de noviembre. Además, se aplicaron más de 100.000 actualizaciones automáticas a más de 30.000 Skills personales existentes entre el 4 de septiembre y el 14 de noviembre.
Estas Skills abarcan una amplia variedad de ámbitos y tareas, desde verificar software hasta conciliar nóminas o diseñar figuras. Clasificamos las Skills generadas por Brain según los flujos de trabajo que describen. Incluso el ámbito más grande, la ingeniería de software, representó solo el 11 % de las Skills; le siguen investigación e informes (10,1 %), ventas y operaciones (9,9 %) y finanzas e inversión (9,9 %).
Realizamos una prueba aleatorizada de ocho semanas con tráfico de producción en la que comparamos a los usuarios con la mejora automática de Skills personales activada con un grupo de control que la tenía desactivada. El 72,9 % de las personas con la mejora de Skills activada obtuvo al menos una Skill personal nueva, mientras que solo el 6,5 % de las personas sin ella añadió manualmente una Skill nueva. Más de la mitad del grupo de tratamiento (53 %) tuvo una Skill personal cargada en una conversación iniciada por ellos, frente al 13 % del grupo de control; sus turnos cargaron una Skill personal unas 3,6 veces más a menudo. Entre los clientes que obtuvieron una Skill escrita por Brain, el 63 % volvió a usar una en una conversación posterior en un plazo de cuatro semanas.
Nuestras evaluaciones buscan determinar cómo influyen estas Skills nuevas y actualizadas en la ejecución de las tareas y en el rendimiento general.
Los resultados del mismo experimento aleatorizado muestran una disminución de los fallos en las llamadas a herramientas y de la insatisfacción de los usuarios. En el caso de los usuarios con mejora automática de Skills, la tasa de fallos en las llamadas a herramientas se redujo un 11 % en toda la actividad de Computer. Si se excluyen las ejecuciones en segundo plano del propio sistema, las llamadas a herramientas siguieron fallando aproximadamente un 7 % menos, lo que sugiere que la fiabilidad mejoró en el trabajo del usuario. La insatisfacción de los usuarios, medida como el número de hilos con insatisfacción media o alta por usuario, se redujo un 7,6 %. No observamos ningún cambio apreciable en el coste ni en el tiempo de respuesta. Estas primeras pruebas muestran resultados prometedores, y esperamos que las mejoras aumenten con el tiempo a medida que perfeccionemos el sistema y llevemos las Skills de automejora a más usuarios.
Los experimentos offline también han registrado mejoras en entornos más acotados. En un experimento de SkillLearnBench, Computer utilizó trayectorias de tareas anteriores para crear una Skill personal para cada una de nueve familias de tareas. En 16 instancias de evaluación emparejadas, la tasa de éxito de las tareas aumentó del 43,8 % sin Skills al 62,5 % con Skills generadas, lo que aporta indicios de que las Skills derivadas de la experiencia previa pueden mejorar el rendimiento en tareas repetidas. En un caso práctico de Skills integradas, las modificaciones de una Skill de comercio electrónico supusieron un aumento de la calidad del 6 % con un coste un 32 % menor, midiendo la calidad mediante un juez automatizado.
Conclusión
Las Skills de automejora ofrecen a Computer otra forma de aprender del trabajo que realiza. Amplían Brain para crear y mantener memoria procedimental, lo que mejora el rendimiento en flujos de trabajo complejos. La mejora automática de Skills ya ha aumentado el uso de Skills, reducido las tasas de fallo de las herramientas y disminuido la insatisfacción de los usuarios.
La mejora de Skills personales ya está disponible para todos los suscriptores de Max en EE. UU. Está activada de forma predeterminada para los usuarios aptos, pero se puede desactivar. La pestaña Plugins muestra las Skills disponibles, identifica las creadas por Brain y permite a los usuarios elegir qué Skills están activadas.
A continuación, ampliaremos la mejora a más clases de Skills, incluidas las creadas por los usuarios, las compartidas dentro de proyectos y las de organizaciones. Seguiremos perfeccionando el proceso de mejora y sus evaluaciones para que las revisiones den lugar a procedimientos más fiables y mejores resultados.
Cita
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}