Skills que se mejoran a sí mismas
Cómo Perplexity Brain aprende procedimientos recurrentes a partir de la experiencia y los mantiene actualizados.
Introducción
Los usuarios tienen preferencias y requisitos específicos de sus flujos de trabajo que un modelo de uso general no puede conocer de antemano. Un agente necesita aprender estos detalles para adaptar su trabajo al usuario, en lugar de exigirle que explique el mismo procedimiento o haga las mismas correcciones en cada sesión. El aprendizaje continuo lo hace posible: la experiencia de las tareas completadas debe orientar la forma en que el agente aborda el trabajo futuro.
Brain, el sistema personalizado de automejora de Computer, permite aprender a través de la experiencia. Ya mantiene una wiki de conocimiento estructurada que conecta la información sobre el usuario y su trabajo con la evidencia que la respalda. Los agentes en segundo plano actualizan la wiki a medida que se acumula nueva información, por lo que el sistema de memoria mejora con el tiempo.
Las Skills de agente ofrecen otra forma de guiar el comportamiento de un agente sin cambiar el modelo subyacente. Las Skills son instrucciones reutilizables que guían a un agente en tareas concretas. Capturan los requisitos y los recursos de apoyo de flujos de trabajo recurrentes que, de otro modo, el agente tendría que inferir de la memoria o recibir del usuario cada vez, lo que mejora el rendimiento en tareas fuera de distribución. También pueden incluir scripts para procedimientos repetitivos o procesamientos que se pueden expresar de forma confiable en código, para que el agente simplemente ejecute esos scripts cuando correspondan. El harness hace que las Skills disponibles se puedan descubrir y carga sus instrucciones en el contexto cuando el agente las solicita. Los usuarios también pueden especificar directamente en el prompt qué Skills usar.
Estamos extendiendo Brain para crear y actualizar Skills de agente automáticamente. Brain se basa en la memoria y el historial de sesiones de un usuario para escribir y perfeccionar Skills personales que capturan procedimientos para los flujos de trabajo de ese usuario. Aplicamos un enfoque similar para actualizar las Skills integradas, que están disponibles para todos los usuarios de Perplexity, con base en patrones agregados de todas las sesiones.
Primero describimos nuestro motor de automejora compartido por todos los tipos de Skills y explicamos cómo funciona para las Skills personales e integradas.
Motor de automejora compartido
Una Skill útil aún necesita cambiar a medida que surgen nuevas preferencias o la experiencia revela carencias en sus instrucciones. Brain se encarga de descubrir cómo debería cambiar el comportamiento del agente la próxima vez que Computer se enfrente a una tarea similar y de determinar cómo debería cambiar la Skill para lograr mejor el resultado deseado.
Este proceso de mejora forma un ciclo de cuatro etapas:
- Evidencia. Brain encuentra sesiones anteriores en las que se usó la Skill, en especial aquellas en las que no estuvo a la altura.
- Reflexión. Un agente de mejora estudia esa evidencia y propone actualizaciones para la Skill.
- Verificación. Las comprobaciones confirman que la propuesta está bien formada y que probablemente mejore los resultados.
- Activación. Se aplica el cambio verificado. Las sesiones futuras usan la nueva versión, lo que aporta evidencia para la siguiente ronda.
Este ciclo se apoya en muchas capacidades existentes creadas para Computer y Brain. Aquí describimos la maquinaria compartida que hace posibles la evidencia y la reflexión. Los procedimientos de verificación y activación dependen de si un cambio llega a un solo usuario o a todos los usuarios de Perplexity, por lo que los abordamos en las siguientes secciones sobre los ciclos de mejora de Skills personales e integradas.
Evidencia de sesiones anteriores
La reflexión requiere encontrar sesiones en las que se usó una Skill, en especial aquellas con margen de mejora. El harness de Computer registra señales que lo hacen posible. Cuando el agente carga una Skill, el harness registra un evento de carga de Skill que vincula la Skill con la sesión. Cuando el agente detecta frustración del usuario, comportamiento defectuoso o una ineficiencia evidente, registra un diagnóstico breve y estructurado, y el harness adjunta las Skills en uso. Estos registros son especialmente útiles para las Skills integradas, en las que cualquier sesión podría ser relevante, por lo que el sistema necesita una forma de acotar rápidamente el conjunto de evidencia.
Los agentes se benefician de tener acceso al registro completo, en lugar de emitir un juicio basado en el resultado o en un resumen breve. Computer almacena las sesiones anteriores mediante representaciones de trayectorias independientes del proveedor que capturan mensajes, llamadas a herramientas, razonamiento y resultados. También creamos un conjunto de herramientas de línea de comandos que los agentes pueden usar para decodificar estas trayectorias y reconstruir sesiones completas. Esto permite que el agente de reflexión inspeccione cargas de Skills y llamadas a herramientas específicas, e identifique los puntos exactos en los que surgieron problemas o en los que se podían hacer mejoras.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlEjemplo de uso de las herramientas internas de inspección de trayectorias de Computer. Las rutas y los identificadores están simplificados con fines ilustrativos; los nombres de los comandos y los argumentos siguen la implementación.
Reflexión con agentes en segundo plano
Brain usa un equipo de agentes en segundo plano para optimizar continuamente la experiencia de cada usuario. Por ejemplo, los agentes Dream revisan la experiencia acumulada para actualizar la wiki de conocimiento. Del mismo modo, la mejora de Skills funciona con agentes de mejora que reflexionan sobre la evidencia del uso de Skills para proponer actualizaciones.
Cada agente trabaja en su propio entorno aislado con un modelo de frontera, la evidencia relevante y la biblioteca actual de Skills, guiado por plugins y Skills. Decide qué sesiones leer, extrae una lección concreta de cada una y agrupa las lecciones que requieren el mismo comportamiento reutilizable. Como la corrección de una falla puede contradecir otra instrucción o agregar trabajo en otra parte, lee la Skill completa antes de proponer una edición y se abstiene cuando la evidencia no la respalda.
Los agentes de mejora se ejecutan en el mismo harness que Computer. Hicimos que el harness fuera modular, de modo que una nueva aplicación de agente pueda reutilizar su maquinaria para el razonamiento, el uso de herramientas y la gestión del contexto, mientras define sus propias instrucciones y capacidades mediante plugins. Una flota dedicada de procesos en segundo plano nos permite escalar este procesamiento de forma independiente de las tareas en primer plano.
El ciclo de mejora de Skills personales
Primero describimos cómo se aplica el motor de automejora compartido al ciclo de mejora personal, que convierte el historial de tareas de un usuario en Skills personales nuevas o actualizadas. La siguiente figura sigue una Skill de ejemplo a lo largo del ciclo completo y termina en la versión revisada.
Durante una ejecución de generación diaria, el agente de mejora revisa las sesiones recientes del usuario para determinar qué cambios vale la pena hacer. Un conjunto de sesiones recientes se precarga en el entorno aislado, junto con los datos de uso de Skills; el resto del historial de sesiones del usuario se puede recuperar según sea necesario. El agente de mejora también recibe el catálogo de Skills existentes. No tiene acceso a internet ni a otros conectores.
Los plugins y las Skills diseñados para el flujo de trabajo de mejora de Skills personales guían el proceso de reflexión, con base en nuestros principios sobre lo que hace que una actualización sea buena. Primero, el agente analiza las trayectorias completas para identificar una lección concreta en cada sesión. Luego compara las lecciones con las instrucciones existentes y decide si actualizar una Skill, crear una o no hacer ningún cambio. Crear una Skill requiere dos casos independientes del mismo comportamiento reutilizable, mientras que una actualización de una Skill existente puede justificarse con un solo caso fundamentado.
El agente no modifica la Skill directamente. En su lugar, genera una propuesta en la que registra los cambios previstos, junto con el razonamiento y la evidencia que los respaldan. Las actualizaciones se limitan a un cambio por Skill en cada ejecución. Las comprobaciones deterministas verifican que las propuestas estén bien formadas y se puedan aplicar a la Skill. Por separado, un juez LLM audita una muestra de propuestas y comprueba si la evidencia respalda el cambio y si la Skill resultante ofrece instrucciones útiles.
La activación convierte una propuesta verificada en un cambio en la biblioteca de Skills del usuario, de modo que la nueva versión se pueda cargar y usar en sesiones futuras. Como el harness carga un índice de todas las Skills disponibles al inicio de cada sesión, una biblioteca grande de Skills puede saturar la ventana de contexto y dificultar que el agente encuentre y cargue las Skills relevantes. Por ello, el sistema conserva solo las Skills más valiosas y retira las que no son necesarias para mantener una biblioteca pequeña y seleccionada. En concreto, aplicamos un límite de 10 Skills creadas automáticamente por usuario. Al llegar al límite, el agente de mejora todavía puede actualizar o eliminar Skills, pero para agregar una nueva debe retirar una existente y justificar por qué la nueva Skill es más útil para el trabajo del usuario.
El ciclo de mejora de Skills integradas
También extendemos el marco de mejora continua de Skills de Brain a las Skills integradas. En lugar de usar la memoria y el historial de sesiones de un usuario para mejorar las Skills personales de ese usuario, el ciclo integrado usa evidencia de muchos usuarios para mejorar las Skills disponibles para todos los usuarios de Perplexity. Como cualquier persona puede usar las Skills integradas, el estándar para los cambios es alto; las actualizaciones que empeoran el rendimiento sin querer pueden afectar a miles de sesiones. El agente de mejora de Skills integradas solo modifica versiones candidatas de las Skills. Para llegar a la versión canónica de la Skill, estas actualizaciones deben pasar por la reproducción pareada y una revisión humana interna. Una vez más, seguimos el ciclo completo con una Skill de ejemplo y la evidencia que la respalda.
El ciclo de mejora integrado usa evidencia depurada de sesiones aptas para usarse en entrenamiento. Los diagnósticos y las señales de falla se usan para seleccionar la evidencia relevante, junto con sesiones de control en las que se usó la Skill sin que se generara ninguna alerta. Un proceso de depuración elimina credenciales y otros secretos, así como archivos y contenido multimedia adjuntos.
Un agente de generación de escenarios convierte la evidencia depurada en escenarios de falla concretos. Conserva solo el contexto necesario para entender el caso de falla y mejorar la Skill; el resto de la sesión se reconstruye de forma sintética, lo que crea una prueba autónoma para el proceso de verificación. Los escenarios deben ejecutarse sin apps conectadas ni inicio de sesión; si la tarea original dependía de un conector, esa entrada se reemplaza con archivos sintéticos en el escenario. Una comprobación independiente verifica que la Skill falle en el escenario generado.
La reflexión se lleva a cabo mediante un trabajo de revisión semanal que convierte las fallas observadas en correcciones. Busca fallas de Skills que se repitan en varias sesiones, para que una sola sesión defectuosa no provoque una edición. Cada falla recurrente obtiene una ejecución independiente del agente de mejora. El agente recibe una descripción de la causa raíz, junto con registros depurados de sesiones exitosas. Usa esta evidencia para escribir una revisión candidata de la Skill. No recibe los escenarios de falla completos, ya que se usan en la evaluación.
Un trabajo de reproducción independiente usa los escenarios generados para comparar la versión original y la revisada de la Skill. Un juez LLM evalúa las respuestas y trayectorias de un agente según la rúbrica de cada escenario. Para que una propuesta se apruebe, todos los escenarios de prueba deben superarse con la Skill revisada y al menos uno debe fallar con la original. Los escenarios creados a partir de las sesiones de control también se reproducen para confirmar que nada haya dejado de funcionar. En los escenarios de falla, el juez también comprueba que haya ocurrido la falla específica, en lugar de tratar una tarea fallida como evidencia del mismo problema.
El flujo de trabajo empaqueta los cambios candidatos y los resultados de la evaluación en un pull request para revisión humana interna. Los cambios solo entran en vigor si un ingeniero aprueba el PR.
Evaluaciones
La mejora automática de Skills ha aumentado significativamente la creación y el uso de Skills. Brain escribió más de 80,000 Skills personales para más de 20,000 usuarios entre el 1 de agosto y el 14 de noviembre. Además, se aplicaron más de 100,000 actualizaciones automáticas a más de 30,000 Skills personales existentes entre el 4 de septiembre y el 14 de noviembre.
Estas Skills abarcan una amplia variedad de dominios y tareas, desde verificar software hasta conciliar nóminas o diseñar figuras. Clasificamos las Skills generadas por Brain según los flujos de trabajo que describen. Incluso el dominio más grande, la ingeniería de software, representó solo el 11% de las Skills; le siguen investigación y resúmenes informativos (10.1%), ventas y operaciones (9.9%), y finanzas e inversiones (9.9%).
Realizamos una prueba aleatorizada de ocho semanas con tráfico de producción, en la que comparamos a usuarios con la mejora automática de Skills personales activada con un grupo de control que la tenía desactivada. El 72.9% de las personas con la mejora de Skills activada obtuvo al menos una nueva Skill personal, mientras que solo el 6.5% de las personas sin ella agregó manualmente una nueva Skill. Más de la mitad del grupo de tratamiento (53%) tuvo una Skill personal cargada en una conversación que inició, frente al 13% del grupo de control; sus turnos cargaron una Skill personal aproximadamente 3.6 veces más a menudo. Entre los clientes que obtuvieron una Skill escrita por Brain, el 63% volvió a usar una en una conversación posterior en un plazo de cuatro semanas.
Nuestras evaluaciones buscan determinar cómo influyen estas Skills nuevas y actualizadas en la ejecución de tareas y en el rendimiento general.
Los resultados del mismo experimento aleatorizado muestran una disminución en las fallas de llamadas a herramientas y en la insatisfacción de los usuarios. Para los usuarios con mejora automática de Skills, la tasa de fallas de llamadas a herramientas bajó un 11% en toda la actividad de Computer. Si se excluyen las ejecuciones en segundo plano del propio sistema, las llamadas a herramientas aun así fallaron alrededor de un 7% menos, lo que sugiere que la confiabilidad mejoró en el trabajo del usuario. La insatisfacción de los usuarios, medida como los hilos con insatisfacción media o alta por usuario, bajó un 7.6%. No observamos ningún cambio medible en el costo ni en el tiempo de respuesta. Estas primeras pruebas muestran resultados prometedores, y esperamos que las mejoras aumenten con el tiempo a medida que perfeccionemos el sistema y extendamos las Skills de automejora a más usuarios.
Los experimentos offline también han registrado mejoras en entornos más acotados. En un experimento de SkillLearnBench, Computer usó trayectorias de tareas anteriores para crear una Skill personal para cada una de nueve familias de tareas. En 16 instancias de evaluación pareadas, el éxito de las tareas aumentó del 43.8% sin Skills al 62.5% con Skills generadas, lo que aporta evidencia de que las Skills derivadas de la experiencia previa pueden mejorar el rendimiento en tareas repetidas. En un caso de estudio de una Skill integrada, las ediciones a una Skill de comercio electrónico produjeron un aumento del 6% en la calidad con un costo un 32% menor, según la calidad medida por un juez automatizado.
Conclusión
Las Skills de automejora le dan a Computer otra forma de aprender del trabajo que realiza. Extienden Brain para crear y mantener memoria procedimental, lo que mejora el rendimiento en flujos de trabajo complejos. La mejora automática de Skills ya ha aumentado el uso de Skills, reducido las tasas de fallas de herramientas y disminuido la insatisfacción de los usuarios.
La mejora de Skills personales ya está disponible para todos los suscriptores de Max en EE. UU. Está activada de forma predeterminada para los usuarios elegibles, pero se puede desactivar. La pestaña Plugins muestra las Skills disponibles, identifica las creadas por Brain y permite a los usuarios elegir qué Skills están habilitadas.
A continuación, ampliaremos la mejora a más clases de Skills, incluidas las Skills creadas por los usuarios, las Skills compartidas dentro de proyectos y las Skills de la organización. Seguiremos perfeccionando el proceso de mejora y sus evaluaciones para que las revisiones den lugar a procedimientos más confiables y mejores resultados.
Cita
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}