스스로 개선되는 스킬
Perplexity Brain이 경험을 통해 반복되는 절차를 학습하고 최신 상태로 유지하는 방법.
소개
사용자에게는 범용 모델이 미리 알 수 없는 워크플로우별 선호와 요구 사항이 있습니다. 에이전트는 사용자가 매 세션마다 같은 절차를 설명하거나 같은 수정을 반복하게 하는 대신, 이러한 세부 사항을 학습해 사용자에게 맞게 작업을 조정해야 합니다. 지속 학습은 이를 가능하게 합니다. 완료된 작업에서 얻은 경험이 에이전트가 향후 작업에 접근하는 방식에 반영되어야 합니다.
Computer의 개인화된 자가 개선 시스템인 Brain은 경험을 통한 학습을 가능하게 합니다. Brain은 이미 사용자와 사용자의 작업에 관한 정보를 이를 뒷받침하는 근거와 연결하는 구조화된 지식 위키를 관리하고 있습니다. 새로운 정보가 쌓이면 백그라운드 에이전트가 위키를 업데이트하므로 메모리 시스템은 시간이 지날수록 개선됩니다.
에이전트 스킬은 기반 모델을 변경하지 않고도 에이전트의 행동을 안내하는 또 다른 방법입니다. 스킬은 에이전트가 특정 작업을 수행하도록 안내하는 재사용 가능한 지침입니다. 스킬에는 반복되는 워크플로우의 요구 사항과 지원 리소스가 담겨 있어, 에이전트가 매번 메모리를 바탕으로 추론하거나 사용자에게서 받아야 했던 정보를 제공하므로 분포 외 작업의 성능이 향상됩니다. 또한 반복적인 절차나 코드로 안정적으로 표현할 수 있는 처리를 위한 스크립트를 포함할 수 있어, 해당하는 경우 에이전트가 그 스크립트를 실행하기만 하면 됩니다. 하네스는 사용 가능한 스킬을 검색할 수 있게 하고, 에이전트가 요청하면 스킬의 지침을 컨텍스트에 로드합니다. 사용자는 프롬프트에서 사용할 스킬을 직접 지정할 수도 있습니다.
Brain을 확장해 에이전트 스킬을 자동으로 생성하고 업데이트합니다. Brain은 사용자의 메모리와 세션 기록을 바탕으로 해당 사용자의 워크플로우 절차를 담은 개인 스킬을 작성하고 다듬습니다. 모든 Perplexity 사용자가 이용할 수 있는 내장 스킬에도 유사한 방식을 적용해, 전체 세션의 집계 패턴을 바탕으로 업데이트합니다.
먼저 모든 스킬 유형에 공통으로 사용되는 자가 개선 엔진을 설명하고, 이 엔진이 개인 스킬과 내장 스킬에서 어떻게 작동하는지 살펴봅니다.
공유 자가 개선 엔진
유용한 스킬이라도 새로운 선호가 생기거나 경험을 통해 지침의 빈틈이 드러나면 계속 바뀌어야 합니다. Brain은 Computer가 다음에 비슷한 작업을 만났을 때 에이전트의 행동이 어떻게 달라져야 하는지 파악하고, 원하는 결과를 더 잘 달성하려면 스킬을 어떻게 바꿔야 하는지 결정하는 역할을 합니다.
이 개선 과정은 다음 네 단계로 이루어진 루프를 형성합니다:
- 근거. Brain은 스킬이 사용된 과거 세션, 특히 스킬이 기대에 미치지 못한 세션을 찾습니다.
- 성찰. 개선 에이전트가 이 근거를 분석하고 스킬 업데이트를 제안합니다.
- 검증. 제안이 올바른 형식을 갖추었는지, 결과를 개선할 가능성이 높은지 검사를 통해 확인합니다.
- 활성화. 검증된 변경 사항이 적용됩니다. 이후 세션에서는 새 버전을 사용하며, 이는 다음 라운드의 근거가 됩니다.
이 루프는 Computer와 Brain을 위해 구축된 여러 기존 기능을 활용합니다. 여기서는 근거 수집과 성찰을 가능하게 하는 공유 메커니즘을 설명합니다. 검증 및 활성화 절차는 변경 사항이 한 명의 사용자에게 적용되는지, 아니면 모든 Perplexity 사용자에게 적용되는지에 따라 달라지므로, 이어지는 개인 스킬 개선 루프와 내장 스킬 개선 루프 섹션에서 다룹니다.
과거 세션에서 얻는 근거
성찰을 하려면 스킬이 사용된 세션, 특히 개선의 여지가 있는 세션을 찾아야 합니다. Computer 하네스는 이를 가능하게 하는 신호를 기록합니다. 에이전트가 스킬을 로드하면 하네스는 해당 스킬을 세션과 연결하는 스킬 로드 이벤트를 기록합니다. 에이전트가 사용자의 불만, 오작동 또는 명백한 비효율을 발견하면 짧은 구조화된 진단을 제출하고, 하네스는 사용 중인 스킬을 여기에 첨부합니다. 이러한 신호는 어떤 세션이든 관련이 있을 수 있는 내장 스킬에 특히 유용합니다. 시스템이 근거의 범위를 빠르게 좁힐 방법이 필요하기 때문입니다.
에이전트는 결과나 짧은 요약만 보고 판단하기보다 전체 기록에 접근할 수 있을 때 더 나은 성과를 냅니다. Computer는 메시지, 도구 호출, 추론, 결과를 담는 제공업체 독립적인 궤적 표현 방식으로 과거 세션을 저장합니다. 또한 에이전트가 이러한 궤적을 디코딩하고 전체 세션을 재구성하는 데 사용할 수 있는 명령줄 도구 모음도 구축했습니다. 이를 통해 성찰 에이전트는 특정 스킬 로드와 도구 호출을 살펴보고, 문제가 발생했거나 개선이 가능한 정확한 지점을 찾아낼 수 있습니다.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlComputer의 내부 실행 궤적 검사 도구 사용 예시입니다. 경로와 식별자는 설명을 위해 단순화했으며, 명령 이름과 인수는 실제 구현을 따릅니다.
백그라운드 에이전트를 활용한 성찰
Brain은 백그라운드 에이전트 팀을 활용해 각 사용자의 경험을 지속적으로 최적화합니다. 예를 들어 Dream 에이전트는 축적된 경험을 검토해 지식 위키를 업데이트합니다. 마찬가지로 스킬 개선은 스킬 사용 근거를 바탕으로 성찰해 업데이트를 제안하는 개선 에이전트가 담당합니다.
각 에이전트는 프런티어 모델, 관련 근거, 현재 스킬 라이브러리를 갖춘 자체 샌드박스에서 작업하며, 플러그인과 스킬의 안내를 받습니다. 에이전트는 어떤 세션을 읽을지 결정하고, 각 세션에서 구체적인 교훈을 도출하며, 동일한 재사용 가능 행동이 필요한 교훈들을 묶습니다. 한 실패에 대한 수정이 다른 지침과 충돌하거나 다른 곳에 작업을 추가할 수 있으므로, 에이전트는 편집을 제안하기 전에 스킬 전체를 읽고, 근거가 편집을 뒷받침하지 않으면 제안하지 않습니다.
개선 에이전트는 Computer와 동일한 하네스에서 실행됩니다. 하네스를 모듈식으로 설계했기 때문에, 새로운 에이전트 애플리케이션은 추론, 도구 사용, 컨텍스트 관리를 위한 하네스의 메커니즘을 재사용하면서 플러그인을 통해 자체 지침과 기능을 정의할 수 있습니다. 전용 백그라운드 워커 플릿 덕분에 이 처리를 포그라운드 작업과 독립적으로 확장할 수 있습니다.
개인 스킬 개선 루프
먼저 공유 자가 개선 엔진이 개인 개선 루프에 어떻게 적용되는지 설명합니다. 개인 개선 루프는 사용자의 작업 기록을 새로운 개인 스킬이나 업데이트된 개인 스킬로 바꿉니다. 아래 그림은 예시 스킬이 전체 루프를 거쳐 수정된 버전에 이르는 과정을 보여 줍니다.
매일 실행되는 생성 작업에서 개선 에이전트는 사용자의 최근 세션을 검토해 적용할 만한 변경 사항을 파악합니다. 최근 세션 일부가 스킬 사용 데이터와 함께 샌드박스에 미리 로드되며, 사용자의 나머지 세션 기록은 필요에 따라 불러올 수 있습니다. 개선 에이전트는 기존 스킬 카탈로그도 받습니다. 인터넷이나 다른 커넥터에는 접근할 수 없습니다.
개인 스킬 개선 워크플로우를 위해 설계된 플러그인과 스킬은 좋은 업데이트의 조건에 관한 저희의 원칙을 바탕으로 성찰 과정을 안내합니다. 에이전트는 먼저 전체 궤적을 분석해 각 세션에서 구체적인 교훈을 찾습니다. 그런 다음 교훈을 기존 지침과 비교해 스킬을 업데이트할지, 새로 만들지, 아니면 변경하지 않을지 결정합니다. 스킬을 새로 만들려면 동일한 재사용 가능 행동이 서로 독립적으로 두 번 발생해야 하지만, 기존 스킬 업데이트는 근거가 확실한 단 한 번의 발생으로도 정당화될 수 있습니다.
에이전트는 스킬을 직접 수정하지 않습니다. 대신 의도한 변경 사항과 이를 뒷받침하는 추론 및 근거를 기록한 제안을 작성합니다. 업데이트는 실행당 스킬 하나에 변경 하나로 범위가 제한됩니다. 결정론적 검사를 통해 제안이 올바른 형식을 갖추었고 스킬에 적용 가능한지 확인합니다. 이와 별도로 LLM 평가자가 샘플링된 제안을 감사하여, 근거가 변경을 뒷받침하는지, 그리고 변경된 스킬이 유용한 지침을 제공하는지 확인합니다.
활성화는 검증된 제안을 사용자의 스킬 라이브러리에 변경 사항으로 반영하여, 이후 세션에서 새 버전을 로드하고 사용할 수 있게 합니다. 하네스는 각 세션이 시작될 때 사용 가능한 모든 스킬의 인덱스를 로드하므로, 스킬 라이브러리가 너무 크면 컨텍스트 창이 가득 차서 에이전트가 관련 스킬을 찾아 로드하기 어려워집니다. 따라서 시스템은 가장 가치 있는 스킬만 유지하고, 필요하지 않은 스킬은 폐기하여 작고 엄선된 라이브러리를 유지합니다. 구체적으로, 자동 생성 스킬은 사용자당 10개로 제한됩니다. 한도에 도달해도 개선 에이전트는 스킬을 업데이트하거나 제거할 수 있지만, 새 스킬을 추가하려면 기존 스킬 하나를 폐기하고 새 스킬이 사용자의 작업에 더 유용한 이유를 설명해야 합니다.
내장 스킬 개선 루프
Brain의 지속적인 스킬 개선 프레임워크를 내장 스킬로도 확장했습니다. 내장 루프는 한 사용자의 메모리와 세션 기록을 사용해 해당 사용자의 개인 스킬을 개선하는 대신, 여러 사용자의 근거를 사용해 모든 Perplexity 사용자가 이용할 수 있는 스킬을 개선합니다. 내장 스킬은 누구나 사용할 수 있으므로 변경 기준이 높습니다. 의도치 않게 성능을 떨어뜨리는 업데이트는 수천 개의 세션에 영향을 줄 수 있습니다. 내장 개선 에이전트는 스킬의 후보 버전만 변경합니다. 이러한 업데이트가 스킬의 정식 버전에 반영되려면 쌍 비교 리플레이와 내부의 사람 검토를 통과해야 합니다. 이번에도 예시 스킬과 뒷받침 근거를 통해 전체 루프를 따라가 보겠습니다.
내장 개선 루프는 학습에 사용할 수 있는 세션에서 얻은 정제된 근거를 사용합니다. 진단과 실패 신호를 사용해 관련 근거를 선택하며, 아무런 플래그 없이 스킬이 사용된 대조 세션도 함께 선택합니다. 정제 파이프라인은 자격 증명과 기타 비밀 정보, 그리고 첨부 파일과 미디어를 제거합니다.
시나리오 생성 에이전트는 정제된 근거를 구체적인 실패 시나리오로 만듭니다. 실패 사례를 이해하고 스킬을 개선하는 데 필요한 컨텍스트만 남기고, 세션의 나머지 부분은 합성 방식으로 재구성하여 검증 과정을 위한 독립적인 테스트를 만듭니다. 시나리오는 연결된 앱이나 로그인 없이 실행되어야 하며, 원래 작업이 커넥터에 의존했다면 해당 입력은 시나리오에서 합성 파일로 대체됩니다. 별도의 검사를 통해 생성된 시나리오에서 스킬이 실제로 실패하는지 확인합니다.
성찰은 관찰된 실패를 수정 사항으로 바꾸는 주간 수정 작업을 통해 이루어집니다. 이 작업은 여러 세션에서 반복되는 스킬 실패를 찾으므로, 한 번의 잘못된 세션만으로 편집이 이루어지지는 않습니다. 반복되는 실패마다 개선 에이전트가 별도로 실행됩니다. 에이전트는 근본 원인에 대한 설명과 함께 성공한 세션의 정제된 기록을 받습니다. 이 근거를 사용해 스킬의 후보 수정안을 작성합니다. 전체 실패 시나리오는 평가에 사용되므로 에이전트에게 제공되지 않습니다.
별도의 리플레이 작업은 생성된 시나리오를 사용해 스킬의 원래 버전과 수정 버전을 비교합니다. LLM 평가자는 각 시나리오의 루브릭에 따라 에이전트의 답변과 궤적을 평가합니다. 제안이 통과하려면 모든 테스트 시나리오가 수정된 스킬로 통과해야 하고, 원래 스킬로는 하나 이상이 실패해야 합니다. 대조 세션으로 만든 시나리오도 리플레이하여 작동을 멈춘 것이 없는지 확인합니다. 실패 시나리오의 경우, 평가자는 작업이 성공하지 못했다는 사실만으로 동일한 문제의 근거로 간주하지 않고, 해당 특정 실패가 실제로 발생했는지도 확인합니다.
이 워크플로우는 후보 변경 사항과 평가 결과를 pull request로 묶어 내부의 사람 검토를 받습니다. 엔지니어가 PR을 승인해야만 변경 사항이 적용됩니다.
평가
자동 스킬 개선으로 스킬 생성과 사용이 크게 늘었습니다. Brain은 8월 1일부터 11월 14일까지 2만 명이 넘는 사용자를 위해 8만 개가 넘는 개인 스킬을 작성했습니다. 또한 9월 4일부터 11월 14일까지 3만 개가 넘는 기존 개인 스킬에 10만 건 이상의 자동 업데이트가 적용되었습니다.
이러한 스킬은 소프트웨어 검증부터 급여 대사, 도표 디자인에 이르기까지 광범위한 분야와 작업을 아우릅니다. Brain이 생성한 스킬을 해당 스킬이 설명하는 워크플로우에 따라 분류했습니다. 가장 큰 분야인 소프트웨어 엔지니어링조차 전체 스킬의 11%에 불과했으며, 그 뒤를 리서치 및 브리핑(10.1%), 영업 및 운영(9.9%), 금융 및 투자(9.9%)가 이었습니다.
실제 프로덕션 트래픽을 대상으로 8주간 무작위 테스트를 실시해, 자동 개인 스킬 개선을 활성화한 사용자와 이를 비활성화한 대조군을 비교했습니다. 스킬 개선을 활성화한 사용자의 72.9%가 새로운 개인 스킬을 하나 이상 얻은 반면, 활성화하지 않은 사용자 중 직접 새 스킬을 추가한 비율은 6.5%에 그쳤습니다. 실험군의 절반 이상(53%)은 자신이 시작한 대화에서 개인 스킬이 로드되었으며, 대조군은 13%였습니다. 실험군의 턴에서는 개인 스킬이 약 3.6배 더 자주 로드되었습니다. Brain이 작성한 스킬을 받은 고객 중 63%는 4주 이내의 이후 대화에서 이러한 스킬을 다시 사용했습니다.
평가를 통해 이러한 새 스킬과 업데이트된 스킬이 작업 실행과 전반적인 성능에 어떤 영향을 미치는지 확인하고자 했습니다.
같은 무작위 실험의 결과에서 도구 호출 실패와 사용자 불만이 감소한 것으로 나타났습니다. 자동 스킬 개선이 적용된 사용자의 경우, 전체 Computer 활동에서 도구 호출 실패율이 11% 감소했습니다. 시스템 자체의 백그라운드 실행을 제외해도 도구 호출 실패가 약 7% 줄어, 사용자 작업의 안정성이 향상되었음을 시사합니다. 사용자당 중간/높은 수준의 불만이 있는 스레드 수로 측정한 사용자 불만은 7.6% 감소했습니다. 비용이나 응답 시간에는 측정 가능한 변화가 없었습니다. 이러한 초기 테스트는 유망한 결과를 보여 주며, 시스템을 개선하고 자가 개선 스킬을 더 많은 사용자에게 제공함에 따라 개선 효과가 시간이 지날수록 커질 것으로 기대합니다.
오프라인 실험에서도 보다 제한된 환경에서 개선이 확인되었습니다. SkillLearnBench 실험에서 Computer는 이전 작업 궤적을 사용해 9개 작업 계열마다 개인 스킬을 하나씩 만들었습니다. 16개의 쌍 비교 평가 인스턴스 전반에서 작업 성공률은 스킬이 없을 때 43.8%에서 생성된 스킬을 사용할 때 62.5%로 높아졌으며, 이는 과거 경험에서 도출한 스킬이 반복 작업의 성능을 향상할 수 있다는 근거가 됩니다. 한 내장 스킬 사례 연구에서는 이커머스 스킬을 편집한 결과 비용은 32% 낮아지고 품질은 6% 향상되었으며, 품질은 자동화된 평가자로 측정했습니다.
결론
자가 개선 스킬은 Computer가 수행한 작업에서 학습하는 또 다른 방법을 제공합니다. 이는 Brain을 확장해 절차적 메모리를 생성하고 유지하도록 하여 복잡한 워크플로우의 성능을 향상합니다. 자동 스킬 개선은 이미 스킬 사용량을 늘리고, 도구 실패율을 줄이며, 사용자 불만을 낮췄습니다.
개인 스킬 개선은 이제 미국의 모든 Max 구독자가 이용할 수 있습니다. 대상 사용자에게는 기본적으로 켜져 있지만 끌 수 있습니다. 플러그인 탭에서는 사용 가능한 스킬을 보여 주고, Brain이 작성한 스킬을 표시하며, 사용자가 활성화할 스킬을 선택할 수 있습니다.
다음으로 사용자가 작성한 스킬, 프로젝트 내에서 공유되는 스킬, 조직 스킬 등 더 많은 스킬 유형으로 개선 범위를 확장할 예정입니다. 또한 수정안이 더 안정적인 절차와 더 나은 결과로 이어지도록 개선 파이프라인과 평가를 계속 다듬어 나가겠습니다.
인용
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}