실세계 경험으로부터 학습

성공적인 행동을 모방하고, 사용자 수정 필요성을 줄이며, 도구 오류를 방지하도록 Perplexity Computer 모델 사후 학습하기.

작성자Perplexity Research

사용자가 현실 세계에서 우리 제품과 상호작용하는 방식은 모델 학습을 위한 귀중한 소스입니다. 이 데이터는 방대하고, 사용자 태스크의 실제 분포를 반영하며, 합성 환경에서는 놓칠 수 있는 사용자 교정과 도구 오류를 포착합니다.

실제 데이터에서 학습하는 일반적인 방법은 거부 샘플링 파인튜닝(rejection sampling fine-tuning)입니다. 각 세션의 결과를 판정하고, 성공한 세션을 유지하며, 모델이 이를 모방하도록 학습시킵니다. 그러나 성공적인 결과가 모든 단계가 옳았음을 의미하는 것은 아니므로, 전체 궤적을 모방하면 좋은 중간 행동뿐만 아니라 나쁜 중간 행동도 강화할 위험이 있습니다. 실패한 세션을 폐기하면 모델이 부족한 부분이 어디인지 알 수 있는 중요한 증거도 손실됩니다.

우리는 거부 샘플링 미세 조정과 힌트 기반 자체 증류를 결합하여 성공적인 세션과 실패한 세션 모두로부터 학습합니다. 힌트는 모델이 실수를 저질렀을 때 이미 가지고 있던 정보에 기반한 짧은 교정 지침입니다. 성공한 세션의 유용한 단계는 모방 대상으로 유지되는 반면, 기반이 있는 힌트는 피할 수 있는 실수를 교정 대상으로 전환합니다.

사용자 교정과 도구 오류는 태스크의 궁극적인 성공 여부 외에도 과정에서 무엇이 잘못되었는지에 대한 추가적인 슈퍼비전을 제공합니다. 우리는 합성 환경에서의 강화 학습 후에 이 단계를 적용하여 해당 환경과 실제 사용 간의 간격을 좁히는 데 도움을 줍니다.

실제 라이브 환경에서, 사후 학습된 최신 GLM-5.2 체크포인트는 이전 체크포인트에 비해 도구 호출 실패율을 21.2% 줄였습니다. GLM-5.3의 경우, 사후 학습을 통해 기본 모델 대비 도구 호출 실패율은 33.0%, 중간 수준 이상의 사용자 불만족 평균 추정 확률은 17.2% 감소했습니다.

합성 데이터에서 실제 데이터로

합성 태스크를 사용하면 결과가 쉽게 검증되는 통제된 문제를 만들 수 있지만, 일반적으로 단일 프롬프트에 국한되며 우리가 명시적으로 설계한 시나리오만 다룰 수 있습니다.

대조적으로, 실제 세션의 사용자는 여러 턴의 상호작용을 통해 전개되는 세션에 다양한 지침, 컨텍스트, 도구 조합을 가져옵니다. 이러한 실제 사용은 자연스럽게 두 가지 가치 있는 실수 신호를 생성합니다. 사용자의 교정은 에이전트가 원하는 바를 제공하지 못한 부분을 드러내고, 도구 오류는 실제 환경에서 에이전트의 작업이 중단된 위치를 보여줍니다. 우리의 샘플링 파이프라인은 개인 식별 정보(PII)가 포함된 세션과 동의를 철회한 사용자의 세션을 제외함으로써 사용자의 개인정보 보호와 학습 선택을 존중합니다.

따라서 실제 데이터는 합성 환경에서는 드러나지 않을 수 있는 실패 사례를 제공하며, 흔히 실패가 발생한 위치가 이미 내장되어 있는 상태로 제공됩니다.

좋은 단계는 모방하고, 나쁜 단계는 교정하기

실제 데이터로 학습할 때, 표준 거부 샘플링 파인튜닝(RFT)은 사용자 및 도구 피드백을 명시적으로 사용하여 좋은 중간 액션과 나쁜 중간 액션을 구분하지 않고, 최종 결과를 기반으로 성공적인 세션을 선택합니다. 에이전트는 잘못된 도구 호출에서 복구하거나 사용자 피드백 후에 실수를 교정하고 여전히 끝에 올바른 출력을 전달할 수 있습니다.

실패한 세션을 폐기하면 샘플 효율성도 제한됩니다. 좋은 결과에 도달하지 못한 세션이라도 유용한 학습 신호로서 명확하고 피할 수 있는 실수를 여전히 드러낼 수 있습니다.

우리는 두 가지 결정, 즉 어떤 세션이 모방할 가치가 있는 행동을 포함하고 어떤 턴이 교정할 가치가 있는 실수를 포함하는지를 분리함으로써 이러한 한계를 해결합니다. 데이터 파이프라인은 이러한 결정을 별도로 내린 다음 모델 턴에 세 가지 처리 중 하나를 할당합니다:

  • 모방: 성공적인 세션의 오류가 아닌 턴은 일반적인 교차 엔트로피(CE) loss를 받아 기록된 토큰의 확률을 높입니다.
  • 교정: 성공 및 성공하지 못한 세션 모두에서 유효한 힌트가 있는 오류 턴은 쿨백-라이블러(KL) 발산 손실을 받아, 모델이 힌트를 볼 때 만드는 다음 토큰 예측으로 모델을 이동시킵니다.
  • 컨텍스트로 유지: 검증된 힌트가 없는 성공하지 못한 세션의 턴, 그리고 양쪽 세션 유형 모두에서 검증된 힌트가 없는 표시된 잘못된 턴은 컨텍스트 역할을 하지만 두 손실 모두 받지 않습니다.

결과적으로 성공적인 세션은 모방과 교정 타겟을 모두 제공할 수 있는 반면, 성공하지 못한 세션은 교정 타겟만 제공합니다. 시스템, 사용자, 도구 출력을 포함한 나머지 모든 턴은 컨텍스트로 유지됩니다.

현재 세션 라우팅 및 어시스턴트 콘텐츠 마스크. 성공적인 세션은 모방 타겟에 기여하며, 유지된 피드백 기록은 세션이 성공하지 못한 경우에도 힌트가 제공된 교정에 기여할 수 있습니다. 다른 콘텐츠는 컨텍스트로 유지됩니다. 불완전한 세션은 제외됩니다. 최종이 아닌 yield/stop-token CE 예외는 그려져 있지 않으며, 이 다이어그램이 이전 체크포인트에서 사용된 혼합을 확립하는 것은 아닙니다.

모방 부분은 표준 RFT를 사용합니다. 교정 부분은 정책 내 자가 증류(On-Policy Self-Distillation, OPSD)를 사용합니다. 동일한 모델이 교사와 학생 역할을 모두 수행하며, 교사에게는 특권 정보가 부여됩니다. 여기서 특권 정보는 피할 수 있는 실수를 설명하는 짧은 힌트입니다. 우리는 학생이 힌트를 받지 않고도 교사의 다음 토큰 예측과 일치하도록 학습시킵니다.

두 부분 모두 중요합니다. 보정 전용 학습은 지름길을 드러낼 수 있습니다. 즉, 교사와 학생이 교정을 학습하는 대신 컨텍스트를 무시함으로써 일치할 수 있습니다. CE 항은 학습을 유용한 행동에 고정시켜, 컨텍스트를 무시함으로써 발생하는 일치를 억제하는 데 도움을 줍니다.

학습 후 처리된 학생은 이제 Computer의 모델 옵션이 됩니다. 라이브 사용에서 발생한 새로운 세션은 학습 파이프라인의 또 다른 라운드에 들어가기 전에 동일한 자격 및 개인정보 보호 필터를 통과합니다.

예시: 하나의 세션이 두 가지 교훈을 모두 가르칠 수 있습니다

다음으로, 모방과 교정이 모두 포함된 구체적인 예를 살펴보겠습니다.

공식 문서를 사용하여 Python 3.13의 asyncio 변경 사항 비교를 요청하는 최종 성공적인 세션을 생각해 보십시오. 우리의 도구 문서에 따르면 search.web은 각각 url 필드가 있는 히트 리스트를 반환합니다.

모델은 모방할 좋은 행동인 비교를 위한 증거 수집의 일환으로 먼저 한 버전에 대해 유효한 검색을 실행합니다.

그러나 다음 코드 실행 호출은 해당 리스트를 딕셔너리로 잘못 취급합니다. 코드 도구는 TypeError: list indices must be integers or slices, not str를 반환합니다. 반환 유형이 호출 전에 문서화되어 있었으므로, 이는 모델이 피할 수 있었어야 하는 실수입니다. 해당 작업을 교정하기 위해 올바른 호출이 포함된 힌트가 생성될 수 있습니다.

설명용 코딩 세션은 세 가지 학습 역할을 보여줍니다. 컨텍스트 전용 입력 및 도구 출력(회색), 유용한 기록된 호출의 CE 모방(진한색), 표시된 실수의 KL 교정(청록색). 여기서 모델은 검색 히트 리스트를 딕셔너리로 잘못 취급합니다. 이전 도구 문서에 근거한 교사 전용 힌트가 교정을 안내합니다. 완료된 세션이 성공한 것으로 판정된 경우에만 CE 타겟이 적용되며, 성공하지 못한 세션이라도 적격 KL 교정 타겟을 제공할 수 있습니다.

학습 작동 방식

학습 파이프라인에는 세션 선택 및 결과 판정, 사용자 피드백과 도구 오류로부터 실수 식별 및 힌트 생성, 교사와 학생 모두로부터 다음 토큰 확률 생성, 결합된 CE 및 KL loss로 모델 학습의 네 가지 단계가 있습니다.

세션을 선택한 다음 결과 판정하기

샘플링 파이프라인은 GLM 5.2가 제공하는 실제 Computer 세션 중 학습 대상이 될 수 있는 하위 집합에서 데이터를 가져옵니다. 학습 제외 요청과 파이프라인의 PII 관련 제외는 이 워크플로우를 위한 예시를 선택하기 전에 적용됩니다.

초기 선별 과정은 LLM 심사위원이 5점 만점의 태스크 난이도 척도에서 4점 또는 5점으로 평가한 후보를 선택하여 2개의 그룹으로 나눕니다:

  • 사용자 피드백 그룹에는 실제 사용자의 후속 질문이나 중간~높음 불만족 플래그가 있는 세션이 포함됩니다. 우리는 이러한 높은 의도의 후속 질문이 학습에 특히 유용하다고 생각합니다. 사용자가 태스크를 완료하려고 적극적으로 노력하고 있으며, 그들의 교정은 모델이 놓친 부분을 정확히 지적해 주기 때문입니다.
  • 도구 오류 그룹에는 인식된 인프라 장애와 거부된 권한을 제외하고, 규칙 기반 검사로 플래그가 지정된 실패한 호출이 포함된 세션이 포함됩니다.

그런 다음 두 명의 LLM 심사위원이 사용자의 요청에 대해 최종 결과물을 평가합니다. 세션을 “성공적”으로 분류하려면 두 심사위원 모두 긍정적인 판정을 내려야 합니다. 아티팩트를 제공하는 사례의 경우 결과 단계에서 결과물을 재구성하고 검사할 수 있으며, 해당 단계가 실패할 경우 텍스트 기반 판정으로 대체합니다. 사용자의 입력을 기다리는 작업 등 불완전한 것으로 분류된 세션은 제외됩니다.

이 단계는 학습 신호의 잠재적 소스를 식별합니다. 그러나 모든 오류가 모델의 탓은 아닌데, 일부는 모호한 지침이나 인프라 장애로 인해 발생하기 때문입니다. 이후 주석을 통해 어떤 후보 실수가 실제로 피할 수 있는 것이며 학습에 적합한지 결정합니다.

사용자 피드백에서 실수 찾기

사용자 피드백 그룹의 샘플 세션을 생각해 보겠습니다. 여기서 사용자는 “How do I find my w3 on paychex”라고 묻습니다. 모델은 “w3”을 W-2의 오타로 취급하고, W-2 지침을 검색한 뒤 해당 양식을 찾는 방법을 설명합니다. 사용자의 후속 질문인 “I meant the W-3 transmittal form,”은 세션이 궁극적으로 성공하더라도 실수를 식별합니다.

불만 사항은 실수를 찾는 데 도움이 되지만, 근본 원인은 “w3”을 W-2로 재해석하기로 한 이전의 결정입니다. 원래 요청은 실수를 피할 수 있게 만듭니다. 모델은 W-3을 보존하거나 명확화를 요청할 수 있었습니다. 불만 사항 바로 직전의 마지막 어시스턴트 턴이 근본 원인인 경우는 약 절반에 불과한 것으로 밝혀졌습니다.

주석 파이프라인은 각 사용자 피드백 세션 내에서 인과관계를 체계적으로 매핑합니다. 주석 작성자는 먼저 누락된 요구 사항이나 이전 컨텍스트가 지원하는 의도를 선별합니다. 그런 다음 세 명의 LLM 심사위원이 책임 있는 턴을 식별하며, 특정 턴에 대해 최소 두 명이 동의해야 합니다. 때로는 이전 진술이 요구 사항을 명시적으로 확립하기도 합니다. 다른 경우에는 단일 이전 진술이 그렇게 하지 못하지만, 선행 대화의 여러 조각들이 공동으로 의도된 행동을 유추할 수 있게 만듭니다. 이 설계를 통해 불만을 마지막 답변에만 귀인시키는 대신 이전의 근본적인 실수에 연결할 수 있습니다.

힌트를 수락하기 전에 파이프라인은 해당 교정 주장이 표시된 턴 이전에 사용할 수 있는 정보로부터 도출되는지 확인합니다. 이러한 확인은 불만 사항에서 드러난 새로운 선호도를 모델이 이미 알고 있었어야 하는 것으로 취급하는 사후 확신 편향(hindsight bias)을 줄이기 위한 것입니다.

이 예시에서 힌트는 모델에 W-2 대신 Paychex에서 W-3 전송 양식을 검색하도록 지시하거나, 요청이 모호한 경우 사용자가 어떤 양식을 의미하는지 묻도록 지시합니다. 교정은 최종 답변뿐만 아니라 이전 해석 및 검색 결정을 대상으로 합니다. 원래 턴은 변경되지 않고 유지됩니다. 주석은 is_bad_turn: true와 비어 있지 않은 hint를 추가합니다.

불만이 이전 실수로 거슬러 올라가는 과정을 주석 절차가 오버레이된 상태로 보여주는 실제 세션. 사용자는 Paychex에서 “w3”을 요청했지만, 모델은 이를 W-2의 오타로 취급하고 잘못된 양식을 검색했습니다. 제안자 합의는 근본 원인을 찾고, 두 가지 근거 확인은 증거가 실수보다 앞서는지 그리고 힌트의 주장이 해당 시점에 사용할 수 있는 정보로부터 도출되는지 평가합니다. 승인된 주석은 재작성된 타겟 대신 원본 텍스트를 보존하고 표시와 힌트를 추가합니다.

도구 오류에서 실수 찾기

에이전트가 recency_filter: "year"를 사용하여 검색하지만 허용된 값이 “day”, “week” 또는 “month”이기 때문에 도구가 이를 거부하는 검색 호출이 포함된 도구 오류 그룹의 또 다른 세션을 생각해 보십시오. 이는 명백한 스키마 위반입니다.

도구 오류 경로는 알려진 실수에 대해서는 결정론적 규칙을 사용하고 모호한 경우에는 모델 판단을 사용합니다. 오류 메시지만으로는 모델을 비난하기에 충분하지 않으며, 판단된 교정은 도구 스키마, 시스템 지침 또는 이전 대화에서 모델이 알 수 있었던 내용을 가리켜야 합니다.

보고서의 잘못된 검색 인수는 현재 도구 오류 절차를 보여줍니다. 스키마 덕분에 이 실수를 피할 수 있으며, 장애만으로는 피할 수 없습니다. 원래 호출은 기록에 남아 있고 근거가 있는 힌트를 받습니다. 힌트는 필드가 선택 사항인 경우 나열된 값이나 생략을 허용하며, 모든 요청에 대해 “month”를 요구하지는 않습니다.

여기서 힌트는 실패한 호출의 이름을 지정하고, 유효성 검사 오류를 포함하며, 모델에 허용된 값을 사용하거나 필드가 선택 사항인 경우 생략하도록 지시합니다.

두 개의 포워드 패스

턴이 표시되면 트레이너는 동일한 체크포인트를 두 번 실행합니다. 한 번은 교사로서, 다른 한 번은 학생으로서 실행합니다. 교사는 힌트를 볼 수 있지만, 학생은 볼 수 없습니다.

두 패스 모두 교사 강제(teacher forcing)를 사용하며, 모델이 새 토큰을 선택하도록 하는 대신 기록된 세션을 모델에 공급합니다. 포워드 패스는 여전히 각 단계에서 완전한 다음 토큰 분포를 생성하지만, 롤아웃 토큰이 아닌 기록의 고정된 접두사에 항상 조건화됩니다.

검색 예시의 경우, 힌트가 주어지면 동일한 모델은 “month”에 훨씬 더 높은 확률을 할당하고 “year”에는 더 낮은 확률을 할당합니다. 학습 시에는 이러한 분포 변화를 소프트 타겟으로 사용합니다.

두 번의 패스, 하나의 가중치 세트. 두 패스 모두 기록된 연속(continuation)의 점수를 매기며, 교사에게만 힌트가 제공됩니다. 분리된 다음 토큰 확률은 순방향 KL을 통해 학생을 안내합니다. 별도의 CE 타겟이 모방을 고정합니다. 두 손실 모두 하나의 가중치 업데이트에 공급됩니다. 이전 힌트가 교사의 현재 세그먼트에 남아 있을 수 있으며, 두 패스 모두 대체 학습 답변을 생성하지 않습니다.

교사의 예측은 분리되거나 그라디언트가 중단(stop-gradient)됩니다. 즉, 타겟을 제공하지만 교사 패스를 통한 업데이트는 받지 않습니다. 학생의 패스가 끝난 후, 하나의 옵티마이저 단계가 공유 모델을 업데이트합니다.

손실 함수

CE loss

CE loss는 모방을 위해 선택된 기록된 토큰을 정답(ground-truth) 타겟으로 취급하고, 모델이 이 토큰들에 낮은 확률을 할당할 경우 페널티를 부과합니다. 이는 엄격한 모방 타겟을 생성합니다.

토큰 위치 에서, 전체 어휘 내 토큰 에 대한 학생의 확률을 라고 합시다. 응답 또는 도구 호출에 기록된 다음 토큰은 이며, 원-핫(one-hot) 타겟 분포는 입니다.iipi(v)p_i(v)vvVVyiy_irir_i

ri(v)=1[v=yi]r_i(v)=\mathbf{1}[v=y_i]

교차 엔트로피(cross-entropy)는 학생이 해당 기록된 토큰을 얼마나 잘 예측하는지 측정합니다. 원-핫 타겟의 경우, 이는 yiy_i에 할당된 음의 로그 확률로 축소됩니다.

H(ri,pi)=−∑v∈Vri(v)log⁡pi(v)=−log⁡pi(yi)H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

토큰을 모방해야 하는 위치에서는 CE 마스크 miCEm_i^{\mathrm{CE}}이 11이고 그렇지 않은 경우 00입니다. 선택된 위치에 대해 합산하면 모방 손실이 산출됩니다.

LCE=∑imiCEH(ri,pi)\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL loss

대신 KL 손실은 교사의 전체 다음 토큰 확률 분포 qiq_i을 소프트 보정 타겟으로 사용합니다. 교사의 컨텍스트에는 현재 힌트와 해당 학습 세그먼트에 유지된 이전 힌트들이 포함되며, 학생의 컨텍스트는 항상 힌트가 없습니다.

KL 마스크 miKLm_i^{\mathrm{KL}}은 토큰을 교정해야 하는 위치에서는 11이고 그렇지 않은 경우 00입니다. CE 마스크와 KL 마스크는 겹치지 않습니다. 이러한 위치에서 순방향 KL은 전체 어휘에 걸쳐 교사와 학생 간의 불일치에 페널티를 부과합니다.

LKL=∑imiKLDKL(qi∥pi)=∑imiKL∑v∈Vqi(v)log⁡qi(v)pi(v)\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

결합된 손실

두 항은 별도로 정규화되는 대신 하나의 분모를 공유합니다. 이 분모는 전체 학습 배치에서 모방을 위해 선택된 총토큰 수를 계산합니다. 가중치 λ\lambda는 모방에 상대적인 교정 학습의 기여도를 조절합니다.

이 공유 정규화는 학습 인프라의 단일 분모 인터페이스에 부합하며 λ=0\lambda=0일 때 표준 SFT 손실을 복원하여 베이스라인 비교를 단순화합니다. CE 토큰이 KL 토큰보다 훨씬 더 풍부하기 때문에, 공유 분모를 사용하면 표시된 토큰이 거의 없는 배치에서 개별 KL 토큰에 과도하게 큰 가중치가 부여되는 것을 방지할 수 있습니다.

L=LCE+λLKL∑imiCE\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

이전 예시에 적용하면, W-3/W-2 혼동 및 잘못된 검색 호출을 포함하는 턴이 KL을 받습니다. 성공적인 세션의 다른 표시되지 않은 어시스턴트 콘텐츠는 여전히 CE를 받습니다. 성공하지 못한 세션의 다른 어시스턴트 콘텐츠는 컨텍스트로 유지되지만 CE나 KL을 받지 않습니다.

평가가 보여주는 것

우리의 평가는 두 가지 별개의 질문에 답합니다. 첫째, 힌트가 있을 때 힌트가 실제로 모델이 오류를 교정하는 데 도움을 주는가? 둘째, 힌트 없이 학습이 모델이 나중에 그 오류를 피하도록 돕는가? 첫 번째는 힌트가 유용한 학습 신호를 제공하는지 테스트합니다. 두 번째는 모델이 그로부터 학습하는지 테스트합니다.

힌트는 모델이 실수에서 벗어나도록 유도할 수 있습니다

힌트가 실제로 모델이 실수로부터 벗어나도록 유도할 수 있는지 확인하기 위해 학습 실행 전에 첫 번째 질문을 테스트합니다.

사용자 피드백

온도 0의 동일한 기본 모델 GLM-5.2를 사용하여 힌트가 있는 경우와 없는 경우로 표시된 사용자 피드백 턴을 재생성했습니다. 블라인드 심사위원은 나중의 불만 사항을 보지만 힌트나 어떤 조건이 답변을 생성했는지는 보지 못합니다.

W-3 예시에서 힌트는 접두사 “W-” 뒤의 다음 토큰 확률을 “2”에서 멀어지게 하고 “3” 쪽으로 이동시킵니다.

힌트는 요청된 W-3 형식을 보존합니다. 막대는 8번의 포워드 패스에 걸친 평균 다음 토큰 확률을 보여주며, 수염(whiskers)은 신뢰 구간이 아니라 관측된 범위를 나타냅니다. 두 조건 모두 변경되지 않은 기본 모델을 사용합니다.

명시적으로 명시된 이전 증거를 바탕으로 한 더 큰 규모의 40턴 홀드아웃 샘플에서, 고정되거나 순조로운 것으로 판단된 비율은 힌트가 없을 때 40.0%에서 힌트가 있을 때 75.0%로 상승합니다. 유추된 의도를 바탕으로 한 또 다른 40턴에서는 32.5%에서 80.0%로 상승합니다.

사후 학습 평가가 아닌 힌트 검증. 각 증거 그룹의 동일한 40개 표시된 턴이 온도 0의 변경되지 않은 GLM-5.2를 사용하여 힌트가 있는 경우와 없는 경우로 재생성됩니다. 심사위원은 힌트나 조건을 제외하고 불만 사항을 봅니다. 횟수는 보고서의 비율과 샘플 크기에서 파생되며, 신뢰 구간은 보고되지 않습니다.

도구 오류

검색 도구 오류 예시에서, 힌트는 실제로 확률 질량을 year 토큰에서 month 토큰으로 이동시킵니다.

힌트는 확률을 허용된 값 쪽으로 이동시킵니다. 막대는 8번의 포워드 패스에 걸친 평균 다음 토큰 확률을 보여주며, 수염(whiskers)은 신뢰 구간이 아니라 관측된 범위를 나타냅니다. 두 조건 모두 동일한 기본 모델을 사용하며, 학습된 체크포인트와는 비교되지 않습니다.

더 큰 규모의 985턴 홀드아웃 샘플에서, 우리는 동일한 기본 모델을 사용하여 힌트가 있는 경우와 없는 경우로 각 턴을 네 번씩 재생성했습니다. 블라인드 심사위원은 각 재생성이 원래의 실패를 방지하는지 평가합니다. 힌트는 실패 회피율을 75.1%에서 93.7%로 18.6퍼센트 포인트 쌍으로 증가시키며, 교정된 조치를 취하는 비율을 60.6%에서 82.3%로 높입니다. 반복 샘플링만으로는 해결하기 어려운 오류에서 개선 폭이 가장 큽니다.

조건당 네 번의 재생성이 있는, 보류된 985개 표시된 턴에 대한 도구 오류 힌트 검증. 막대 그래프는 힌트가 있거나 없는 변경되지 않은 기본 모델에 대한 실패 회피율과 교정된 조치 비율을 보여줍니다. 대상 실수를 피한다고 해서 도구 호출이나 태스크 성공이 보장되는 것은 아닙니다.

학습 후 도구 신뢰도 및 사용자 피드백

다음으로 우리는 학습된 모델이 힌트를 받지 않아도 실수를 더 적게 하는지 테스트합니다. 우리는 오프라인 벤치마크 작업과 실제 사용자 세션에서 기본 모델과 다양한 후속 학습 체크포인트를 평가하며, 도구 실패가 줄고 사용자 불만이 감소하는지 확인합니다.

오프라인 평가

오프라인 평가는 BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, 대표적인 Computer 태스크 세트를 사용하며, 스킬 로딩, 문서 검토, 인라인 인용을 확인합니다. 우리는 평가 궤적에 걸쳐 결과가 오류로 명시적으로 플래그 지정된 도구 호출의 비율을 측정합니다.

이러한 평가에서 기록된 도구 오류율은 기본 GLM 5.2의 경우 2.79%, RFT 전용 체크포인트의 경우 1.35%, RFT-plus-OPSD 체크포인트의 경우 0.87였습니다. 이 체크포인트들은 서로 다른 데이터로 학습되었으므로, 이는 OPSD에 대한 매칭 데이터 절제(ablation) 연구가 아닙니다. 태스크 수준 벤치마크 결과는 엇갈렸으므로, 단순히 도구 오류가 줄어들었다고 해서 그것이 반드시 광범위한 태스크 성공 향상으로 이어지는 것은 아닙니다.

기본 GLM-5.2, RFT 전용, RFT-plus-OPSD 체크포인트에 대한 오프라인 도구 오류율. 학습 데이터는 체크포인트마다 다르며, 이는 통제된 절제(ablation) 연구가 아닙니다.

온라인 평가: GLM-5.2

GLM-5.2의 경우, 각 조건당 약 10만 명의 사용자를 대상으로 두 개의 개별 A/B 테스트를 실행했습니다. 첫 번째 테스트에서는 초기 RFT+OPSD 체크포인트의 도구 오류율이 기본 GLM 5.2(2.94%)보다 약간 낮은 2.82%를 기록했으나, 그 차이는 통계적으로 유의미하지 않았습니다.

이후 테스트에서는 두 개의 RFT+OPSD 체크포인트(이전 체크포인트 1과 이후 체크포인트 2)를 비교했습니다. 기록된 상태를 가진 호출 중 도구 호출 실패는 2.24%에서 1.77%로 감소했습니다. 이는 통계적으로 유의미한 21.2%의 상대적 감소였습니다. 체크포인트 2를 기본 GLM 5.2 온라인과 직접 비교하지는 않았습니다.

사용자 피드백 결과는 결정성이 다소 낮았습니다. 두 번째 GLM-5.2 실험에서 강한 불만족(중간 또는 높음)의 평균 확률은 체크포인트 1의 경우 2.58%, 체크포인트 2의 경우 2.54였으며, 통계적으로 유의미한 차이는 없었습니다.

GLM-5.2 실시간 A/B 테스트 두 개. 체크포인트 1은 기본 GLM-5.2와 비교되었고, 체크포인트 2는 체크포인트 1과 비교되었습니다. 이 두 테스트 내에서 나중의 도구 오류율 감소만 통계적으로 유의미합니다. MID+ 비율은 불만 접수 건수가 아니라 중간 또는 높은 수준의 불만족에 대한 평균 추정 확률을 나타냅니다.

온라인 평가: GLM-5.3

GLM-5.3의 경우, 사후 학습된 체크포인트를 기본 GLM-5.3과 직접 비교했습니다. 상태가 기록된 호출 중 도구 호출 실패율은 3.56%에서 2.38%로 떨어져 33.04% 상대적으로 감소했습니다. 중간 이상 불만족의 평균 추정 확률인 MID+ 비율은 4.12%에서 3.41%로 떨어져 17.2% 상대적으로 감소했습니다. 두 감소 모두 통계적으로 유의미했습니다.

별도의 온라인 A/B 테스트에서 사후 학습된 GLM-5.3과 기본 GLM-5.3 비교. 도구 실패율 및 MID+ 비율, 상대적 변화, 그리고 95% 순차 신뢰 구간에는 CUPED 보정이 적용되었습니다. 두 감소 모두 통계적으로 유의미합니다. MID+ 비율은 불만 건수가 아니라, 자격을 갖춘 점수 산정된 후속 스레드 전반에서 중간 또는 높은 불만족의 평균 추정 확률을 나타냅니다. 도구 실패율은 성공 또는 실패 상태가 기록되지 않은 호출을 제외합니다.

결론

핵심 아이디어는 세션 단위가 아니라 결정 단위로 학습하는 것입니다.

성공적인 결과는 실수를 숨길 수 있으며, 성공하지 못한 세션이라도 개선 방법을 드러낼 수 있습니다. 우리는 성공적인 세션의 유용한 행동을 앵커로 유지하고, 불만 사항과 도구 오류를 사용하여 피할 수 있는 실패를 식별하며, 그러한 실수와 교정이 명시되었을 때 모델이 내리는 예측을 향상시키도록 모델을 학습시킵니다. 성공은 보존할 행동을 제공하고, 실패는 개선을 위한 방향을 제공합니다.

실제 사용으로 인해 이 접근 방식이 특히 유용해집니다. 실제 사용자는 합성 환경에서 예상하기 어려운 목표, 제약 조건 및 워크플로우를 가져옵니다. 그들의 교정은 모델이 놓친 요구 사항을 드러내고, 도구 오류는 모델이 시도한 것과 환경이 허용하는 것 사이의 격차를 노출합니다. 이러한 신호들은 결과 기반 학습을 보완합니다. 즉, 태스크가 성공했는지만 묻는 대신, 모델이 어디서 잘못되었으며 어떤 정보가 더 나은 결정을 내리는 데 도움이 되었을지 물을 수 있습니다.

한계는 그만큼 중요합니다. 평가자는 틀릴 수 있으며, 한 턴을 수정한다고 해서 전체 작업의 성공이 보장되는 것은 아닙니다. 목표는 단순히 수정 후에 복구하는 에이전트가 아닙니다. 수정이 덜 필요한 에이전트입니다.

인용

BibTeX
@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}