WANDR 벤치마크: 광범위하고 심층적인 검색이 필요한 리서치 에이전트 평가

오늘 당사는 지식 업무를 위한 500개의 현실적이고 도전적인 데이터 수집 작업을 기반으로 구축된 오픈 벤치마크이자 평가 하네스인 WANDR (Wide ANd Deep Research)를 출시합니다. WANDR은 당사의 심층 리서치를 위한 DRACO 벤치마크의 '와이드(Wide)' 자매 격인 벤치마크입니다. DRACO는 에이전트가 정확하고 완전하며 객관적인 장문의 보고서를 작성할 수 있는지 묻는 반면, WANDR은 에이전트가 대규모 컬렉션을 구축하고 모든 구성 요소를 구체적인 증거로 뒷받침할 수 있는지 묻습니다.

이는 사람들이 이미 리서치 에이전트에게 맡기고 있는 업무 유형들입니다. 경쟁 매핑, 실사, 문헌 검토, 시장 분석, 제품 비교, 인재 소싱 등이 포함됩니다. 작업 범위는 수십 개에서 수천 개의 독립적으로 검증 가능한 레코드에 이릅니다. 높은 노력 설정을 적용하더라도 당사 평가에서 가장 강력한 시스템은 0.363 소프트 F1 및 0.133 하드 F1 점수를 기록하는 데 그쳤습니다. 심층 리서치는 아직 해결까지 갈 길이 멉니다.

확대

심층 리서치가 중요한 이유

유용한 리서치 작업 중 상당수는 에이전트가 하나의 답변을 찾는 것만으로 끝나지 않습니다. 시장 분석가는 모든 적격 경쟁사를 파악하고 각각에 대해 동일한 증거를 확보해야 할 수 있습니다. 실사 팀은 수십 개의 기업을 파악한 다음, 각 기업에 대한 소유권, 경영진, 재무 상태, 규제 현황을 확인해야 할 수 있습니다. 이는 두 가지 별도의 요구 사항을 발생시킵니다:

와이드(Wide): 방대하고 종종 열린 결말을 가진 적격 엔터티 세트를 발견합니다.

딥(Deep): 각 엔터티를 충분히 조사하여 요청된 모든 주장을 증거로 뒷받침합니다.

이 두 가지를 결합하면 문제가 달라집니다. 소수의 설득력 있는 사례만으로는 충분하지 않으며, 불완전한 리서치를 기반으로 다듬어진 서사 또한 마찬가지입니다. 에이전트는 하나의 레코드에서 다음 레코드로 넘어갈 때 사실적 품질을 희생하지 않으면서 광범위한 발견을 지속해야 합니다.

WANDR은 유연하고 구성 가능한 적격성 키 계층 구조를 통해 이러한 구조를 포착합니다. 작업은 다음과 같이 요청할 수 있습니다.

company(n) → employee(m) → url(k)

이는 n개의 적격 기업을 찾고, 각 기업에서 m명의 적격 직원을 찾으며, 각 직원당 k개의 뒷받침하는 페이지를 찾아야 함을 의미합니다. 트리를 통과하는 모든 완전한 경로는 독립적으로 검증될 수 있습니다. 동일한 기본 구조가 평면 리스트, 중첩 검색, 행렬 또는 다중 증거 분기가 있는 작업을 나타낼 수 있습니다. 이러한 패턴을 결합하여 하나의 표현으로 광범위한 실제 사용 사례를 포괄할 수 있습니다.

확대

출시된 한 가지 작업이 실제로 이 구조를 보여줍니다.

ceo_cfo_appointments

기본 작업. 2026년 3월 1일부터 4월 30일 사이에 CEO 또는 CFO 임명이 처음 발표된 미국 소재 기업을 최소 70개 찾으십시오. 각 기업에 대해 기업과 피임명자를 식별하고, 역할과 발표 날짜를 확립하며, 발행 기관, 공시 자료, 뉴스 와이어 또는 직접 기여된 1차 비즈니스 저널리즘에서 가져온 권위 있는 임명 페이지를 제공하십시오.

기본 계층 구조. company(70) → company_appointee(1) → url(1).

기업 상장 하위 작업. 동일한 기업에 대해 미국 국가 증권 거래소 상장 또는 미국 소재 SEC 증권거래법 보고 발행인 자격을 보여주는 공인된 상장 권한 페이지를 제공하십시오.

하위 작업 계층 구조. company(70) → url(1).

필요한 레코드. 140개: 70개의 임명 레코드와 70개의 상장 레코드.

모든 경로는 채점자가 재확인할 수 있는 페이지와 발췌 내용으로 끝납니다. 공유된 기업 키는 임명 브랜치와 상장 브랜치를 정렬하므로, 상장 상태에 대한 별도의 증거가 없는 임명은 해당 기업을 불완전한 상태로 남깁니다.

대규모로 생성된 현실적인 작업

WANDR은 합성 프롬프트가 아닌 프로덕션 사용 환경에서 관찰된 비식별 패턴에서 시작합니다. 이를 통해 벤치마크는 사람들이 실제로 위임하는 작업, 즉 오픈 엔드형 발견, 반복적인 보강, 교차 출처 확인, 전문적 규모의 구조화된 비교와 밀접하게 유지됩니다. 반자동 파이프라인은 이러한 패턴을 작업으로 전환하며, 철저한 답변 주석 대신 품질 관리에 인간의 노력을 할당합니다.

파이프라인은 4단계로 구성됩니다. 시딩(Seeding)은 재사용 가능한 심층 리서치 패턴을 위해 비식별된 제품 요청을 마이닝합니다. 저작(Authoring)은 저자-비평가 루프를 교차 실행합니다. 에이전트가 설계를 스케치하고 스트레스 테스트를 거치며, 작업 사양과 판단 기준을 작성하고, 고정 레코드를 생성하며, 기계식 린터를 사용하여 모든 정렬 상태를 유지합니다. 승인(Admission)은 10~12개의 저작 롤아웃을 병합하여 목표 볼륨에 도달할 수 있는지 확인하고, 작업별 판단 기준을 감사하며, 필요에 따라 인간의 승인을 추가합니다. 큐레이션(Curation)은 승인된 작업에 라벨을 지정하고 주제, 규모, 토폴로지, 난이도 전반에 걸쳐 균형 잡힌 최종 세트를 선택합니다.

확대

중앙값 작업은 50개의 멤버, 멤버당 4개의 레코드, 전체 245개의 레코드를 요구합니다. 이를 종합하면 500개의 작업은 170,495개의 출처 기반 레코드를 호출합니다. 당사는 과거 설계 단계 롤아웃을 기반으로 난이도를 보정하고, 순위에 따라 작업을 167개의 하위 난이도, 166개의 중위 난이도, 167개의 상위 난이도 예제로 분할합니다. 아래 차트는 난이도가 규모만으로 결정되는 것이 아니라 각 레코드에 필요한 작업량에 따라 달라짐을 보여줍니다.

확대

참조 없는 증거 검증 채점

고정된 정답 키는 오픈 엔드형 리서치에는 적합하지 않습니다. 구축 비용이 많이 들고 금방 구식이 되며, 시간이 지남에 따라 답변이 바뀌는 질문을 제대로 나타내지 못합니다. 대신 WANDR은 에이전트가 인용한 증거에 대해 제출된 각 주장을 채점합니다.

모든 레코드에는 항목, URL, 선택된 발췌 내용 및 답변이 포함됩니다. 채점자는 페이지를 다시 가져와 페이지 사용 가능 여부, 주장이 명확하고 범위 내에 있는지 여부, 발췌 내용이 페이지에 충실하게 나타나는지 여부, 페이지와 발췌 내용 모두가 모든 요구 사항을 뒷받침하는지 여부를 확인합니다.

이러한 이진 레코드 판결은 계층 구조를 통해 누적됩니다. 정밀도(Precision)는 시스템이 제출한 내용의 품질을 측정합니다. 재현율(Recall)은 요청된 볼륨에 대한 품질 조정 완료도를 측정하며, 부족한 부분은 0으로 채웁니다. F1은 이 둘의 균형을 맞춥니다. 소프트 점수는 불완전한 멤버에게 부분 크레딧을 제공하고, 하드 점수는 전체 필수 서브트리가 올바른 멤버만 카운트합니다. 진단을 위해 WANDR은 유효성 및 제출된 발췌 내용에 대한 엄격한 검사를 추가하기 전에 가져온 페이지가 작업을 충족하는지 묻는 검색 전용 판결도 보고합니다.

이로 인해 실패를 해석하고 지역화할 수 있습니다. 높은 정밀도와 낮은 재현율은 일반적으로 시스템이 좋은 멤버를 일부 찾았지만 충분하지 않았음을 의미합니다. 큰 폭의 소프트-투-하드 하락은 부분적인 진전은 이루었으나 전체 크레딧에 필요한 모든 분기를 거의 완료하지 못했음을 의미합니다. 점수 트리는 손실을 발견, 보강, ID 처리, 페이지 적격성 또는 증거 추출 단계로 지역화할 수 있습니다.

확대

분석 결과

당사는 6가지 프로덕션 시스템을 비교했습니다: 호스팅 작업 및 검색 API, 일반 웹 에이전트 API, 심층 리서치 제품 및 당사의 프로그래밍 방식 검색 오케스트레이션 시스템인 Search as Code (SaC)입니다. 각 시스템은 고정된 구성 하에서 500개의 모든 작업에 대해 예약되었으며, 이후 동일한 가져오기, 판단, ID 확인 및 채점 파이프라인을 거쳤습니다.

Perplexity Search as Code는 0.363 소프트 F1 및 0.133 하드 F1로 선두를 달리고 있습니다. Anthropic이 0.249 및 0.072로 2위이며, 나머지 모든 시스템은 소프트 F1 0.121, 하드 F1 0.035 이하입니다. 품질과 효율성 모두를 압도하는 시스템은 없습니다. Perplexity는 작업당 5.20달러의 비용 범위 중간에 위치하며, 중앙값 해결 시간은 14.9분, 작업당 보고된 토큰은 382만 개입니다. OpenAI와 Exa는 더 빠르고 저렴하지만 점수는 훨씬 낮습니다. Anthropic은 품질 면에서 가장 근접하지만 훨씬 더 많은 시간, 비용, 토큰을 사용합니다.

확대

확대

당사는 또한 동일한 45개 작업 하위 집합에서 사용 가능한 모든 노력 설정을 평가했습니다. 노력을 높일수록 모든 단계에서 Perplexity, Gemini, Exa가 개선됩니다. Perplexity는 xhigh에서 0.447 소프트 F1 및 0.224 하드 F1에 도달합니다. 그러나 노력을 높이는 것이 항상 더 좋은 것은 아닙니다. OpenAI는 high에서 정점에 도달하며, Parallel의 하드 F1은 ultra2x와 ultra4x 사이에서 약간 감소합니다. 비용은 Exa low의 작업당 0.03달러에서 Gemini max의 324.83달러까지 4자릿수 이상 차이가 납니다.

확대

확대

4가지 발견 사항이 두드러집니다.

부분적인 진전은 흔하지만 완전한 포괄은 드뭅니다. 모든 시스템에서 소프트 재현율이 소프트 정밀도보다 낮습니다. 이는 요청된 전체 볼륨이 분모에 포함되면 성능이 저하됨을 의미합니다. Perplexity는 0.389 정밀도에서 0.357 재현율을 유지하여 격차가 가장 작았으며, Anthropic은 0.354에서 0.222로 떨어졌습니다. 소프트-투-하드 변환은 훨씬 더 가혹합니다. Perplexity는 0.363 소프트 F1에서 0.133 하드 F1로, Anthropic은 0.249에서 0.072로 떨어집니다. 최고의 하드 정밀도는 0.150, 최고의 하드 재현율은 0.134입니다. 즉, 선두 시스템조차도 제출한 멤버 7명 중 1명, 작업이 요청한 멤버 7명 중 1명에 대해서만 전체 크레딧을 얻습니다.

규모는 문제를 복잡하게 만듭니다. 가장 작은 타겟 볼륨 빈에서 가장 큰 빈으로 갈수록 Perplexity의 하드 정밀도는 0.235에서 0.096으로, 하드 재현율은 0.219에서 0.079로 떨어집니다. Anthropic은 0.205에서 0.113으로, 0.127에서 0.042로 떨어지고, OpenAI는 0.109에서 0.034로, 0.102에서 0.016으로 떨어집니다. 재현율은 보통 정밀도보다 빠르게 떨어지는데, 이는 시스템이 요청된 세트를 점점 더 적게 커버하면서 완전한 멤버를 소량 유지할 수 있기 때문입니다.

더 깊은 계층 구조는 훨씬 더 가혹합니다. 중간 키가 없는 상태에서 3개 이상의 키로 이동하면 Perplexity의 하드 정밀도는 0.392에서 0.019로, 하드 재현율은 0.378에서 0.017로 떨어집니다. Anthropic은 0.311에서 0.049로, 0.229에서 0.022로 떨어지고, OpenAI는 0.136에서 0.012로, 0.120에서 0.011로 떨어집니다. 추가된 모든 분기는 멤버가 '전부 아니면 전무(all-or-nothing)' 하드 점수를 놓칠 수 있는 또 다른 지점이 됩니다. 비용과 대기 시간은 일반적인 단조 패턴을 따르지 않습니다.

확대

품질을 판단하기 전에도 발견은 첫 번째 구조적 병목 현상입니다. 축소 전의 원시 카운트만 보면 평균 최상위 발견 완료도는 0.611에서 0.951 범위입니다. 조건부 보강은 0.767~0.967로 더 강력하며, 멤버와 보강 경로가 존재하면 터미널 증거 슬롯 완료도는 0.979~0.994에 도달합니다. Perplexity는 발견 0.951, 보강 0.967로 선두를 달리고 있지만, OpenAI는 터미널 증거 슬롯에서 0.994 대 0.991로 약간 더 높습니다. 중복 축소는 6번의 전체 실행에서 카운트 손실의 0.017~0.205퍼센트 포인트만을 차지하므로, ID 병합이 아닌 미달성(under-delivery)이 전체적인 설명입니다. 가장 큰 원시 구조적 손실은 최종 URL이 연결되기 전에 발생합니다.

확대

사용 가능한 페이지를 찾는 것은 대개 쉽지만 완전한 증거를 찾는 것은 어렵습니다. 5개 시스템의 경우 제출된 페이지의 3.2%~8.9%만이 사용할 수 없는 페이지였으나, OpenAI는 23.1%로 예외적이었습니다. 유효하지 않거나 잘못된 유형의 레코드도 4.2%~17.4%로 비교적 드뭅니다. 지배적인 손실은 그 다음에 옵니다. 제출된 페이지의 33.6%~68.3%가 최소 하나의 실질적인 작업 요구 사항을 충족하지 못하며, 제출된 발췌 내용의 57.5%~86.6%가 레코드에서 주장하는 모든 내용을 뒷받침하지 못합니다. Perplexity의 비율은 41.4%와 57.5%입니다. 소프트 F1 점수는 페이지가 모든 실질적인 요구 사항을 충족하는지 여부만 묻는 검색 전용 검사에서 0.531로, 보편적 검사, 작업별 타당성 및 완전한 발췌 내용 뒷받침도 요구하는 전체 판결 하에서는 0.363으로 떨어집니다. 하드 F1 역시 0.245에서 0.133으로 하락합니다. 어려운 점은 그럴듯한 페이지에 도달하는 것만이 아니라, 그 페이지를 전체 주장에 대한 충분한 증거로 전환하는 것입니다.

확대

Search as Code는 이 작업 형태에 잘 맞습니다. 모델은 검색, 필터링, 팬아웃, 렌더링, 조인, 중복 제거 및 중지 논리를 프로그램으로 표현할 수 있으며, 결정론적 컴퓨팅은 모델 컨텍스트 밖의 반복적인 작업을 처리합니다. 이러한 프로필은 Perplexity의 더 강력한 너비 유지 및 발췌 구성과 일치하지만 모든 계층에서 앞서는 것은 아닙니다. Anthropic은 페이지 요구 사항 실패율이 가장 낮습니다.

다음 단계

WANDR은 단일 리더보드 점수 이상의 것을 제공합니다. 공통적인 작업 구조와 반자동 파이프라인은 다양하고 대량의 작업 생성을 지원하며, 레코드별 판결과 계층 수준 점수는 실행이 어디에서 실패했는지(발견, 보강, ID 처리, 의미론적 자격, 증거 구축) 보여줍니다. 출시된 작업, 검증자 및 구조적 진단은 포괄적인 검색 시스템을 개선하고 이러한 이득이 대규모로 유지되는지 테스트할 기반을 제공합니다.

동일한 구조는 WANDR을 강화 학습에도 유용하게 만들 수 있습니다. 단일 희소 터미널 보상에 의존하는 대신 트레이너는 레코드 및 분기 수준의 판단을 사용하고, 발견 및 보강 진전에 부분적인 크레딧을 할당하며, 시간이 지남에 따라 필요한 카운트를 높여 커리큘럼을 구축할 수 있습니다. 파이프라인은 금답(gold answers)을 열거하지 않고도 도메인, 계층 모양, 증거 규칙 및 너비-깊이 설정 전반에 걸쳐 유지되는 형제 작업을 생성할 수 있습니다. 이는 에이전트가 올바른 사실을 찾을 뿐만 아니라 커버리지를 계획하고, 누락된 분기를 감지하며, 중지하기 전에 복구하도록 훈련하는 길을 열어줍니다.

벤치마크 작업, 평가 하네스 및 전체 기술 보고서는 GitHub에서 이용할 수 있습니다.

인용

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}