DRACO 벤치마크를 통한 실제 심층 리서치 성능 평가

오늘 저희는 사용자가 복잡한 리서치 작업을 위해 AI를 활용하는 실제 방식에 기반하여 심층 리서치 에이전트를 평가하는 오픈 벤치마크인 DRACO(Deep Research Accuracy, Completeness, and Objectivity) 벤치마크를 출시합니다. DRACO를 오픈 소스로 공개함으로써, 더 넓은 AI 커뮤니티가 실제 사용자의 요구 사항을 더 잘 충족하는 리서치 도구를 구축할 수 있도록 지원하고자 합니다.

DRACO는 합성 작업 해결과 실제 리서치 요구 사항 충족 사이의 간극을 조명합니다. 이 평가 도구는 모델에 구애받지 않습니다. 더 강력한 에이전트 LLM이 등장함에 따라, 저희는 평가를 재실행하고 업데이트된 결과를 발표할 예정입니다. 또한 Perplexity.ai에서 심층 리서치 기능을 개선함에 따라, 사용자는 제품 성능과 벤치마크 점수 모두에서 그러한 향상을 확인할 수 있게 될 것입니다.

Perplexity 심층 리서치는 Google DeepMind의 DeepSearchQA 및 Scale AI의 ResearchRubrics를 포함한 주요 외부 벤치마크에서 최첨단 성능을 달성했습니다.

심층 리서치 시스템은 Google DeepMind의 DeepSearchQA 벤치마크에서 점수를 기록합니다.

심층 리서치 시스템은 Scale AI의 ResearchRubrics 벤치마크에서 점수를 기록합니다.

이러한 결과는 가장 우수한 모델과 Perplexity가 구축한 에이전트 기능인 독자적인 검색 도구, 브라우저 인프라, 코드 실행 기능을 결합한 결과입니다. 이들이 모여 실제 정보에 대한 검색, 합성, 추론에 최적화된 엔드투엔드 시스템을 구성합니다.

본 제품을 개발하는 과정에서 저희는 외부 벤치마크가 모델 비교에는 유용하지만, 실제 사용자가 매일 요구하는 다각적인 질문과 합성 요구 사항을 제대로 포착하지 못한다는 점을 깨달았습니다. 오늘 저희는 10개 분야에 걸친 수백만 개의 실제 작업에서 영감을 받아, 사람들이 실제로 심층 리서치를 사용하는 방식에 기반한 벤치마크인 DRACO 벤치마크를 오픈 소스로 공개합니다.

기존 벤치마크는 종종 단일 사실 검색, 상식 문제 답변, 또는 잘 정의된 문제 해결과 같이 좁은 범위의 스킬만을 개별적으로 테스트합니다. 그러나 실제 리서치 질문은 출처 전반에 걸친 합성, 상세한 분석, 실행 가능한 지침을 요구하며, 이 모든 과정에서 사실적 정확성과 적절한 인용을 유지해야 합니다.

DRACO 벤치마크는 학술, 금융, 법률, 의학, 기술, 일반 상식, UX 디자인, 개인화된 비서, 쇼핑/제품 비교, 그리고 '건초더미에서 바늘 찾기(Needle in a Haystack)' 등 10개 분야에 걸쳐 신중하게 선별된 100개의 작업으로 구성되어 있으며, 각 작업은 평균 약 40개의 평가 기준이 포함된 전문가 작성 루브릭과 결합되어 있습니다.

이 작업들은 Perplexity 심층 리서치에 대한 실제 사용자 요청에서 비롯된 것으로, 수백만 건의 실제 요청에서 샘플링한 후 5단계 파이프라인(개인식별정보 삭제, 문맥 및 범위 추가, 객관성 및 난이도 필터링, 도메인 전문가의 최종 검토)을 통해 체계적으로 재구성, 보완, 필터링되었습니다. 그 결과, 합성 연습이나 전문가가 선별한 작업이 아닌 실제 사용자 요구 사항을 반영하는 벤치마크가 탄생했습니다.

초기 루브릭 생성부터 최종 품질 보증까지 이어지는 4단계 루브릭 설계 및 검토 프로세스.

벤치마크의 각 작업은 엄격한 루브릭 개발 과정을 거쳤습니다. Perplexity는 데이터 생성 파트너인 The LLM Data Company와 협력하여 해당 세트에 대한 평가 루브릭을 개발하고 성능을 검증했습니다. 주제 전문가들은 LLM 도구의 도움을 받아 초기 루브릭을 작성했으며, 이후 동료 검토와 보정 과정을 거쳤습니다. 명확하지 않거나 지나치게 관대한 루브릭은 수정을 위해 반송되었으며, 이 과정을 통해 전체 루브릭의 약 45%가 최소 한 번 이상 개선되었습니다. 그 결과, 시스템 성능을 확실하게 구분할 수 있는 평가 기준이 마련되었습니다.

루브릭은 사실적 정확성(전체 기준의 약 절반), 분석의 범위와 깊이, 프레젠테이션 품질, 일차 자료 인용 등 네 가지 차원을 평가합니다. 각 기준에는 중요도에 따른 가중치가 부여되며, 일부 기준은 환각이나 근거 없는 주장과 같은 오류에 페널티를 부여하는 부정적인 평가 기준이기도 합니다.

응답은 LLM-as-judge 프로토콜을 사용하여 평가되며, 각 기준은 이진 판정을 받습니다. 이 접근 방식은 루브릭이 검색 결과에서 파생된 실제 데이터를 기반으로 판단을 내리기 때문에 사실적 정확성 평가에 적합하며, 주관적인 평가를 검증 가능한 사실 확인으로 변환합니다. 저희는 세 가지 평가 모델에 걸쳐 신뢰성을 검증했으며, 절대 점수는 달라질 수 있지만 상대적인 시스템 순위는 일관되게 유지됨을 확인했습니다.

DRACO 평가 프레임워크: 작업과 루브릭, 심층 리서치 에이전트, LLM 심판, 그리고 결과.

본 벤치마크는 코드 실행 샌드박스와 브라우저 기능을 포함한 전체 리서치 도구 모음에 접근할 수 있는 에이전트를 평가하도록 설계되었습니다.

도메인별 성능. 저희는 통과율(평가 기준 충족 비율)을 측정하여 10개 지식 도메인에 걸쳐 4개의 심층 리서치 시스템을 평가했습니다. 심층 리서치는 모든 도메인에서 가장 높은 통과율을 달성했으며, 특히 법률(89.4%)과 학술(82.4%) 분야에서 뛰어난 성능을 보였습니다.

사용자 입장에서 이는 법률 서면을 준비하든, 문헌 조사를 수행하든, 의료 치료 옵션을 비교하든 상관없이 더 신뢰할 수 있는 답변을 얻을 수 있음을 의미합니다. 복잡한 추론 작업에서는 성능 격차가 크게 벌어졌는데, 개인화된 비서 및 '건초더미에서 바늘 찾기' 시나리오에서 Perplexity는 최저 점수를 기록한 시스템보다 20% 포인트 이상 높은 성능을 보였습니다. 이러한 도메인은 개인화된 추천이나 대규모 문서에 숨겨진 특정 사실 찾기와 같은 실제 사용자 요구 사항을 반영합니다.

평가 항목별 성능. 4가지 주요 평가 차원 중 심층 리서치는 사실적 정확성, 분석의 범위와 깊이, 인용 품질 등 3개 항목에서 선두를 차지했습니다. 이는 고객에게 조언하거나 투자를 결정하거나 본인 명의의 보고서를 작성할 때 등, 리서치를 신뢰해야 할 때 가장 중요한 차원입니다. 프레젠테이션 품질 면에서 Perplexity 심층 리서치와 비교할 만한 성능을 보인 시스템은 하나뿐이었으며, 이는 심층 리서치의 어려운 문제가 서식이 아닌 사실의 정확성과 분석의 완전성에 있음을 나타냅니다.

품질 및 효율성. 주목할 점은 최고 성능을 기록한 시스템이 가장 낮은 지연 시간(경쟁사 592~1808초 대비 459.6초)을 기록했다는 것입니다. 사용자에게 이는 철저한 리서치와 빠른 답변 사이에서 선택할 필요가 없음을 의미합니다. 이는 수직적으로 통합된 엔드투엔드 인프라의 이점을 반영합니다. 즉, 최적화된 실행 환경과 더 나은 검색¹[검색 API 각주 링크] 및 브라우저 통합은 더 빠르고 정확한 리서치로 직접 이어집니다.

Perplexity의 심층 리서치 도구는 모델에 구애받지 않습니다. 더 강력한 에이전트 LLM이 등장함에 따라, 저희는 평가를 재실행하고 업데이트된 결과를 발표할 예정입니다. 또한 Perplexity.ai에서 심층 리서치 기능을 개선함에 따라, 사용자는 제품 성능과 벤치마크 점수 모두에서 그러한 향상을 확인할 수 있게 될 것입니다.

본 벤치마크는 현재 10개 도메인에 걸쳐 영어로만 진행되는 단일 턴 상호작용을 평가합니다. 향후 버전에서는 언어 다양성을 확장하고, 멀티 턴 평가를 추가하며, 도메인 범위를 넓힐 예정입니다.

DRACO 벤치마크는 현재 완전히 오픈 소스로 공개되어 있습니다. 심층 리서치 시스템을 구축하는 모든 팀은 합성된 학술적 퍼즐이 아닌 실제 리서치 작업에 대비하여 자신의 모델을 평가할 수 있습니다. 저희는 전체 벤치마크, 모든 루브릭, 그리고 저지(Judge) 프롬프트를 공개합니다.

방법론 및 세부 결과에 대해 더 자세히 알아보려면 전체 기술 보고서인 DRACO 벤치마크를 읽어보고 Hugging Face에서 데이터셋을 살펴보세요.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

최첨단 심층 리서치

실제 작업 기반 평가가 중요한 이유

DRACO 벤치마크의 작동 방식

도구 모음 및 평가 환경

결과 분석

향후 계획

DRACO 벤치마크로 더 나은 리서치 에이전트 구축하기

인용