WANDR 基準：評估必須進行廣泛且深入搜尋的研究代理程式

今天，我們發布了 WANDR (Wide ANd Deep Research)，這是一個圍繞 500 個針對知識工作的真實且具挑戰性的資料收集任務所建立的開放式基準與評估工具包。WANDR 是我們用於深入研究的 DRACO 基準的廣泛版本。DRACO 探討代理程式是否能產出準確、完整且客觀的長篇報告；WANDR 則探討它是否能建立大型集合，並用具體證據支援每一個項目。

這些正是人們已經交給研究代理程式的工作類型：競爭對手對應、盡職調查、文獻回顧、市場分析、產品比較、人才招募等。這些任務的範圍從數十個到數千個可獨立驗證的記錄不等。即使在高努力設定下，我們評估中最強大的系統也僅達到 0.363 軟 F1 和 0.133 硬 F1。廣泛且深入的研究距離解決還有很長的路要走。

放大

為什麼廣泛且深入的研究如此重要

許多有用的研究工作並不會在代理程式找到一個答案時就結束。市場分析師可能需要每一個符合條件的競爭對手，並且為每個對手提供相同的證據。盡職調查團隊可能需要數十家公司，然後是其中每一家公司的所有權、高階主管、融資和監管狀態。這會產生兩個不同的需求：

廣泛：發現數量龐大且通常開放式的符合條件實體集合。

深入：深入調查每個實體，足以用證據支援提出的每一項主張。

將兩者結合會改變這個問題。少數引人注目的範例是不夠的，建立在不完整研究之上的精美敘事也是如此。代理程式必須維持廣泛的發現，同時不能犧牲從一個記錄到下一個記錄的事實品質。

WANDR 透過靈活且可組合的資格金鑰階層捕捉這種結構。一項任務可能會要求

company(n) → employee(m) → url(k)

這意味著尋找 n 家符合條件的公司、每家公司有 m 名符合條件的員工，以及每位員工有 k 個支援頁面。透過樹狀結構的每個完整路徑都可以獨立驗證。相同的基本結構可以表示平面清單、巢狀搜尋、矩陣，或是具有多個證據分支的任務。這些模式也可以組合，讓單一代表性能夠涵蓋廣泛的真實世界使用案例。

放大

發布的其中一個任務說明了實務中的這個結構。

ceo_cfo_appointments

主要任務。尋找至少 70 家美國公司，其執行長 (CEO) 或財務長 (CFO) 任命案最初於 2026 年 3 月 1 日至 4 月 30 日之間宣布。針對每家公司，請提供權威的任命頁面，以識別公司與被任命人、確立職位與宣布日期，且該頁面必須來自發行機構、申報文件、新聞通訊社，或是直接引用的第一手商業新聞報導。

主要階層。company(70) → company_appointee(1) → url(1)。

公司清單子任務。對於相同的公司，請提供公認的清單權威頁面，顯示其在美國國家證券交易所上市，或是具備美國註冊之 SEC 證券交易法申報發行機構的身分。

子任務階層。company(70) → url(1)。

需要的記錄。140：70 筆任命記錄加上 70 筆清單記錄。

每個路徑都以評分員可以重新檢查的頁面和摘錄告終。共用的公司金鑰將任命和清單分支對齊，因此缺少獨立上市狀態證明的任命仍會使該公司不完整。

規模化產生的真實任務

WANDR 從生產使用中觀察到的去識別化模式出發，而非合成提示。這使基準保持接近人們實際委託的工作：開放式發現、重複豐富、跨來源檢查，以及專業規模的結構化比較。半自動化管線將這些模式轉化為任務，將人工心力保留給品質控制，而非詳盡的答案註解。

該管線分為四個階段。種子設定從去識別化的產品請求中開採出可重複使用的廣泛研究模式。編寫執行交錯的編寫-批評迴圈：代理程式草擬並進行壓力測試設計、編寫任務規格與評審、建立固定記錄，並使用機械式 linter 保持一切對齊。核准透過合併 10–12 次編寫推出、稽核特定任務的評審，以及選擇性地加入人工簽核，來檢查目標數量是否可達到。策劃標記已核准的任務，並在主題、規模、拓樸和難度之間選擇平衡的最終集合。

放大

中位數任務要求 50 個成員、每個成員 4 筆記錄，整體共 245 筆記錄。綜合來看，這 500 個任務需要 170,495 筆有來源支援的記錄。我們根據歷史設計階段的推出情況來校準難度，然後依據排名將任務分割為 167 個較低、166 個中等和 167 個較高難度的範例。下圖顯示難度並非僅由規模決定；它也取決於每筆記錄所需的工作。

放大

免參考、經證據驗證的評分

固定的答案金鑰不太適合開放式研究。它建構成本高、很快就會過期，且無法妥善代表答案隨時間改變的問題。相反地，WANDR 會根據代理程式引用的證據來對提交的每個主張進行評分。

每筆記錄都包含一個項目、一個 URL、選定的摘錄和一個答案。評分員會重新擷取頁面，並檢查它是否可用、主張是否清晰且在範圍內、摘錄是否忠實地出現在頁面上，以及頁面與摘錄是否都支援每一項要求。

這些二進位記錄判定會透過階層向上彙總。精確度衡量系統提交內容的品質。召回率衡量相對於請求數量的品質調整完成度，並以零填補任何短缺。F1 平衡了兩者。軟分數給予不完整成員部分點數；硬分數僅計算其完整所需子樹正確的成員。為了進行診斷，WANDR 也回報了一個僅擷取的判定，該判定在增加對有效性和提交摘錄的更嚴格檢查之前，先詢問擷取的頁面是否滿足任務。

這使得失敗情形具可解釋性且可定位。高精確度搭配低召回率通常意味著系統找到了一些好的成員，但數量不夠。大幅度的軟到硬下降意味著它取得了部分進展，但很少完成完整點數所需的每個分支。分數樹可以將損失定位在發現、豐富、身分處理、頁面資格認定或證據擷取上。

放大

我們的發現

我們比較了六個生產系統：託管的任務與搜尋 API、通用網路代理程式 API、深入研究產品，以及我們的程式化搜尋編排系統 Search as Code (SaC)。每一個系統都在釘選的設定下排程於所有 500 個任務，然後經歷相同的擷取、評判、身分解析和計分管線。

Perplexity Search as Code 以 0.363 軟 F1 和 0.133 硬 F1 領先。Anthropic 以 0.249 和 0.072 居次；其他所有系統的上限皆為 0.121 軟 F1 與 0.035 硬 F1。沒有任何系統能在品質和效率上同時佔優勢。Perplexity 的成本落在中間範圍，每個任務 5.20 美元，中位數解決時間為 14.9 分鐘，每個任務回報的 token 數為 382 萬。OpenAI 和 Exa 更快且更便宜，但分數低得多。Anthropic 在品質上最接近，但使用了相當多的時間、金錢和 token。

放大

放大

我們也在相同的 45 個任務子集上評估了所有可用的努力設定。增加努力會在每個步驟中改善 Perplexity、Gemini 和 Exa；Perplexity 在 xhigh 時達到 0.447 軟 F1 和 0.224 硬 F1。然而，較高的努力並非一致性地更好：OpenAI 在 high 時達到頂峰，而 Parallel 的硬 F1 在 ultra2x 與 ultra4x 之間略有下滑。成本跨越了四個以上的數量級，從 Exa low 的每個任務 0.03 美元到 Gemini max 的 324.83 美元不等。

放大

放大

有四個發現格外突出。

部分進展很常見；完整涵蓋則否。每個系統的軟召回率都低於軟精確度，這意味著一旦完整請求的數量進入分母，效能就會下降。Perplexity 保留了 0.357 的召回率（相較於 0.389 的精確度），是差距最小的；Anthropic 則從 0.354 下降至 0.222。軟到硬的轉換更加嚴苛。Perplexity 從 0.363 軟 F1 下降至 0.133 硬 F1，Anthropic 則從 0.249 下降至 0.072。最佳的硬精確度為 0.150，最佳的硬召回率為 0.134：即使是領先者，在其提交的大約七分之一成員以及任務要求的七分之一成員中，也只能獲得完整點數。

規模會讓問題加劇。從最小到最大的目標數量區間，Perplexity 的硬精確度從 0.235 下降至 0.096，硬召回率從 0.219 下降至 0.079。Anthropic 從 0.205 下降至 0.113，並從 0.127 下降至 0.042；OpenAI 從 0.109 下降至 0.034，並從 0.102 下降至 0.016。召回率通常下降得比精確度快：系統可能會保留一小部分完整的成員，同時對請求集合的涵蓋範圍卻越來越少。

更深的階層更加嚴苛。從沒有中介金鑰到三個或更多，Perplexity 的硬精確度從 0.392 下降至 0.019，硬召回率從 0.378 下降至 0.017；Anthropic 從 0.311 下降至 0.049，並從 0.229 下降至 0.022；OpenAI 從 0.136 下降至 0.012，並從 0.120 下降至 0.011。每個新增的分支都會創造另一個使成員錯失全有或全無硬分數的地方。成本和延遲並未遵循常見的單調模式。

放大

甚至在評判品質之前，發現就是第一個結構性瓶頸。僅看原始的崩潰前計數，平均頂層發現完成度介於 0.611 到 0.951 之間。條件豐富較強，為 0.767–0.967，而一旦成員及其豐富路徑存在，終端證據欄位完成度可達到 0.979–0.994。Perplexity 以 0.951 的發現率和 0.967 的豐富率領先，但 OpenAI 在終端證據欄位上略高，為 0.994 對上 0.991。在六個完整的執行中，重複項崩潰僅佔計數損失的 0.017–0.205 個百分點，因此產出不足（而非身分合併）才是主要的整體解釋。最大的原始結構損失發生在附加最終 URL 之前。

放大

尋找可用的頁面通常很容易；尋找完整的證據則很難。對五個系統而言，只有 3.2%–8.9% 的提交頁面無法使用；OpenAI 是佔 23.1% 的極端值。無效或錯誤類型的記錄也相對罕見，佔 4.2%–17.4%。主要的損失緊隨其後：33.6%–68.3% 的提交頁面未能通過至少一項實質的任務要求，且 57.5%–86.6% 的提交摘錄未能支援記錄所聲稱的所有內容。Perplexity 的比率分別為 41.4% 和 57.5%。其軟 F1 在僅檢查擷取（僅詢問頁面是否符合每項實質要求）時從 0.531 下降至完整判定（還需要通用檢查、任務特定有效性和完整的摘錄支援）時的 0.363。硬 F1 同樣從 0.245 下降至 0.133。困難的部分不僅在於到達貌似合理的頁面；而在於將該頁面轉化為足以支撐整個主張的證據。

放大

Search as Code 非常符合這種任務形態。模型可以將檢索、過濾、分發、算繪、串聯、去重複和停止邏輯表達為程式，而確定性運算則處理模型內容之外的重複操作。該設定與 Perplexity 較強的廣度保留和摘錄建構一致，儘管它並未在每一層都領先：Anthropic 擁有最低的頁面要求失敗率。

下一步是什麼

WANDR 提供的功能不只是單一的排行榜分數。其常見的任務結構與半自動化管線支援多樣化、高容量的任務生成，而每筆記錄的判定與階層層級的分數則顯示了執行失敗的位置：發現、豐富、身分處理、語意資格認定或證據建構。已發布的任務、驗證器和結構診斷為改善綜合搜尋系統以及測試這些增益是否能在規模化下維持提供了基礎。

相同的結構也可能使 WANDR 適用於強化學習。訓練器無須依賴單一稀疏的終端獎勵，而是可以使用記錄與分支層級的評判、為發現和豐富進展分配部分點數，並隨著時間提高所需的計數來建立課程。該管線可以在不列舉黃金答案的情況下，跨網域、階層形狀、證據規則和廣度-深度設定生成保留的同級任務。這為訓練代理程式不僅能尋找正確的事實，還能規劃涵蓋範圍、偵測遺漏的分支並在停止前復原，開闢了一條道路。

基準任務、評估工具包和完整的技術報告已在 GitHub 上架。

引用

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}