WANDR 基準：評估必須進行廣度與深度搜尋的研究代理

今天，我們發布了 WANDR (廣度與深度研究)，這是一個開放式基準測試與評估工具，圍繞 500 項針對知識工作的真實且具挑戰性的資料收集任務而構建。WANDR 是我們 DRACO 深入研究基準的廣度對應版本。DRACO 旨在詢問代理（agent）能否產出一份準確、完整且客觀的長篇報告；而 WANDR 則詢問它能否建立大型合集，並以具體證據支援每一項成員內容。

這些是人們已經委託研究代理處理的工作類型：競爭對手映射、盡職調查、文獻回顧、市場分析、產品比較、人才搜尋等。這些任務涉及的記錄數量從數十條到數千條不等，且皆可獨立驗證。即使在高投入的設定下，我們評估中最強大的系統也僅達到 0.363 的軟性 F1 分數與 0.133 的硬性 F1 分數。廣度與深度研究離徹底解決仍有很長一段距離。

放大

為何廣度與深度研究至關重要

許多實用的研究工作並非在代理找到一個答案後就結束。市場分析師可能需要所有符合資格的競爭對手，並為每一家提供相同的證據。盡職調查團隊（teams）可能需要數十家公司，然後是其中每一家公司的所有權、高階主管、融資與監管狀態。這產生了兩項不同的需求：

廣度（Wide）： 發現大量且通常未定義範圍的合格實體集合。

深度（Deep）： 對每個實體進行足夠深入的調查，以證據支持每一項提出的主張。

將兩者結合會改變問題的本質。少量的引人注目的範例是不夠的，建立在不完整研究基礎上的精美敘事亦然。代理必須在不犧牲從一條記錄到下一條記錄的事實品質的前提下，維持廣泛的探索。

WANDR 以靈活且可組合的 資格鍵階層（qualification key hierarchy）捕捉了這種結構。一項任務可能會要求

公司(n) → 員工(m) → 網址(k)

這意味著需要找到 n 家合格公司，每家公司 m 名合格員工，以及每位員工 k 個支援網頁。樹狀結構中的每一條完整路徑皆可被獨立驗證。相同的基本結構可以表示平坦列表、巢狀搜尋、矩陣或具有多個證據分支的任務。這些模式也可以組合使用，使單一表示法能涵蓋廣泛的真實世界使用情境。

放大

已發布的一項任務展示了此結構的實際應用。

ceo_cfo_appointments

主要任務： 找到至少 70 家總部位於美國的公司，且其 CEO 或 CFO 的任命首次公告於 2026 年 3 月 1 日至 4 月 30 日之間。對於每家公司，請提供一個具權威性的任命頁面，該頁面需識別公司與被任命者、確認職位與公告日期，並來自發行機構、存檔文件、新聞通訊社或直接歸因的第一手商業報導。

主要階層： 公司(70) → 公司被任命者(1) → 網址(1)。

公司上市子任務： 對於相同的公司，提供一個受認可的上市權威頁面，顯示其在美國全國性證券交易所上市，或作為美國註冊 SEC 證券交易法報告發行人的狀態。

子任務階層： 公司(70) → 網址(1)。

所需記錄： 140 條：70 條任命記錄加上 70 條上市記錄。

每一條路徑皆以一個頁面與評分者可重新檢查的摘錄結尾。共享的公司鍵將任命與上市分支對齊，因此若任命缺乏單獨的上市狀態證明，該公司記錄仍被視為不完整。

真實任務，大規模生成

WANDR 並非從合成提示詞開始，而是從生產環境觀察到的去識別化模式開始。這使基準測試能貼近人們實際委託的工作：開放式探索、重複性增強、跨來源檢查以及專業規模下的結構化比較。半自動化管線將這些模式轉化為任務，將人力保留於品質控制，而非窮盡式的答案註解。

管線包含四個階段。種子挖掘（Seeding）從去識別化的產品請求中挖掘可重複使用的廣度研究模式。創作（Authoring）執行交錯的作者-評論者循環：代理繪製並壓力測試設計、編寫任務規格與評判標準、建立基準記錄，並使用自動化檢查器確保一切對齊。准入（Admission）透過合併 10–12 次創作輸出以檢查目標數量是否可達，稽核特定任務的評判者，並可選擇性地增加人工簽核。策展（Curation）標記准入的任務，並在主題、規模、拓撲與難度之間選擇平衡的最終集合。

放大

中位數任務要求 50 個成員、每個成員 4 條記錄，總計 245 條記錄。總體而言，這 500 項任務需要 170,495 條具來源依據的記錄。我們根據歷史設計階段的執行情況校準難度，然後將任務按等級分為 167 個低難度、166 個中難度與 167 個高難度範例。下圖顯示難度並非僅由規模決定；它還取決於每條記錄所需的工作量。

放大

無參考答案、證據驗證式評分

固定的答案鍵並不適合開放式研究。它建置成本高昂、容易過時，且無法有效代表答案隨時間變化的問題。WANDR 轉而根據代理引用的證據來評分每一項提交的主張。

每一條記錄都包含項目、網址、選定的摘錄與答案。評分者重新擷取頁面並檢查其是否可用、主張是否清晰且在範圍內、摘錄是否真實出現在頁面上，以及頁面與摘錄是否支持每一項要求。

這些二元記錄判決透過階層逐層匯總。精確度（Precision）衡量系統提交內容的品質。召回率（Recall）衡量相對於請求數量的品質調整後完成度，並以零值填補缺口。F1 分數則是兩者的平衡。軟性分數給予不完整成員部分點數（credits）；硬性分數僅計算完整所需子樹皆正確的成員。為了診斷，WANDR 也提供了一個僅檢索的判決結果，該結果在進行更嚴格的有效性與提交摘錄檢查之前，詢問擷取的頁面是否滿足任務要求。

這使得失敗原因變得可解釋且可定位。高精確度但低召回率通常意味著系統找到了一些好成員，但數量不足。大幅度的軟性轉硬性分數下降意味著系統取得了部分進展，但很少能完成獲得完整點數（credits）所需的每一個分支。分數樹可以將損失定位在發現、豐富化、識別處理、頁面資格判定或證據提取階段。

放大

我們的發現

我們比較了六個生產系統：託管任務與搜尋 API、通用網路代理 API、一個深入研究產品，以及我們的程式化搜尋編排系統 Search as Code (SaC)。每個系統都在固定配置下對所有 500 項任務進行排程，然後經歷相同的擷取、評判、實體解析與評分管線。

Perplexity Search as Code 以 0.363 的軟性 F1 與 0.133 的硬性 F1 領先。Anthropic 以 0.249 與 0.072 位居第二；其餘所有系統的軟性 F1 最高僅為 0.121，硬性 F1 最高僅為 0.035。沒有系統能同時在品質與效率上佔據優勢。Perplexity 的成本處於中間範圍，每項任務 5.20 美元，解決時間中位數為 14.9 分鐘，每項任務報告約 382 萬個 Token。OpenAI 與 Exa 速度更快且成本更低，但得分較低。Anthropic 在品質上最接近，但使用了明顯更多的時間、金錢與 Token。

放大

放大

我們還在相同的 45 項任務子集上評估了所有可用的努力程度設定。增加努力程度能使 Perplexity、Gemini 與 Exa 的每一步都有所改善；Perplexity 在 xhigh 設定下達到了 0.447 的軟性 F1 與 0.224 的硬性 F1。然而，更高的努力程度並非絕對更好：OpenAI 在 high 時達到高峰，而 Parallel 的硬性 F1 在 ultra2x 與 ultra4x 之間略有下滑。成本跨越了四個數量級以上，從 Exa low 的每任務 0.03 美元到 Gemini max 的 324.83 美元不等。

放大

放大

四個發現尤為突出。

部分進展常見，完全覆蓋則不然。 每個系統的軟性召回率皆低於軟性精確度，這意味著一旦完整請求數量進入分母，效能就會下降。Perplexity 從 0.389 的精確度保留了 0.357 的召回率，差距最小；Anthropic 則從 0.354 下降至 0.222。軟性到硬性的轉換更加嚴峻。Perplexity 從 0.363 的軟性 F1 降至 0.133 的硬性 F1，Anthropic 從 0.249 降至 0.072。最佳硬性精確度為 0.150，最佳硬性召回率為 0.134：即使是領先者，也僅能就其提交的每七名成員中的約一名，以及任務要求的每七名成員中的約一名獲得完整點數（credits）。

規模加劇了問題。 從最小到最大的目標數量區間，Perplexity 的硬性精確度從 0.235 下降至 0.096，硬性召回率從 0.219 下降至 0.079。Anthropic 從 0.205 下降至 0.113 與 0.127 下降至 0.042；OpenAI 從 0.109 下降至 0.034 與 0.102 下降至 0.016。召回率通常比精確度下降得更快：系統可能會保留一小部分完整的成員，同時對請求集合的覆蓋範圍越來越小。

更深的階層更加嚴峻。從無中間鍵到三個或更多，Perplexity 的硬性精確度從 0.392 下降至 0.019，硬性召回率從 0.378 下降至 0.017；Anthropic 從 0.311 下降至 0.049 與 0.229 下降至 0.022；OpenAI 從 0.136 下降至 0.012 與 0.120 下降至 0.011。每增加一個分支，成員就多了一個無法獲得全有全無硬性分數的失分點。成本與延遲並未遵循常見的單調模式。

放大

甚至在評判品質之前，發現就是第一個結構性瓶頸。 僅觀察原始的預坍塌計數，平均頂層發現完成度介於 0.611 至 0.951。條件豐富化較強，為 0.767–0.967，而一旦成員及其豐富化路徑存在，終端證據槽完成度可達 0.979–0.994。Perplexity 在發現（0.951）與豐富化（0.967）方面領先，但 OpenAI 在終端證據槽上略高，為 0.994 對比 0.991。重複坍塌在六次完整執行中僅佔計數損失的 0.017–0.205 個百分點，因此未能交付（而非實體合併）才是主要的總體解釋。最大的原始結構損失發生在最終 URL 附加之前。

放大

找到可用頁面通常很容易；找到完整證據則很難。 對於五個系統而言，僅 3.2%–8.9% 的提交頁面不可用；OpenAI 是 23.1% 的離群值。無效或錯誤類型的記錄也相對罕見，為 4.2%–17.4%。主要的損失隨之而來：33.6%–68.3% 的提交頁面至少無法滿足一項實質任務要求，且 57.5%–86.6% 的提交摘錄無法支持記錄所主張的所有內容。Perplexity 的比例分別為 41.4% 與 57.5%。其軟性 F1 在僅檢索檢查（僅詢問頁面是否符合每一項實質要求）下從 0.531 下降至完整判決下的 0.363，後者還需要通用檢查、任務特定有效性與完整的摘錄支持。硬性 F1 同樣從 0.245 下降至 0.133。困難之處不僅在於找到合理的頁面；而在於將該頁面轉化為足以支持整個主張的證據。

放大

Search as Code 非常符合此任務形態。模型可以將檢索、過濾、扇出、渲染、連接、去重與停止邏輯表達為程式，而確定性運算則處理模型上下文之外的重複操作。該配置與 Perplexity 較強的廣度保留與摘錄建構相符，儘管它並未在每一層都領先：Anthropic 擁有最低的頁面要求失敗率。

下一步

WANDR 提供的不僅僅是單一的排行榜分數。其共同的任務結構與半自動化管線支援多樣化、高容量的任務生成，而逐條記錄的判決與階層級分數顯示了執行失敗之處：發現、豐富化、識別處理、語義資格判定或證據建構。已發布的任務、驗證器與結構診斷為改進綜合搜尋系統以及測試這些收益在規模上是否成立提供了基礎。

相同的結構也可能使 WANDR 對強化學習有用。訓練者無需依賴單一稀疏的終端獎勵，可以使用記錄與分支級別的判斷，為發現與豐富化進度分配部分點數（credits），並透過隨時間提高所需數量來建構課程。該管線可以在不列舉金標準答案的情況下，跨領域、階層形狀、證據規則與廣度-深度設定生成被排除的同胞任務。這為訓練代理不僅能找到正確事實，還能規劃覆蓋範圍、偵測缺失分支並在停止前恢復內容建立了一條途徑。

基準任務、評估工具與完整技術報告 可在 GitHub 上取得。

引用

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}