透過 DRACO 基準測試評估野外環境下的深入研究效能

今天，我們發佈了「深入研究準確性、完整性和客觀性基準測試」（Deep Research Accuracy, Completeness, and Objectivity, DRACO），這是一個開放的基準測試，旨在根據用戶在現實中如何使用 AI 進行複雜研究任務的場景，評估深入研究智能體（agents）。透過將 DRACO 開源，我們的目標是協助更廣泛的 AI 社群打造能更好服務真實用戶需求的研發工具。

DRACO 突顯了合成任務的解題能力與滿足真實研究需求之間的落差。此評估框架與模型無關：隨著更強大的 agentic LLM 出現，我們將重新執行評估並發布更新後的結果。隨著我們在 Perplexity.ai 上推出對 Deep Research 的改進，使用者將會看到這些提升反映在產品效能與基準分數上。

Perplexity 的「深入研究」在 Google DeepMind 的 DeepSearchQA 和 Scale AI 的 ResearchRubrics 等領先外部基準測試中均取得了頂尖效能。

深入研究系統在 Google DeepMind 的 DeepSearchQA 基準上的分數。

深入研究系統在 Scale AI 的 ResearchRubrics 基準上的分數。

這些結果源於將現有最佳模型與 Perplexity 專為此打造的智能體能力相結合：專有的搜尋工具、瀏覽器基礎設施以及程式碼執行能力。這些功能共同組成了一個經過端到端最佳化的系統，專用於檢索、綜合並對現實世界的資訊進行推理。

在建構此產品的過程中，我們意識到現有的外部基準測試雖然有助於比較模型，但往往無法捕捉真實用戶每天提出的多面向查詢和綜合需求。今天，我們開源了 DRACO 基準測試，這是一個基於人們實際使用「深入研究」方式的基準測試，其靈感來自於跨越十個領域、數百萬次的生產任務。

現有的基準測試通常將單一技能拆解後進行測試：例如檢索單一事實、回答常識問題或解決結構明確的問題。然而，真實的研究查詢需要跨來源的資訊綜合、細緻的分析以及具備可執行性的指導，同時還必須保持事實準確性和正確引用。

DRACO 基準測試包含 100 項精心篩選的任務，涵蓋學術、金融、法律、醫學、科技、常識、UX 設計、個人化助理、購物/產品比較以及「大海撈針」（Needle in a Haystack）等領域，每一項任務均配備了由專家編寫的評分標準，平均包含約 40 個評估準則。

這些任務源自於 Perplexity「深入研究」的真實用戶請求，從數百萬次生產請求中採樣，並經過五階段流程進行系統性的重構、增補與篩選：我們移除個人可識別資訊、增加背景與範圍、篩選客觀性與難度，並由領域專家進行最終審查。其結果是一個反映真實用戶需求，而非合成練習或專家策展任務的基準測試。

基準測試中的每項任務都經歷了嚴格的評分標準開發流程。Perplexity 與資料生成合作夥伴 The LLM Data Company 合作，針對該測試集開發並對評分標準進行壓力測試。領域專家在 LLM 工具的輔助下草擬初步標準，隨後透過同儕審查與校準進行反覆運算。規格不明確且過於寬鬆的標準會被退回修訂，過程中約 45% 的標準至少經過了一次優化。最終確立了能夠確實區分系統能力的評估準則。

評分標準評估四個維度：事實準確性（約佔總準則的一半）、分析的廣度與深度、呈現品質以及原始來源的引用。每個準則的權重反映其重要性，部分準則為負向指標，針對幻覺或缺乏支援的說法等錯誤進行扣分。

回答採用「LLM 作為評審」（LLM-as-judge）的協定進行評級，每個準則獲得二元判決。此方法非常適合事實準確性評估，因為評分標準將評審鎖定在源自搜尋結果的現實世界資料中，將主觀評估轉化為可驗證的事實查核。我們驗證了三個評審模型的一致性，發現雖然絕對分數有所差異，但相對的系統排名保持一致。

DRACO 評估框架：任務與評分規則、深入研究 AI 代理程式、LLM 評審，以及結果。

該基準測試旨在評估具備完整研究工具組存取權的智能體，包括程式碼執行沙箱與瀏覽器功能。

各領域表現。 我們測量了通過率（符合評估準則的百分比），評估了十個知識領域中的四個深入研究系統。「深入研究」在所有領域中均達到最高通過率，在法律（89.4%）和學術（82.4%）領域表現尤為突出。

對於用戶而言，這意味著無論您是在準備法律摘要、進行文獻綜述，還是比較醫療治療選項，都能獲得更可靠的答案。在複雜推理任務中，效能差距顯著擴大：在「個人化助理」和「大海撈針」場景中，Perplexity 的表現比得分最低的系統高出超過 20 個百分點。這些領域反映了真實用戶的需求，例如個人化推薦以及在大型文件中尋找特定事實。

各評估維度表現。 在四個關鍵評估維度中，「深入研究」在三個維度領先：事實準確性、分析的廣度與深度，以及引用品質。當您需要信任研究結果以進行決策時（無論是建議客戶、進行投資，還是撰寫署名報告），這些維度至關重要。僅有一個系統在「呈現品質」上表現與 Perplexity「深入研究」相當，這表明深入研究的核心難題不在於排版，而在於確保事實正確與分析完整。

品質與效率。 值得注意的是，表現最好的系統同時實現了最低延遲（459.6 秒，而競爭對手為 592 至 1808 秒）。對於用戶來說，這意味著您不必在深入研究與快速獲取答案之間做選擇。這反映了垂直整合端到端基礎設施的優勢：更好的搜尋¹（附註連結至我們的搜尋 API）與瀏覽器整合，配合最佳化的執行環境，直接轉化為更快速、更準確的研究。

Perplexity 的 Deep Research harness 與模型無關：隨著更強大的 agentic LLM 出現，我們將重新執行評估並發布更新後的結果。隨著我們在 Perplexity.ai 上推出對 Deep Research 的改進，使用者將會看到這些提升反映在產品效能與基準分數上。

該基準測試目前僅評估十個領域內的英文、單輪對話。未來版本將擴大語言多樣性、增加多輪評估，並擴展領域覆蓋範圍。

DRACO 基準測試現已完全開源。任何建構深入研究系統的團隊都可以對照真實世界的研究任務，而非合成的學術難題來評估其模型。我們正在發佈完整的基準測試、所有評分標準以及評審提示詞（judge prompt）。

欲進一步了解方法論與詳細結果，請閱讀完整的技術報告：DRACO 基準測試，並在 Hugging Face 上探索資料集。

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

頂尖的深入研究

為什麼基於生產環境的評估至關重要

DRACO 基準測試的運作方式

工具組與評估環境

我們的發現

下一步展望

透過 DRACO 基準測試建構更好的研究智能體

引用