透過 DRACO 基準測試在實際環境中評估深入研究效能

今天，我們發佈了深度研究準確度、完整性與客觀性（DRACO）基準測試，這是一個開放式基準測試，旨在根據用戶實際使用 AI 進行複雜研究任務的方式來評估深度研究代理。透過開源 DRACO，我們的目標是協助更廣泛的 AI 社群建構能更好地滿足真實用戶需求的研發工具。

DRACO 突顯了解決合成任務與滿足真實研究需求之間的差距。評估測試架構與模型無關：隨著更強大的代理式 LLM 出現，我們將重新執行評估並發佈更新後的結果。當我們向 Perplexity.ai 上的深入研究推送改進時，用戶將在產品效能和基準測試分數中看到這些提升。

Perplexity 深入研究在領先的外部基準測試中實現了最先進的效能，包括 Google DeepMind 的 DeepSearchQA 和 Scale AI 的 ResearchRubrics。

深入研究系統在 Google DeepMind 的 DeepSearchQA 基準上的得分。

深入研究系統在 Scale AI 的 ResearchRubrics 基準上的得分。

這些結果源自於將最佳可用模型與 Perplexity 專為此目的建構的代理式功能相結合：專有搜尋工具、瀏覽器基礎設施和程式碼執行。這些共同形成了一個端到端最佳化的系統，用於檢索、綜合和推理真實世界資訊。

在建構這項產品的過程中，我們意識到外部基準測試雖然對比較模型很有用，但往往無法捕捉真實用戶每天都會提出的多面向查詢和綜合需求。今天，我們將開源 DRACO 基準測試，這是一個立基於人們實際使用深入研究方式的基準測試，其靈感來自十個領域中數百萬個生產任務。

現有的基準測試通常以孤立方式測試狹隘的技能：檢索單一事實、回答常識問題或解決定義明確的問題。但真實的研究查詢需要跨來源的綜合、細緻的分析以及可操作的指引，同時還要維持事實準確性和正確的引文。

DRACO 基準測試包含 100 個精心策劃的任務，橫跨學術、金融、法律、醫學、科技、常識、UX 設計、個人化助理、購物/產品比較以及大海撈針，每個任務都配有專家精心製作的評分標準，平均包含約 40 項評估準則。

這些任務源自於 Perplexity 深入研究上的實際用戶請求，取樣自數百萬個生產請求，然後經過五階段管道進行系統性重新構想、擴增和過濾：我們移除個人識別資訊、新增上下文與範圍、過濾客觀性與難度，並由領域專家進行最終審查。其結果是一個反映真實用戶需求而非合成練習或專家策劃任務的基準測試。

基準測試中的每個任務都經歷了嚴格的評分標準開發過程。Perplexity 與資料生成合作夥伴 The LLM Data Company 合作，為該集合開發並壓力測試評估標準。主題專家在 LLM 工具的協助下草擬初始評分標準，然後透過同儕審查和校準進行迭代。規格不明確和過於寬鬆的評分標準被退回修訂，此過程大約使 45% 的評分標準得到了完善。其結果是能夠真正區分系統能力的評估標準。

評分標準評估四個維度：事實準確性（約佔所有準則的一半）、分析的廣度與深度、呈現品質以及主要來源的引文。每個準則都會獲得一個反映其重要性的權重，並且某些準則為負面評分，會對幻覺或不受支援的主張等錯誤進行扣分。

回覆是使用「LLM 作為裁判」的協議進行評分的，其中每個準則都會收到一個二元判定。這種方法非常適合事實準確性評估，因為評分標準將裁判立基於源自搜尋結果的真實世界資料，將主觀評估轉化為可驗證的事實查核。我們在三個裁判模型中驗證了可靠性，發現雖然絕對分數有所不同，但相對系統排名保持一致。

DRACO 評估框架：任務與評分準則、深入研究 AI 代理程式、LLM 評判者，以及結果。

該基準測試旨在評估能夠存取完整研究工具集的代理，包括程式碼執行沙箱和瀏覽器功能。

各領域效能。 我們透過測量通過率（達到評估準則的百分比）評估了 10 個知識領域中的四個深入研究系統。深入研究在所有領域中都實現了最高的通過率，在法律（89.4%）和學術（82.4%）領域表現尤其強勁。

對用戶而言，這意味著無論您是在準備法律簡報、進行文獻綜述還是比較醫療選項，都能獲得更可靠的答案。在複雜推理任務中，效能差距顯著擴大：在個人化助理和大海撈針情境中，Perplexity 的表現比得分最低的系統高出 20 個百分點以上。這些領域反映了真實用戶的需求，例如個人化推薦以及尋找埋藏在大文件中的特定事實。

各評估面向的效能。 在四個關鍵評估維度中，深入研究在三個維度領先：事實準確性、分析的廣度與深度，以及引文品質。當您需要信任您的研究來做出真實決策時（無論您是在為客戶提供建議、進行投資，還是撰寫署名報告），這些都是最重要的維度。在呈現品質方面，只有另一個系統展現出與 Perplexity 深入研究相當的效能，這表明深入研究中的艱鉅問題不在於格式化，而在於確保事實正確且分析完整。

品質與效率。 值得注意的是，表現最好的系統也實現了最低的延遲（459.6 秒，而競爭對手為 592 至 1808 秒）。對用戶而言，這意味著您不必在徹底研究和快速獲得答案之間做出選擇。這反映了垂直整合、端到端基礎設施的優勢：更好的搜尋¹ [連至我們搜尋 api 的腳註] 以及具備最佳化執行環境的瀏覽器整合，直接轉化為更快速、更準確的研究。

Perplexity 的深入研究架構與模型無關：隨著更強大的代理式 LLM 出現，我們將重新執行評估並發佈更新後的結果。當我們向 Perplexity.ai 上的深入研究推送改進時，用戶將在產品效能和基準測試分數中看到這些提升。

該基準測試目前僅評估橫跨十個領域的英文、單輪互動。未來的迭代將擴大語言多樣性、新增多輪評估，並擴大領域覆蓋範圍。

DRACO 基準測試現已完全開源。任何建構深入研究系統的團隊都可以針對真實世界的研究任務（而非合成的學術難題）來評估其模型。我們正在發佈完整的基準測試、所有評分標準以及裁判提示詞。

若要深入了解方法論與詳細結果，請閱讀完整技術報告：DRACO 基準測試，並在 Hugging Face 上探索資料集。

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

最先進的深入研究

為什麼以生產環境為基礎的評估如此重要

DRACO 基準測試的運作方式

工具集與評估環境

我們的發現

下一步計劃

使用 DRACO 基準測試建構更好的研究代理

引用