Q2D-Web：大規模評估第一階段檢索器

一個包含 7 萬個代理程式查詢、1.9 億個網路文件以及三組相關性判定的基準與排行榜。

作者Perplexity Research

今天，我們隆重推出 Q2D-Web (Query2Doc-Web)，這是一個用於評估代理式 RAG 系統中檢索效能的私有基準與公開排行榜。Q2D-Web 將我們原本的 Q2D 基準擴展至大規模語料庫、更大的查詢集以及更深層的判定標註。

Q2D-Web 旨在評估大規模網路搜尋上的嵌入模型。它包含 1.9 億個網路文件與 69,721 個十種語言的代理程式重新組成查詢，這些查詢是透過橫跨九個月的無 PII 正式搜尋流量採樣而得。

在此規模下，查詢-文件層級的相關性訊號難免稀疏。我們不將單一來源視為黃金標準，而是提供三個相關性判定集，分別衍生自代理程式引用、正式網路排名，以及針對先前未判定之配對的額外 LLM 判定。多重來源限制了來自任何單一標註管線的偏差，而更深層的標註則減少了偽陰性。

我們的排行榜 報告公開發布之檢索模型的結果，這些模型透過一致的索引、檢索與評分管線直接對照基準進行評估。評估可以透過我們的 要求表單提交。

實際檢索評估的挑戰

對於每個查詢，正式規模的檢索系統會搜尋包含數十億個網頁的語料庫，並傳回數千個候選文件。這些候選文件決定了下游系統可以看到哪些來源，直接塑造了代理程式可用的證據。

因此，對此第一階段的實際評估需要能在三個維度上擴展的基準：語料庫中的文件數量、已判定查詢的數量，以及每個查詢的相關性判定數量。

較大的語料庫可以引入難負樣本（與查詢語意相似但未提供所請求資訊的文件），從而使基準更具區辨力。檢索器必須將這些合理的匹配與相關文件區分開來。正如我們以下的子採樣實驗所示，在保留已知相關文件的同時縮小語料庫，可以移除這些干擾項並誇大召回率。

更多已判定的查詢能讓效能估計更為可靠。在查詢集較小的情況下，基準結果會高度取決於取樣了哪些查詢，這使得精確估計每個模型的效能以及自信地區分不同模型變得更加困難。

更深層的判定可減少評估中的偽陰性。在稀疏標籤下，檢索器可能會浮現未被判定且因此被錯誤計算為不相關的相關文件。這會降低評估的可靠性。MS MARCO 是資訊檢索中主要的規模化開放資料集，並形塑了神經檢索模型的發展。在該資料集中，70% 經人工檢查、頂部檢索但未標註的段落實際上是相關的。

現有基準往往僅在其中一或兩個維度上擴展：網路規模的集合通常只有相對較少的已判定查詢，而具有許多查詢的基準通常使用小得多的語料庫與稀疏標籤。此外，大多數基準使用人工編寫的查詢，而代理式 RAG 系統則使用經代理程式重新組成的查詢進行搜尋，這些查詢在措辭、結構和具體性上可能有所不同。

Q2D-Web 在所有三個維度上進行了規模化擴展。在其綜合判定集中，它包含 1.9 億個網路文件、69,721 個經代理程式重新組成的查詢，以及每個查詢平均 99.6 個正向相關性判定。最接近的公開比較是 MS MARCO 網路搜尋（MS MARCO 的網路規模版本）。它擁有 1.009 億個文件、9,374 個測試查詢，以及每個查詢一個衍生自點擊的正向標籤。

我們如何建立 Q2D-Web

Q2D-Web 建構：隱私過濾查詢抽樣、語料庫組合與去重複、相關性標註，以及子語料庫抽樣。

查詢

Q2D-Web 建構於橫跨九個月期間、包含十種語言與數十個網域的 23,000 筆無 PII 正式搜尋。

搜尋包含代理程式為了回應使用者訊息而執行的所有網路搜尋工具呼叫。每個工具呼叫都包含一或多個查詢。每個查詢都是從使用者要求、先前對話，以及適當時從同一搜尋中稍早擷取的文件重新組成。每個正式搜尋包含一個主要查詢（重述使用者的資訊需求）以及零個或多個支援查詢（探索替代措辭、背景資訊或相關實體）。儘管它們解決的是同一個更廣泛的要求，但它們可能需要不同的文件，因此 Q2D-Web 會以各自的相關性判定獨立評估每個查詢。

Q2D-Web 69,721 個查詢的長度與語言分佈。長度以字元數計算；長條圖顯示每個類別中查詢的比例。
Q2D-Web 查詢在各主題領域的分佈。長條圖顯示每個領域佔查詢集的比例；「其他」群組包含十五個額外的領域。

我們對所有包含的查詢套用嚴格的隱私過濾。查詢必須來自允許使用其資料的使用者，且使用 perplexity-ai/pplx-pii-masking 進行的 PII 偵測會排除包含個人資訊的查詢。我們也會移除完全重複的查詢、非常短的查詢，以及包含如 site: 或引號片語等搜尋運算子的查詢。

該基準涵蓋十種語言。英語佔查詢的 65.8%，其次依序為西班牙語、俄語、德語、法語、葡萄牙語、義大利語、韓語、日語和中文。查詢分佈也橫跨廣泛的領域組合，包含消費性商品、程式設計、法律、健康、商業、科學、教育、技術、金融、旅遊、娛樂、政治、本地資訊與新聞。

語料庫

對於每個查詢，我們使用正式檢索系統檢索前 5,000 個文件，並取得這些結果集的聯集。接著，我們使用 MinHash–LSH 進行語料庫去重複，將 Token 5-gram 集的 Jaccard 相似度至少達 0.975 的文件進行分群。

此蒐集故意不採用隨機網路樣本。每個文件都被視為至少一個基準查詢的合理結果。這創造了一組密集且困難的干擾項：符合查詢主題或語言，但可能遺漏必要日期、實體、版本、數量或面向的頁面。

約 1.9 億篇文件的語料庫中的文件長度與語言分佈。長度以字元數計算；長條圖顯示每個類別中文件的比例。

判定

在大規模下，相關性標籤本質上是不完整的。標註每個可能的查詢-文件配對是不可行的，且每個判定來源都帶有不同的偏差。

Q2D-Web 使用三個相關性集而不是將單一來源視為黃金標準，以增加標註深度，同時避免遭受單一偏差的影響。

引用將文件標註為相關，條件是代理程式在回應中引用了它。這是最接近下游使用的訊號：代理程式選擇該文件作為某個聲明的證據。但就其結構而言，引用具有高精確度與低召回率的特性。一旦代理程式有了足夠的支援，它就幾乎沒有理由去引用其他每個相關頁面。

網路排名包含每個查詢最多 50 個文件（平均 43.1 個），這些文件是由內部檢索堆疊在第一階段使用 BM25 與密集檢索識別出來，接著再進行交叉編碼器重排。這捕捉了有用但未被引用的文件。

綜合 + LLM 判定取引用與網路排名的聯集，然後為先前未判定的候選者新增 LLM 判定，其目標是減少偽陰性數量。我們將來自 BM25、ColBERTv2 以及 2025 年 1 月 1 日前發布的七個密集檢索器的結果進行池化，使用相互排名融合（RRF）合併其排名，選出前 500 個未判定的文件，並使用 DeepSeek-V4-Flash 套用嚴格的二元相關性判定。

這三組資料集讓我們能夠探討模型效能是否取關相關性的定義方式。它們也減少了對單一標註堆疊的依賴，否則該堆疊可能會偏袒類似於用來產生標籤的系統之檢索器。

對數尺度下每個查詢的相關文件分佈。組合標籤結合了引用、網頁排名以及額外的 LLM 評估。

子採樣：在大規模下進行有效評估

完整語料庫評估既昂貴又緩慢。使用 pplx-embed-v1-4b 在 Q2D-Web 上進行單一評估需要 4,608 個 H200 GPU 小時，而即使像 EmbeddingGemma-300M 這樣的小型模型也需要將近 200 個 H200 GPU 小時。

為了保持評估的實用性，我們建構了語料庫的子採樣版本。

我們在各個採樣策略中執行了廣泛的消融實驗，以建構一個能反映完整語料庫行為的較小子語料庫。每個策略都會保留所有獲得正向判定的文件，僅在如何選擇未判定干擾項方面有所不同。重要的干擾項是檢索器很可能會排在相關文件之上的干擾項，因為這些干擾項會改變模型的得分及其在排名中的位置。

我們比較了統一隨機抽樣、跨構建檢索器聚合至固定深度，以及針對不同深度的每個查詢 RRF。基於 RRF 的抽樣僅使用完整語料庫中 31.7% 的文件。它在 Combined 判定下保留了完整語料庫模型的排名，同時貼近絕對分數，將平均 Recall@1000 提高了 5.2 個百分點，而相同大小的隨機抽樣則提高了 12.8 個百分點。

跨抽樣策略的平均 Recall@1000 以及在 Combined 判定下與完整語料庫模型排名的吻合度。倒數排名融合（RRF）使用 31.7% 的語料庫保留了被評估模型的排名，且其召回率膨脹程度小於隨機抽樣。

這將評估成本降至完整語料庫成本的大約三分之一。使用基於 RRF 的子語料庫，pplx-embed-v1-4b 大約需要 1,500 個 H200 GPU 小時，而 EmbeddingGemma-300M 則需要不到 70 個。

每個提交項目都會先在取樣的子語料庫版本上進行評估。提交項目依總參數數量分為兩組：1B 以下與 1B 以上。在取樣子語料庫中進入其分組前十名的模型，接著會針對完整語料庫進行評估。在其分組中排名在前 10 名以外的模型將僅發布於取樣子語料庫排行榜上。

評估結果

在評估的模型中，Q2D-Web 透過其 3 個不同的相關性集，提供了在網路規模下檢索效能的一致視角。排行榜讓這些互補的視角並排呈現，允許使用者檢視模型在較窄的引用型標籤與較寬的相關性判定下的表現。

我們將 Recall@1000 視為主要指標，因為第一階段檢索器只需要將相關文件放入候選池中，而後續的重排則決定其最終順序。

13 個檢索器的組合 Recall@1000 對比組合 nDCG@10，依模型系列分組。最高得分的模型在兩個指標之間有所不同。

表 1. 十三個檢索器在 Citation、Web Ranking 及 Combined 相關性集上的完整語料庫 Recall@1000 與 nDCG@10。分數越高越好。

模型

Recall@1000：引用

Recall@1000：網路排名

Recall@1000：綜合

nDCG@10：引用

nDCG@10：網路排名

nDCG@10：綜合

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

pplx-embed-v1-4b 在所有三個判定集（Citation (85.03)、Web Ranking (65.73) 及 Combined (70.00)）上均擁有最高 Recall@1000。在 Combined Recall@100 和 nDCG@10 上，Nemotron-3-Embed-8B（30.32 與 45.65）的得分高於 pplx-embed-v1-4b（30.17 與 44.12）。

在同一個系列中，較大的模型在 Combined Recall@1000 上的得分更高。Qwen3-Embedding 從 58.68 (0.6B) 提升至 65.32 (8B)，Nemotron-3-Embed 從 62.44 (1B) 提升至 69.33 (8B)，而 pplx-embed-v1 則從 67.91 (0.6B) 提升至 70.00 (4B)。

Perplexity 模型的評估管線與所有其他提交的模型相同。然而，由於 Q2D-Web 衍生自 Perplexity 正式流量，這些模型可能會受益於分佈內優勢。儘管基準的評估查詢與語料庫已從模型訓練中排除，但在解讀結果時仍應將此潛在優勢納入考量。

如何提交至排行榜

若要要求評估，請透過我們的評估要求表單提交公開可用的 Hugging Face 模型。

我們遵循提交儲存庫中的模型卡來設定模型特定的推論設定，包含建議的查詢與文件指示或前綴、集區、正規化以及相似性函數。所有查詢與文件皆使用模型自身的分詞器（包含指示、前綴與特殊符號）截斷至 512 個 Token，因此更長的支援上下文不會帶來優勢。請確保模型卡提供完整且明確的指示，以重現預期的檢索設定。

符合資格的模型必須透過標準 transformers 或 sentence-transformers API 載入。未使用 trust_remote_code=False 執行的模型需要在評估前對自訂程式碼與提交者進行人工審查，這會花費相當多的時間。私有或受保護的儲存庫不符合資格。

閱讀我們的技術報告以深入了解方法論與研究結果。

引用

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}