Q2D-Web: Vyhodnocení vyhledávačů první fáze ve velkém měřítku

Benchmark a žebříček se 70 tisíci dotazy agentů, 190 miliony webových dokumentů a třemi sadami posouzení relevance.

AutořiPerplexity Research

Dnes představujeme Q2D-Web (Query2Doc-Web), soukromý benchmark a veřejný žebříček pro vyhodnocování vyhledávání v agentických systémech RAG. Q2D-Web rozšiřuje náš původní benchmark Q2D o velkoobjemový korpus, větší sadu dotazů a hlubší anotační posouzení.

Q2D-Web je vytvořen k vyhodnocování modelů pro tvorbu vícerozměrných vektorů (embedding) při webovém vyhledávání ve velkém měřítku. Skládá se ze 190 milionů webových dokumentů a 69 721 dotazů přeformulovaných agentem v deseti jazycích, vzorkovaných během devíti měsíců provozu produkčního vyhledávacího provozu bez PII.

V tomto měřítku je signál relevance na úrovni dotazu a dokumentu nevyhnutelně řídký. Namísto zacházení s jedním zdrojem jako s absolutní pravdou poskytujeme tři sady posouzení relevance, odvozené z citací agenta, produkčního webového řazení a dodatečných posouzení pomocí LLM pro dříve neposouzené páry. Více zdrojů omezuje zkreslení z jakéhokoli jednotlivého anotačního kanálu, zatímco hlubší anotace snižují počet falešně negativních výsledků.

Náš žebříček uvádí výsledky pro veřejně vydané modely vyhledávání, vyhodnocené přímo vůči benchmarku pomocí konzistentního kanálu pro indexování, vyhledávání a bodování. Hodnocení lze odeslat prostřednictvím našeho formuláře žádosti.

Výzva realistického vyhodnocení vyhledávání

Pro každý dotaz prohledává produkční systém pro vyhledávání korpus čítající miliardy webových stránek a vrací tisíce kandidátských dokumentů. Tito kandidáti určují, které zdroje mohou následné systémy vidět, a přímo tak utvářejí důkazy dostupné agentovi.

Realistické vyhodnocení této první fáze proto vyžaduje benchmarky, které škálují ve třech dimenzích: počet dokumentů v korpusu, počet posouzených dotazů a počet posouzení relevance na dotaz.

Větší korpusy mohou učinit benchmark diskriminativnějším tím, že zavádějí obtížné negativní vzorky – dokumenty, které jsou sice sémanticky podobné dotazu, ale neposkytují požadované informace. Vyhledávače musí tyto věrohodné shody odlišit od relevantních dokumentů. Zmenšení korpusu při zachování známých relevantních dokumentů může tyto distaktory odstranit a nadhodnotit míru vybavení (recall), jak ukazují naše níže uvedené experimenty s podvzorkováním.

Větší množství posouzených dotazů činí odhady výkonnosti spolehlivějšími. S malou sadou dotazů závisí výsledky benchmarku silně na tom, které dotazy byly vzorkovány, což ztěžuje přesný odhad výkonnosti jednotlivých modelů a spolehlivé rozlišení mezi modely.

Hlubší posouzení snižují počet falešně negativních výsledků při vyhodnocení. S řídkými štítky může vyhledávač vynést na povrch relevantní dokumenty, které nejsou posouzeny, a jsou proto nesprávně započítány jako irelevantní. To snižuje spolehlivost vyhodnocení. MS MARCO je hlavním rozsáhlým otevřeným datasetem v oblasti vyhledávání informací a utvářel vývoj modelů neuronového vyhledávání. Tam bylo 70 % manuálně zkontrolovaných nejlépe vyhledaných, ale neoznačených pasáží ve skutečnosti relevantních.

Stávající benchmarky mívají tendenci škálovat pouze v jedné nebo dvou z těchto dimenzí: kolekce v měřítku webu mají často poměrně málo posouzených dotazů, zatímco benchmarky s mnoha dotazy obvykle používají mnohem menší korpusy a řídké štítky. Většina benchmarků navíc používá dotazy napsané lidmi, zatímco agentické systémy RAG vyhledávají pomocí dotazů přeformulovaných agentem, které se mohou lišit formulací, strukturou a specifičností.

Q2D-Web škáluje ve všech třech dimenzích. Obsahuje 190 milionů webových dokumentů, 69 721 dotazů přeformulovaných agentem a průměrně 99,6 pozitivních posouzení relevance na dotaz ve své kombinované sadě posouzení. Nejbližším veřejným srovnáním je MS MARCO Web Search, verze MS MARCO v měřítku webu. Má 100,9 milionu dokumentů, 9 374 testovacích dotazů a jeden pozitivní štítek odvozený z kliknutí na dotaz.

Jak jsme vytvořili Q2D-Web

Sestavení Q2D-Web: vzorkování dotazů filtrované podle soukromí, sestavení a deduplikace korpusu, značení relevance a vzorkování dílčího korpusu.

Dotazy

Q2D-Web vychází z 23 000 produkčních vyhledávání bez PII v deseti jazycích a desítkách domén sesbíraných během devítiměsíčního období.

Vyhledávání se skládá ze všech volání nástrojů pro webové vyhledávání, která agent provede v reakci na uživatelskou zprávu. Každé volání nástroje obsahuje jeden nebo více dotazů. Každý dotaz je přeformulován z požadavku uživatele, předchozí konverzace a případně dříve získaných dokumentů ve stejném vyhledávání. Každé produkční vyhledávání obsahuje jeden primární dotaz, který přeformuluje informační potřebu uživatele, a nula či více podpůrných dotazů, které zkoumají alternativní formulace, kontextové informace nebo související entity. Ačkoliv se týkají téhož širšího požadavku, mohou vyžadovat odlišné dokumenty, a proto Q2D-Web vyhodnocuje každý dotaz nezávisle s vlastními posouzeními relevance.

Rozdělení délky a jazyků 69 721 dotazů v Q2D-Web. Délka je měřena v znacích; sloupce znázorňují podíl dotazů v jednotlivých kategoriích.
Rozdělení dotazů Q2D-Web napříč oborovými doménami. Sloupce znázorňují podíl jednotlivých domén na sadě dotazů; „Ostatní“ sdružuje patnáct dalších domén.

Pro všechny zahrnuté dotazy uplatňujeme přísné filtrování soukromí. Dotazy musí pocházet od uživatelů, kteří povolili použití svých dat, a detekce PII pomocí perplexity-ai/pplx-pii-masking vylučuje dotazy obsahující osobní údaje. Rovněž odstraňujeme přesné duplikáty, velmi krátké dotazy a dotazy obsahující vyhledávací operátory jako site: nebo citované fráze.

Benchmark pokrývá deset jazyků. Angličtina tvoří 65,8 % dotazů, následuje španělština, ruština, němčina, francouzština, portugalština, italština, korejština, japonština a čínština. Distribuce dotazů rovněž pokrývá širokou škálu domén, včetně spotřebního zboží, programování, práva, zdraví, obchodu, vědy, vzdělávání, technologií, financí, cestování, zábavy, politiky, místních informací a zpráv.

Korpus

Pro každý dotaz získáme 5 000 nejlepších dokumentů pomocí produkčního vyhledávacího systému a provedeme sjednocení těchto množin výsledků. Následně deduplikujeme korpus pomocí MinHash–LSH a seskupujeme dokumenty, jejichž sady 5-gramů tokenů mají Jaccardovu podobnost alespoň 0,975.

Kolekce záměrně není náhodným vzorkem webu. Každý dokument byl považován za věrohodný výsledek alespoň pro jeden srovnávací dotaz. Vzniká tak hustá sada obtížných distaktorů: stránek, které odpovídají tématu nebo jazyku dotazu, ale mohou postrádat požadované datum, entitu, verzi, množství nebo aspekt.

Rozdělení délky a jazyků dokumentů v přibližně 190milionovém korpusu dokumentů. Délka je měřena v znacích; sloupce znázorňují podíl dokumentů v jednotlivých kategoriích.

Posouzení

Štítky relevance jsou ve velkém měřítku ze své podstaty neúplné. Anotace každého možné páru dotaz a dokument je neproveditelná a každý zdroj posouzení nese jiné zkreslení.

Q2D-Web používá tři sady relevance namísto toho, aby zacházel s jedním zdrojem jako s absolutní pravdou, což zvyšuje hloubku anotací, aniž by trpělo jediným zkreslením.

Citation označuje dokument jako relevantní, pokud jej agent citoval v odpovědi. Toto je signál nejbližší následnému použití: agent vybral dokument jako důkaz pro tvrzení. Citace však má ze své podstaty vysokou přesnost a nízkou míru vybavení. Jakmile má agent dostatečnou podporu, má jen malý důvod citovat každou další relevantní stránku.

Web Ranking se skládá až z 50 dokumentů na dotaz (v průměru 43,1), identifikovaných interním vyhledávacím kanálem využívajícím v první fázi BM25 a husté vyhledávání, následovaným přerazením pomocí cross-encoderu. To zachycuje dokumenty, které jsou užitečné, ale nejsou citovány.

Combined + LLM-Judged provádí sjednocení sad Citation a Web Ranking a následně přidává posouzení pomocí LLM pro dříve neposouzené kandidáty s cílem snížit počet falešně negativních výsledků. Sdružujeme výsledky z BM25, ColBERTv2 a sedmi hustých vyhledávačů vydaných před 1. lednem 2025, slučujeme jejich pořadí pomocí reciprocal rank fusion (RRF), vybíráme 500 nejlepších neposouzených dokumentů a uplatňujeme přísné binární posouzení relevance pomocí DeepSeek-V4-Flash.

Tyto tři sady nám umožňují zjistit, zda výkonnost modelů závisí na způsobu definice relevance. Rovněž omezují závislost na jediné sadě anotací, která by jinak mohla zvýhodňovat vyhledávače podobné systému použitému ke generování štítků.

Rozdělení relevantních dokumentů na dotaz v logaritmickém měřítku. Kombinované štítky sdružují citace, webové hodnocení a dodatečná posouzení LLM.

Podvzorkování: efektivní vyhodnocení ve velkém měřítku

Vyhodnocení na celém korpusu je drahé a pomalé. Jediné vyhodnocení na Q2D-Web s modelem pplx-embed-v1-4b vyžaduje 4 608 hodin H200 GPU, zatímco i malý model jako EmbeddingGemma-300M vyžaduje téměř 200 hodin H200 GPU.

Abychom zachovali praktičnost vyhodnocení, vytváříme podvzorkovanou verzi korpusu.

Provedli jsme rozsáhlou ablační studii napříč vzorkovacími strategiemi, abychom sestavili menší podkorpus odrážející chování celého korpusu. Každá strategie zachovává všechny pozitivně posouzené dokumenty a liší se pouze v tom, jak jsou vybírány neposouzené distaktory. Důležité distaktory jsou ty, které vyhledávač pravděpodobně seřadí nad relevantní dokument, protože ty mění skóre modelu a jeho pozici v žebříčku.

Porovnali jsme rovnoměrný náhodný výběr (uniform random sampling), seskupování na pevnou hloubku napříč vyhledávači a RRF (Reciprocal Rank Fusion) pro jednotlivé dotazy v různých hloubkách. Vzorkování založené na RRF využívá pouze 31,7 % dokumentů v celém korpusu. Zachovává žebříček modelů pro celý korpus v rámci kombinovaných hodnocení (Combined judgments) a zároveň zůstává blízko absolutním skóre, přičemž zvyšuje průměrnou hodnotu Recall@1000 o 5,2 bodu oproti 12,8 bodům u náhodného vzorkování stejné velikosti.

Průměrná hodnota Recall@1000 a shoda s žebříčkem modelů pro celý korpus v rámci kombinovaných hodnocení napříč strategiemi vzorkování. Metoda RRF (Reciprocal Rank Fusion) zachovává žebříček hodnocených modelů s použitím 31,7 % korpusu, přičemž dochází k menšímu zkreslení hodnoty recall než při náhodném vzorkování.

To snižuje náklady na vyhodnocení na přibližně třetinu nákladů na celý korpus. Při použití podkorpusu založeného na RRF vyžaduje pplx-embed-v1-4b přibližně 1 500 hodin H200 GPU a EmbeddingGemma-300M vyžaduje méně než 70.

Každý příspěvek je nejprve vyhodnocen na vzorkované verzi podkorpusu. Příspěvky jsou rozděleny do dvou skupin podle celkového počtu parametrů: do 1B a nad 1B. Model, který se na vzorkovaném podkorpusu umístí v top ten své skupiny, je následně vyhodnocen na celém korpusu. Modely umístěné mimo první desítku ve své skupině budou publikovány pouze v žebříčku vzorkovaného podkorpusu.

Výsledky vyhodnocení

Napříč vyhodnocovanými modely poskytuje Q2D-Web konzistentní pohled na výkonnost vyhledávání v měřítku webu napříč svými 3 různými sadami relevance. Žebříček zpřístupňuje tyto doplňkové pohledy vedle sebe, což uživatelům umožňuje zkoumat, jak si modely vedou pod užšími štítky založenými na citacích a širšími posouzeními relevance.

Zaměřujeme se na Recall@1000 jako na naši primární metriku, protože vyhledávač v první fázi potřebuje pouze umístit relevantní dokumenty do kandidátského fondu, zatímco následné přerazení určuje jejich konečné pořadí.

Combined Recall@1000 versus Combined nDCG@10 pro třináct vyhledávačů, seskupených podle rodiny modelů. Model s nejvyšším skóre se mezi těmito dvěma metrikami liší.

Tabulka 1. Hodnoty Recall@1000 a nDCG@10 pro třináct vyhledávačů napříč referenčními sadami Citation, Web Ranking a Combined. Vyšší skóre znamená lepší výsledek.

Model

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0.6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0.6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0.6b

78,64

58,14

64,20

11,88

17,25

41,77

Model pplx-embed-v1-4b dosahuje nejvyššího skóre Recall@1000 ve všech třech hodnotících sadách: Citation (85,03), Web Ranking (65,73) a Combined (70,00). V sadách Combined Recall@100 a nDCG@10 dosahuje Nemotron-3-Embed-8B (30,32 a 45,65) lepších výsledků než pplx-embed-v1-4b (30,17 a 44,12).

V rámci jedné rodiny modelů dosahují větší modely vyššího skóre Combined Recall@1000. Qwen3-Embedding roste z 58,68 (0,6B) na 65,32 (8B), Nemotron-3-Embed z 62,44 (1B) na 69,33 (8B) a pplx-embed-v1 z 67,91 (0,6B) na 70,00 (4B).

Modely Perplexity jsou vyhodnocovány pomocí stejného kanálu jako všechny ostatní odeslané modely. Jelikož však Q2D-Web vychází z produkčního provozu Perplexity, mohou tyto modely těžit z výhody v rámci distribuce. Přestože byly vyhodnocovací dotazy a korpus benchmarku z trénování modelů vyloučeny, výsledky je nutné interpretovat s ohledem na tuto potenciální výhodu.

Jak odeslat příspěvek do žebříčku

Chcete-li požádat o vyhodnocení, odešlete veřejně dostupný model Hugging Face prostřednictvím našeho formuláře žádosti o vyhodnocení.

Pro nastavení odvození specifická pro jednotlivé modely se řídíme kartou modelu v odeslaném úložišti, včetně doporučených instrukcí či předpon pro dotazy a dokumenty, sdružování, normalizace a funkce podobnosti. Všechny dotazy a dokumenty jsou zkráceny na 512 tokenů pomocí vlastního tokenizátoru modelu, včetně instrukcí, předpon a speciálních tokenů, takže delší podporovaný kontext neposkytuje žádnou výhodu. Ujistěte se, že karta modelu poskytuje úplné a jednoznačné pokyny pro reprodukci zamýšleného nastavení vyhledávání.

Způsobilé modely se musí načítat prostřednictvím standardních rozhraní API transformers nebo sentence-transformers. Modely, které neběží s parametrem trust_remote_code=False, vyžadují před vyhodnocením manuální přezkoumání vlastního kódu a odesílatele, což trvá značně déle. Soukromá nebo chráněná úložiště nejsou způsobilá.

Přečtěte si naši technickou zprávu, kde se dozvíte více o metodologii a zjištěních.

Citace

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}