Q2D-Web: Vyhodnocovanie prvotných vyhľadávačov vo veľkom rozsahu

Benchmark a rebríček so 70 tisícmi dopytov agentov, 190 miliónmi webových dokumentov a tromi sadami posúdení relevantnosti.

AutoriPerplexity Research

Dnes predstavujeme Q2D-Web (Query2Doc-Web), súkromný benchmark a verejný rebríček na vyhodnocovanie vyhľadávania v agentových RAG systémoch. Q2D-Web rozširuje náš pôvodný benchmark Q2D na veľkoobjemový korpus, väčšiu sadu dopytov a hlbšie anotačné posúdenia.

Q2D-Web je vytvorený na vyhodnocovanie modelov vkladania (embedding models) pri veľkoobjemovom webovom vyhľadávaní. Skladá sa zo 190 miliónov webových dokumentov a 69 721 dopytov preformulovaných agentom v desiatich jazykoch, vzorkovaných počas deviatich mesiacov prevádzky produkčného vyhľadávania bez PII.

V tomto rozsahu je signál relevantnosti na úrovni dopyt-dokument nevyhnutne riedky. Namiesto toho, aby sme jeden zdroj považovali za pravdivý základ (ground truth), poskytujeme tri sady posúdení relevantnosti odvodené od citácií agenta, produkčného webového hodnotenia a dodatočných posúdení LLM pre predtým neposúdené páry. Viaceré zdroje obmedzujú skreslenie z akéhokoľvek jedinej štítkovacej pipeline, zatiaľ čo hlbšia anotácia znižuje falošne negatívne výsledky.

Náš rebríček uvádza výsledky pre verejne vydané modely vyhľadávania, vyhodnotené priamo voči benchmarku pomocou konzistentnej pipeline indexovania, vyhľadávania a bodovania. Vyhodnotenie je možné odovzdať prostredníctvom nášho formulára žiadosti.

Výzva realistického vyhodnocovania vyhľadávania

Pre každý dopyt prehľadáva produkčný systém vyhľadávania korpus miliárd webových stránok a vracia tisíce kandidátskych dokumentov. Títo kandidáti určujú, ktoré zdroje môžu následné systémy vidieť, čím priamo formujú dôkazy dostupné pre agenta.

Realistické vyhodnotenie tejto prvej fázy preto vyžaduje benchmarky, ktoré sa škálujú v troch rozmeroch: počet dokumentov v korpuse, počet posúdených dopytov a počet posúdení relevantnosti na jeden dopyt.

Väčšie korpusy môžu urobiť benchmark diskriminatívnejším zavinením ťažkých negatív – dokumentov, ktoré sú sémanticky podobné dopytu, ale neposkytujú požadované informácie. Vyhľadávače musia odlíšiť tieto hodnoverné zhody od relevantných dokumentov. Zmenšenie korpusu pri zachovaní známych relevantných dokumentov môže odstrániť tieto distaktory a nadhodnotiť mieru pripomenutia (recall), ako ukazujú naše experimenty so subsamplingom nižšie.

Viac posúdených dopytov robí odhady výkonnosti spoľahlivejšími. S malou sadou dopytov výsledky benchmarku silne závisia od toho, ktoré dopyty boli vzorkované, čo sťažuje presný odhad výkonnosti jednotlivých modelov a spoľahlivé rozlíšenie medzi modelmi.

Hlbšie posúdenia znižujú falošne negatívne výsledky pri vyhodnocovaní. S riedkymi štítkami môže vyhľadávač vynoriť relevantné dokumenty, ktoré sú neposúdené, a preto sú nesprávne započítané ako nerelevantné. To robí vyhodnotenie menej spoľahlivým. MS MARCO je hlavný veľkoobjemový otvorený dataset pri vyhľadávaní informácií a formoval vývoj neurónových modelov vyhľadávania. Tam bolo 70 % manuálne skontrolovaných najlepšie vyhľadaných, ale neoznačených pasáží v skutočnosti relevantných.

Existujúce benchmarky majú tendenciu škálovať len v jednom alebo dvoch z týchto rozmerov: kolekcie v rozsahu webu majú často relatívne málo posúdených dopytov, zatiaľ čo benchmarky s veľkým množstvom dopytov vo všeobecnosti používajú oveľa menšie korpusy a riedke štítky. Väčšina benchmarkov navyše používa dopyty napísané ľuďmi, zatiaľ čo agentové RAG systémy vyhľadávajú pomocou dopytov preformulovaných agentom, ktoré sa môžu líšiť formuláciou, štruktúrou a špecifickosťou.

Q2D-Web sa škáluje vo všetkých troch rozmeroch. Obsahuje 190 miliónov webových dokumentov, 69 721 dopytov preformulovaných agentom a priemerne 99,6 pozitívnych posúdení relevantnosti na dopyt vo svojej kombinovanej sade posúdení. Najbližším verejným porovnaním je MS MARCO Web Search, verzia MS MARCO v mierke webu. Má 100,9 milióna dokumentov, 9 374 testovacích dopytov a jeden pozitívny štítok odvodený od kliknutí na dopyt.

Ako sme vytvorili Q2D-Web

Tvorba Q2D-Web: vzorkovanie dotazov s filtrovaním súkromia, zostavenie a deduplikácia korpusu, označovanie relevantnosti a vzorkovanie podkorpusu.

Dopyty

Q2D-Web je postavený na 23 000 produkčných vyhľadávaniach bez PII v desiatich jazykoch a desiatkach domén, ktoré sa zbierali počas deväťmesačného obdobia.

Vyhľadávanie pozostáva zo všetkých volaní nástrojov na vyhľadávanie na webe, ktoré agent vykoná v reakcii na správu používateľa. Každé volanie nástroja obsahuje jeden alebo viac dopytov. Každý dopyt je preformulovaný na základe požiadavky používateľa, predchádzajúcej konverzácie a prípadne dokumentov získaných skôr v rámci toho istého vyhľadávania. Každé produkčné vyhľadávanie obsahuje jeden primárny dopyt, ktorý vyjadruje informačnú potrebu používateľa, a nula alebo viac podporných dopytov, ktoré skúmajú alternatívne formulácie, kontextové informácie alebo súvisiace entity. Hoci sa týkajú tej istej širšej požiadavky, môžu vyžadovať rôzne dokumenty, preto Q2D-Web vyhodnocuje každý dopyt nezávisle s vlastnými posúdeniami relevantnosti.

Rozdelenia dĺžky a jazyka 69 721 dotazov v Q2D-Web. Dĺžka sa meria v znakoch; stĺpce ukazujú podiel dotazov v každej kategórii.
Rozdelenie dotazov Q2D-Web naprieč doménami. Stĺpce ukazujú podiel každej domény na množine dotazov; „Iné“ zahŕňa pätnásť dodatočných domén.

Pre všetky zahrnuté dopyty uplatňujeme prísne filtrovanie súkromia. Dopyty musia pochádzať od používateľov, ktorí povolili použitie svojich údajov, a detekcia PII pomocou nástroja perplexity-ai/pplx-pii-masking vylučuje dopyty obsahujúce osobné údaje. Taktiež odstraňujeme presné duplikáty, veľmi krátke dopyty a dopyty obsahujúce operátory vyhľadávania, ako sú site: alebo frázy v úvodzovkách.

Benchmark pokrýva desať jazykov. Angličtina predstavuje 65,8 % dopytov, nasleduje španielčina, ruština, nemčina, francúzština, portugalčina, taliančina, kórejčina, japončina a čínština. Distribúcia dopytov taktiež zahŕňa širokú škálu domén vrátane spotrebného tovaru, programovania, práva, zdravia, obchodu, vedy, vzdelávania, technológií, financií, cestovania, zábavy, politiky, lokálnych informácií a správ.

Korpus

Pre každý dopyt vyhľadáme 5 000 najlepších dokumentov pomocou produkčného vyhľadávacieho systému a urobíme zjednotenie týchto sád výsledkov. Korpus následne deduplikujeme pomocou MinHash–LSH a zoskupujeme dokumenty, ktorých sady 5-gramov tokenov majú Jaccardovu podobnosť aspoň 0,975.

Kolekcia zámerne nepredstavuje náhodnú vzorku webu. Každý dokument bol považovaný za hodnoverný výsledok pre aspoň jeden benchmarkový dopyt. To vytvára hustú sadu náročných distaktorov: stránok, ktoré sa zhodujú s témou alebo jazykom dopytu, ale môžu vynechávať požadovaný dátum, entitu, verziu, množstvo alebo aspekt.

Rozdelenia dĺžky a jazyka dokumentov v korpuse s približne 190 miliónmi dokumentov. Dĺžka sa meria v znakoch; stĺpce ukazujú podiel dokumentov v každej kategórii.

Posúdenia

Štítky relevantnosti sú vo veľkom rozsahu zo svojej podstaty neúplné. Označovanie každého možného páru dopyt-dokument je nevykonateľné a každý zdroj posúdení nesie iné skreslenie.

Q2D-Web používa tri sady relevantnosti namiesto toho, aby jeden zdroj považoval za pravdivý základ (ground truth), aby sa zvýšila hĺbka anotácie bez toho, aby trpel jediným skreslením.

Citácia označuje dokument ako relevantný, keď ho agent citoval v odpovedi. Toto je signál najbližší k následnému použitiu: agent vybral dokument ako dôkaz pre tvrdenie. Citácia má však zo svojej podstaty vysokú presnosť a nízku mieru pripomenutia (recall). Akonáhle má agent dostatočnú oporu, nemá veľký dôvod citovať každú ďalšiu relevantnú stránku.

Webové hodnotenie pozostáva z až 50 dokumentov na dopyt (v priemere 43,1), identifikovaných interným vyhľadávacím zásobníkom pomocou BM25 a hustého vyhľadávania v prvej fáze, po ktorom nasleduje prehodnocovanie poradia (reranking) pomocou cross-encoderu. To zachytáva dokumenty, ktoré sú užitočné, ale nie citované.

Kombinované + posúdené pomocou LLM berie zjednotenie Citácie a Webového hodnotenia, potom pridáva LLM posúdenie pre predtým neposúdených kandidátov s cieľom znížiť počet falošne negatívnych výsledkov. Spájame výsledky z BM25, ColBERTv2 a siedmich hustých vyhľadávačov vydaných pred 1. januárom 2025, zlúčime ich poradie pomocou reciprocal rank fusion (RRF), vyberieme 500 najlepších neposúdených dokumentov a aplikujeme prísne binárne posúdenie relevantnosti pomocou DeepSeek-V4-Flash.

Tieto tri sady nám umožňujú zistiť, či výkonnosť modelov závisí od toho, ako je definovaná relevantnosť. Taktiež znižujú závislú pozíciu na jedinom štítkovacom základe, ktorý by inak mohol zvýhodňovať vyhľadávače podobné systému použitému na generovanie štítkov.

Rozdelenia príslušných dokumentov na dotaz v logaritmickej mierke. Kombinované označenia spájajú citácie, webové hodnotenia a dodatočné posúdenia LLM.

Subsampling: efektivne vyhodnotenie vo velkom rozsahu

Vyhodnotenie celého korpusu je drahé a pomalé. Jediné vyhodnotenie na Q2D-Web s pplx-embed-v1-4b vyžaduje 4 608 hodín GPU H200, zatiaľ čo aj malý model ako EmbeddingGemma-300M vyžaduje takmer 200 hodín GPU H200.

Aby bolo vyhodnocovanie praktické, vytvárame vzorkovanú verziu korpusu.

Spustili sme rozsiahlu abláciu naprieč stratégiami vzorkovania s cieľom vytvoriť menší subkorpus, ktorý odráža správanie plného korpusu. Každá stratégia zachováva všetky pozitívne posúdené dokumenty a líši sa iba v spôsobe výberu neposúdených distaktorov. Dôležité distaktory sú tie, ktoré vyhľadávač pravideľne zaradí pred relevantný dokument, pretože tie menia skóre modelu a jeho pozíciu v rebríčku.

Porovnali sme rovnomerné náhodné vzorkovanie, zoskupovanie na pevnú hĺbku naprieč konštrukčnými vyhľadávačmi a RRF pre jednotlivé dopyty v rôznych hĺbkach. Vzorkovanie založené na RRF využíva iba 31,7 % dokumentov v kompletnom korpuse. Zachováva hodnotenie modelov pre celý korpus pri posúdeniach Combined, pričom zostáva blízko k absolútnym skóre a zvyšuje priemernú hodnotu Recall@1000 o 5,2 bodu v porovnaní s 12,8 bodmi pri náhodnom vzorkovaní rovnakej veľkosti.

Priemerný Recall@1000 a zhoda s hodnotením modelov pre celý korpus v rámci posúdení Combined naprieč stratégiami vzorkovania. Metóda Reciprocal rank fusion (RRF) zachováva hodnotenie vyhodnocovaných modelov pomocou 31,7 % korpusu, pričom dochádza k menšiemu nárastu recallu ako pri náhodnom vzorkovaní.

To znižuje náklady na vyhodnotenie na približne tretinu nákladov na plný korpus. Pri použití subkorpusu založeného na RRF vyžaduje pplx-embed-v1-4b približne 1 500 hodín GPU H200 a EmbeddingGemma-300M vyžaduje menej ako 70.

Každý príspevok sa najskôr vyhodnocuje na verzii so vzorkovaným subkorpusom. Príspevky sú rozdelené do dvoch skupín podľa celkového počtu parametrov: do 1B a nad 1B. Model, ktorý sa dostane do top desať vo svojej skupine na vzorkovanom subkorpuse, sa potom vyhodnocuje na plnom korpuse. Modely umiestnené mimo prvej desiatky vo svojej skupine budú publikované iba v rebríčku pre vzorkovaný subkorpus.

Výsledky vyhodnotenia

Naprieč vyhodnotenými modelmi poskytuje Q2D-Web konzistentný pohľad na výkonnosť vyhľadávania v mierke webu prostredníctvom 3 rôznych sád relevantnosti. Rebríček sprístupňuje tieto doplňujúce sa pohľady vedľa seba, čo umožňuje používateľom preskúmať, ako modely fungujú pod užšími štítkami založenými na citáciách a širšími posúdeniami relevantnosti.

Zameriavame sa na Recall@1000 ako na našu primárnu metriku, pretože prvotný vyhľadávač (retriever) potrebuje iba umiestniť relevantné dokumenty do kandidátskeho bazéna, zatiaľ čo následné prehodnocovanie poradia (reranking) určuje ich konečné poradie.

Kombinovaný Recall@1000 versus kombinovaný nDCG@10 pre trinásť vyhľadávačov zoskupených podľa modelovej rodiny. Model s najvyšším skóre sa medzi týmito dvoma metrikami líši.

Tabuľka 1. Hodnoty Recall@1000 a nDCG@10 pre celý korpus pre trinásť vyhľadávačov v rámci množín relevantnosti Citation, Web Ranking a Combined. Vyššie skóre znamená lepší výsledok.

Model

Recall@1000: Citácia

Recall@1000: Webové hodnotenie

Recall@1000: Kombinované

nDCG@10: Citácia

nDCG@10: Webové hodnotenie

nDCG@10: Kombinované

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0.6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0.6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0.6b

78,64

58,14

64,20

11,88

17,25

41,77

Model pplx-embed-v1-4b dosahuje najvyššiu úspešnosť Recall@1000 vo všetkých troch súboroch posudzovania: Citation (85,03), Web Ranking (65,73) a Combined (70,00). Pri metrikách Combined Recall@100 a nDCG@10 dosahuje model Nemotron-3-Embed-8B (30,32 a 45,65) lepšie výsledky ako pplx-embed-v1-4b (30,17 a 44,12).

V rámci jednej rodiny modelov dosahujú väčšie modely vyššie skóre v metrike Combined Recall@1000. Model Qwen3-Embedding stúpa z 58,68 (0,6B) na 65,32 (8B), Nemotron-3-Embed z 62,44 (1B) na 69,33 (8B) a pplx-embed-v1 z 67,91 (0,6B) na 70,00 (4B).

Modely Perplexity sú vyhodnocované pomocou rovnakej pipeline ako všetky ostatné odovzdané modely. Keďže je však Q2D-Web odvodený z produkčnej prevádzky Perplexity, tieto modely môžu ťažiť z výhody vnútornej distribúcie. Hoci vyhodnocovacie dopyty a korpus benchmarku boli vylúčené z trénovania modelov, výsledky by sa mali interpretovať s ohľadom na túto potenciálnu výhodu.

Ako odovzdať príspevok do rebríčka

Ak chcete požiadať o vyhodnotenie, odošlite verejne dostupný model Hugging Face prostredníctvom nášho formulára žiadosti o vyhodnotenie.

Pre nastavenia inferencie špecifické pre daný model sa riadime kartou modelu (model card) v odovzdanom úložisku, vrátane odporúčaných inštrukcií alebo predpôn pre dopyty a dokumenty, poolingu, normalizácie a funkcie podobnosti. Všetky dopyty a dokumenty sú skrátené na 512 tokenov pomocou vlastného tokenizeru modelu vrátane inštrukcií, predpôn a špeciálnych tokenov, takže dlhší podporovaný kontext neposkytuje žiadnu výhodu. Uistite sa, že karta modelu poskytuje úplné a jednoznačné inštrukcie na reprodukciu zamýšľaného nastavenia vyhľadávania.

Opručené modely sa musia načítavať cez štandardné API rozhrania transformers alebo sentence-transformers. Modely, ktoré nefungujú s príznakom trust_remote_code=False, vyžadujú manuálnu kontrolu vlastného kódu a odosielateľa pred vyhodnotením, čo trvá podstatne dlhšie. Súkromné alebo chránené úložiská nie sú oprávnené.

Prečítajte si našu technickú správu, kde sa dozviete viac o metodológii a zisteniach.

Citácia

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}