„Q2D-Web“: pirmojo etapo paieškos priemonių vertinimas mastu

Etalonas ir lyderių lentelė su 70 tūkstančių agentų užklausų, 190 milijonų žiniatinklio dokumentų ir trimis relevancijos vertinimų rinkiniais.

AutoriaiPerplexity Research

Šiandien pristatome „Q2D-Web“ (Query2Doc-Web) – privatus etalonas ir viešą lyderių lentelė, skirtą paieškai vertinti agentinėse RAG sistemose. „Q2D-Web“ išplečia mūsų pradinį „Q2D“ etaloną į didelio masto korpusą, didesnį užklausų rinkinį ir išsamesnius vertinimo anotacijas.

„Q2D-Web“ sukurtas vertinti įterpimo modelius (embedding models) didelio masto žiniatinklio paieškoje. Jį sudaro 190 milijonų žiniatinklio dokumentų ir 69 721 agento performuluota užklausa dešimčia kalbų, atrinkta per devynių mėnesių asmens tapatybės duomenų neturintį gamybinės paieškos srautą.

Esant tokiam mastui, relevancijos signalas užklausos ir dokumento lygiu neišvengiamai yra retas. Užuot traktavę vieną šaltinį kaip pagrindinę tiesą, mes pateikiame tris relevancijos vertinimo rinkinius, gautus iš agento citatų, gamybinių žiniatinklio reitingų ir papildomų didelių kalbos modelių (LLM) vertinimų anksčiau neįvertintoms poroms. Keli šaltiniai riboja šališkumą iš bet kurio vieno žymėjimo konvejerio, o gilesnis anotavimas sumažina klaidingai neigiamus rezultatus.

Mūsų lyderių lentelė pateikia viešai išleistų paieškos modelių rezultatus, įvertintus tiesiogiai pagal etaloninį vertinimą, naudojant nuoseklų indeksavimo, paieškos ir vertinimo konvejerį. Vertinimą galima pateikti per mūsų užklausos formą.

Realistiško paieškos vertinimo iššūkis

Kiekvienai užklausai gamybinio masto paieškos sistema ieško milijardų žiniatinklio puslapių korpuse ir grąžina tūkstančius kandidatų dokumentų. Šie kandidatai lemia, kokius šaltinius gali matyti pasroviui veikiančios sistemos, tiesiogiai formuodami įrodymus, kuriais agentas gali naudotis.

Todėl realistiškam šio pirmojo etapo vertinimui reikalingi etaloniniai vertinimai, kurie plečiasi trimis dimensijomis: dokumentų skaičiumi korpuse, įvertintų užklausų skaičiumi ir relevancijos vertinimų skaičiumi vienai užklausai.

Didesni korpusai gali padaryti etaloninį vertinimą geriau skiriantį, įtraukiant sunkiai atmetamus dokumentus (distraktorius) – dokumentus, kurie yra semantiškai panašūs į užklausą, bet nepateikia prašomos informacijos. Paieškos priemonės privalo atskirti šiuos tikėtinus atitikmenis nuo susijusių dokumentų. Korpuso sumažinimas, kartu išlaikant žinomus susijusius dokumentus, gali pašalinti šiuos distraktorius ir padidinti atšaukimą, kaip rodo mūsų toliau pateikti subsamplingo eksperimentai.

Didesnis įvertintų užklausų skaičius daro našumo įverčius patikimesniais. Turint nedidelį užklausų rinkinį, etaloninio vertinimo rezultatai labai priklauso nuo to, kurios užklausos buvo atrinktos, todėl sunkiau tiksliai įvertinti kiekvieno modelio našumą ir užtikrintai atskirti modelius.

Gilesni vertinimai sumažina klaidingai neigiamų rezultatų skaičių vertinimo metu. Esant retoms žymoms, paieškos sistema gali iškelti susijusius dokumentus, kurie nėra įvertinti, todėl klaidingai priskiriami nesusijusiems. Dėl to vertinimas tampa mažiau patikimas. „MS MARCO“ yra pagrindinis didelio masto atviras informacijos paieškos duomenų rinkinys, kuris suformavo neuroninių paieškos modelių kūrimą. Ten 70 % rankiniu būdu patikrintų populiariausių gautų, bet nepažymėtų ištraukų iš tikrųjų buvo susijusios.

Esami etaloniniai vertinimai linkę mastelį keisti tik vienoje ar dviejose iš šių dimensijų: žiniatinklio mastelio kolekcijose dažnai būna palyginti mažai įvertintų užklausų, tuo tarpu etaloniniai vertinimai su daugybe užklausų paprastai naudoja daug mažesnius korpusus ir retas žymas. Be to, daugumoje etaloninių vertinimų naudojamos žmonių parašytos užklausos, o agentinės RAG sistemos ieško su agento performuluotomis užklausomis, kurios gali skirtis savo formuluote, struktūra ir specifiškumu.

„Q2D-Web“ mastelis apima visas tris dimensijas. Jo kombinuotame vertinimo rinkinyje yra 190 milijonų žiniatinklio dokumentų, 69 721 agento performuluota užklausa ir vidutiniškai 99.6 teigiami relevancijos vertinimai vienai užklausai. Artimiausias viešas palyginimas yra „MS MARCO Web Search“ – žiniatinklio mastelio „MS MARCO“ versija. Ji turi 100,9 milijono dokumentų, 9 374 bandomąsias užklausas ir vieną iš paspaudimų gautą teigiamą žymą vienai užklausai.

Kaip sukūrėme „Q2D-Web“

„Q2D-Web“ kūrimas: privatumo atžvilgiu filtruotas užklausų imčių ėmimas, korpuso sudarymas ir dubliavimo šalinimas, aktualumo žymėjimas bei subkorpuso imčių ėmimas.

Užklausos

„Q2D-Web“ yra sukurtas remiantis 23 000 gamybinių paieškų be asmens tapatybės duomenų (PII) dešimčia kalbų ir dešimtyje domenų, surinktų per devynių mėnesių laikotarpį.

Paiešką sudaro visi žiniatinklio paieškos įrankio iškvietimai, kuriuos agentas atlieka reaguodamas į vartotojo žinutę. Kiekviename įrankio iškvietime yra viena ar daugiau užklausų. Kiekviena užklausa performuluojama atsižvelgiant į vartotojo užklausą, ankstesnį pokalbį ir, kai taikytina, anksčiau toje pačioje paieškoje gautus dokumentus. Kiekvienoje gamybinėje paieškoje yra viena pirminė užklausa, kuri iš naujo suformuluoja vartotojo informacinį poreikį, ir nulis arba daugiau palaikomųjų užklausų, kuriomis nagrinėjamos alternatyvios formuluotės, pagrindinė informacija arba susiję objektai. Nors jos adresuoja tą pačią platesnę užklausą, joms gali prireikti skirtingų dokumentų, todėl „Q2D-Web“ kiekvieną užklausą vertina nepriklausomai, taikydama savo paties relevancijos vertinimus.

„Q2D-Web“ 69 721 užklausos ilgis ir kalbų pasiskirstymas. Ilgis matuojamas simboliais; stulpeliai rodo užklausų dalį kiekvienoje kategorijoje.
„Q2D-Web“ užklausų pasiskirstymas pagal dalykų sritis. Stulpeliai rodo kiekvienos srities dalį užklausų rinkinyje; „Kita“ apima penkiolika papildomų sričių.

Taikome griežtą privatumo filtravimą visoms įtrauktoms užklausoms. Užklausos turi būti gautos iš vartotojų, kurie leido naudoti savo duomenis, o PII aptikimas naudojant perplexity-ai/pplx-pii-masking išskiria užklausas, kuriose yra asmeninės informacijos. Taip pat pašaliname identiškus dublikatus, labai trumpas užklausas ir užklausas, kuriose yra paieškos operatorių, tokių kaip site: arba frazės kabutėse.

Etalonas apima dešimt kalbų. Anglų kalba sudaro 65,8 % užklausų, po jos seka ispanų, rusų, vokiečių, prancūzų, portugalų, italų, korėjiečių, japonų ir kinų kalbos. Užklausų pasiskirstymas taip pat apima plačią domenų įvairovę, įskaitant plataus vartojimo prekes, programavimą, teisę, sveikatą, verslą, mokslą, švietimą, technologijas, finansus, keliones, pramogas, politiką, vietinę informaciją ir naujienas.

Korpusas

Kiekvienai užklausai išgauname 5 000 populiariausių dokumentų su gamybine paieškos sistema ir paimame šių rezultatų rinkinių sąjungą. Tuomet pašaliname dublikatus iš korpuso naudodami „MinHash–LSH“, grupuodami dokumentus, kurių žetonų 5-gramų rinkiniai turi bent 0.975 „Jaccard“ panašumą.

Kolekcija sąmoningai nėra atsitiktinis žiniatinklio pavyzdys. Kiekvienas dokumentas buvo laikomas tikėtinu rezultatu bent vienai bandomajai užklausai. Tai sukuria tankų sudėtingų distraktorių rinkinį: puslapių, kurie atitinka užklausos temą arba kalbą, bet gali neturėti reikiamos datos, esybės, versijos, kiekio arba aspekto.

Maždaug 190 milijonų dokumentų korpuso dokumentų ilgis ir kalbų pasiskirstymas. Ilgis matuojamas simboliais; stulpeliai rodo dokumentų dalį kiekvienoje kategorijoje.

Vertinimai

Relevancijos žymos iš prigimties yra nePilnos dideliu mastu. Pažymėti kiekvieną įmanomą užklausos ir dokumento porą yra neįmanoma, o kiekvienas vertinimų šaltinis turi skirtingą šališkumą.

„Q2D-Web“ naudoja tris relevancijos rinkinius, o ne traktuoja vieną šaltinį kaip pagrindinę tiesą, kad padidintų anotavimo gylį ir nepatirtų vieno šališkumo.

Citavimas žymi dokumentą kaip susijusį, kai agentas jį citavo atsakyme. Tai yra artimiausias signalas tolesniam naudojimui: agentas pasirinko dokumentą kaip įrodymą teiginiui. Tačiau citavimui būdingas aukštas tikslumas ir žemas atšaukimas dėl pačios konstrukcijos. Kai agentas turi pakankamai palaikymo, jis turi mažai priežasčių cituoti kiekvieną kitą susijusį puslapį.

Žiniatinklio reitingavimas susideda iš iki 50 dokumentų vienai užklausai (vidutiniškai 43.1), kuriuos pirmame etape identifikuoja vidinė paieškos sistema, naudojanti BM25 ir tankią paiešką, o po to atliekamas kryžminio kodavimo (cross-encoder) perrūšiavimas. Tai fiksuoja dokumentus, kurie yra naudingi, bet ne cituojami.

Kombinuotas + LLM vertintas paima citavimo ir žiniatinklio reitingavimo sąjungą, tada prideda LLM vertinimus anksčiau neįvertintiems kandidatams, siekdamas sumažinti klaidingai neigiamų rezultatų skaičių. Mes sujungiame rezultatus iš BM25, ColBERTv2 ir septynių tankių paieškos priemonių, išleistų iki 2025 m. sausio 1 d., sujungiame jų reitingus naudodami atvirkštinio reitingo suliejimą (RRF), atrenkame 500 geriausių neįvertintų dokumentų ir pritaikome griežtą dvejetainės relevancijos vertintoją naudodami DeepSeek-V4-Flash.

Šie trys rinkiniai leidžia mums išsiaiškinti, ar modelio našumas priklauso nuo to, kaip apibrėžiamas relevancija. Jie taip pat sumažina priklausomybę nuo vieno žymėjimo rinkinio, kuris kitu atveju galėtų teikti pirmenybę paieškos priemonėms, panašioms į sistemą, naudotą žymoms generuoti.

Atitinkamų dokumentų pasiskirstymas pagal užklausą logaritminėje skalėje. Bendros žymos apjungia citatas, interneto reitingus ir papildomus LLM vertinimus.

Subsamplingas: efektyvus vertinimas dideliu mastu

Viso korpuso vertinimas yra brangus ir lėtas. Vientisas vertinimas „Q2D-Web“ su pplx-embed-v1-4b reikalauja 4 608 H200 GPU valandų, o netgi toks mažas modelis kaip „EmbeddingGemma-300M“ reikalauja beveik 200 H200 GPU valandų.

Siekiant išlaikyti praktinį vertinimą, mes sukuriame sub-mėginių korpuso versiją.

Atlikome išsamų abliacijos tyrimą su įvairiomis atrankos strategijomis, kad sukurtumėte mažesnį subkorpusą, atspindintį viso korpuso elgseną. Kiekviena strategija išsaugo visus teigiamai įvertintus dokumentus ir skiriasi tik tuo, kaip atrenkami neįvertinti distraktoriai. Svarbūs distraktoriai yra tie, kuriuos paieškos priemonė tikriausiai išreitinguos aukščiau už susijusį dokumentą, nes jie pakeičia modelio balą ir jo vietą reitinge.

Palyginome vienodą atsitiktinę imtį, grupavimą iki fiksuoto gylio tarp visų paieškos variklių ir kiekvienos užklausos RRF skirtinguose gyliuose. RRF pagrįsta imtis naudoja tik 31,7 % dokumentų iš viso korpuso. Ji išlaiko viso korpuso modelio reitingavimą pagal bendruosius vertinimus, išlaikydama artimus absoliučius rezultatus, ir padidina vidutinį „Recall@1000“ rodiklį 5,2 punkto, palyginti su 12,8 punkto padidėjimu atsitiktinės imties atveju tokio paties dydžio atveju.

Vidutinis „Recall@1000“ ir atitiktis viso korpuso modelio reitingams pagal bendruosius vertinimus atsižvelgiant į imties parinkimo strategijas. Abipusio rango suliejimas (RRF) išlaiko įvertintų modelių reitingą naudojant 31,7 % korpuso, o atgalinio ryšio išpūtimas yra mažesnis nei naudojant atsitiktinę imtį.

Tai sumažina vertinimo išlaidas iki maždaug trečdalio viso korpuse patiriamų išlaidų. Naudojant RRF pagrįstą subkorpusą, pplx-embed-v1-4b sunaudojama maždaug 1 500 H200 GPU valandų, o „EmbeddingGemma-300M“ – mažiau nei 70.

Kiekviena paraiška pirmiausia vertinama pagal atrinkto subkorpuso versiją. Paraiškos yra padalintos į dvi grupes pagal bendrą parametrų skaičių: iki 1B ir virš 1B. Modelis, kuris patek savo grupės dešimtuką atrinktame subkorpuse, vėliau vertinamas visame korpuse. Modeliai, kurių reitingas jų grupėje yra už dešimtuko ribų, bus skelbiami tik atrinkto subkorpuso lyderių lentelėje.

Vertinimo rezultatai

Visuose įvertintuose modeliuose „Q2D-Web“ pateikia nuoseklų paieškos našumo žiniatinklio mastu vaizdą per 3 skirtingus jos relevancijos rinkinius. Lyderių lentelė leidžia šiuos papildomus vaizdus matyti greta, suteikdama galimybę vartotojams patikrinti, kaip modeliai veikia taikant siauresnes citavimu pagrįstas žymas ir platesnius relevancijos vertinimus.

Mes orientuojamės į „Recall@1000“ kaip į pagrindinį metriką, nes pirmojo etapo paieškos priemonė privalo tik patalpinti svarbius dokumentus į kandidatų baseiną, o vėlesnis perrūšiavimas nustato galutinę jų tvarką.

Bendras Recall@1000 ir bendras nDCG@10 trylikai paieškos variklių, sugrupuotų pagal modelių šeimą. Daugiausiai taškų surinkęs modelis skiriasi priklausomai nuo abiejų metrikų.

1 lentelė. Viso korpuso „Recall@1000“ ir „nDCG@10“ reikšmės trylikai paieškos variklių citavimo, žiniatinklio reitingavimo ir bendruosiuose aktualumo rinkiniuose. Didesni balai yra geresni.

Modelis

Recall@1000: Citavimas

Recall@1000: Žiniatinklio reitingavimas

Recall@1000: Kombinuotas

nDCG@10: Citavimas

nDCG@10: Žiniatinklio reitingavimas

nDCG@10: Kombinuotas

BM25-tantivy

60,84

42.50

45,25

7,30

11.45

29,27

EmbeddingGemma-300M

80,10

58.93

66,24

12,21

17.30

41,95

mDenseOn

73,72

52.56

60,09

10,08

15.06

38,87

Nemotron-3-Embed-1B

75,64

54.37

62,44

9,69

14.83

38,84

Nemotron-3-Embed-8B

83,14

61.73

69,33

13,17

18.69

45,65

pplx-embed-v1-0.6b

81,85

62.15

67,91

12,52

19.76

42,73

pplx-embed-v1-4b

85,03

65.73

70,00

14,18

21.29

44,12

Qwen3-Embedding-0.6B

71,19

51.82

58,68

8,53

14.11

36,19

Qwen3-Embedding-4B

76,49

55.60

62,78

9,91

14.97

38,82

Qwen3-Embedding-8B

79,26

58.34

65,32

10,75

16.27

41,20

voyage-4-nano

69,55

50.14

57,42

6,96

11.77

30,59

mLateOn

74,16

53.12

61,77

10,94

15.51

41,61

pplx-embed-v1-late-0.6b

78,64

58.14

64,20

11,88

17.25

41,77

„pplx-embed-v1-4b“ pasiekia didžiausią „Recall@1000“ visuose trijuose vertinimo rinkiniuose: citavimo (85,03), žiniatinklio reitingavimo (65,73) ir bendrajame (70,00). „Combined Recall@100“ ir „nDCG@10“ atveju „Nemotron-3-Embed-8B“ (30,32 ir 45,65) rezultatai yra geresni nei „pplx-embed-v1-4b“ (30,17 ir 44,12).

Tame pačiame modelių šeipte didesni modeliai pasiekia geresnius „Combined Recall@1000“ rezultatus. „Qwen3-Embedding“ pakyla nuo 58,68 (0,6B) iki 65,32 (8B), „Nemotron-3-Embed“ – nuo 62,44 (1B) iki 69,33 (8B), o „pplx-embed-v1“ – nuo 67,91 (0,6B) iki 70,00 (4B).

Perplexity modeliai vertinami naudojant tą patį konvejerį kaip ir visi kiti pateikti modeliai. Tačiau kadangi „Q2D-Web“ yra kilęs iš Perplexity gamybinio srauto, šie modeliai gali turėti paskirstymo vidaus pranašumą. Nors orientyro vertinimo užklausos ir korpusas buvo pašalinti iš modelio mokymo, rezultatus reikėtų interpretuoti turint omenyje šį galimą pranašumą.

Kaip pateikti paraišką lyderių lentonei

Norėdami paprašyti vertinimo, pateikite viešai prieinamą „Hugging Face“ modelį per mūsų vertinimo užklausos formą.

Modeliui būtiniems išvedimo nustatymams vadovaujamės modelio kortele pateiktoje saugykloje, įskaitant rekomenduojamas užklausų ir dokumentų instrukcijas arba priešdėlius, grupavimą, normalizavimą ir panašumo funkciją. Visos užklausos ir dokumentai sutrumpinami iki 512 žetonų naudojant paties modelio žetonizatorių, įskaitant instrukcijas, priešdėlius ir specialius žetonus, todėl ilgesnis palaikomas kontekstas nesuteikia jokio pranašumo. Įsitikinkite, kad modelio kortelėje pateikiamos išsamios, vienareikšmiškos instrukcijos, kaip atkurti numatytą paieškos sąranką.

Tinkami modeliai turi krautis per standartines transformers arba sentence-transformers sąsajas (API). Modeliai, kurie neveikia su trust_remote_code=False, reikalauja rankinio pasirinktinio kodo ir pateikėjo peržiūros prieš vertinimą, o tai užtrunka žymiai ilgiau. Privačios arba ribotos prieigos saugyklos netinka.

Perskaitykite mūsų techninę ataskaitą, kad sužinotumėte daugiau apie metodiką ir išvadas.

Citata

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}