Q2D-Web: esimese astme otsingumootorite hindamine suures mahus

Võrdlusuuring ja edetabel 70 tuhande agendipäringu, 190 miljoni veebidokumendi ja kolme asjakohavushinnangute komplektiga.

AutoridPerplexity Research

Täna tutvustame Q2D-Webi (Query2Doc-Web), privaatset võrdlusuuringut ja avalikku edetabelit otsingu hindamiseks agentipõhistes RAG-süsteemides. Q2D-Web laiendab meie algset Q2D võrdlusuuringut suuremahulisele korpusele, suuremale päringute hulgale ja sügavamatele hindamisannotatsioonidele.

Q2D-Web on loodud manustamismudelite hindamiseks suuremahulises veebiotsingus. See koosneb 190 miljonist veebidokumendist ja 69 721 agendi ümberformuleeritud päringust kümnes keeles, mis on kogutud üheksa kuu jooksul isikuandmevabast tootmisotsingu liiklusest.

Sellises mahus on asjakohavussignaal päringu ja dokumendi tasemel vältimatult hõre. Selle asemel, et käsitleda ühte allikat tõsiasjana, pakume kolme asjakohavushinnangute komplekti, mis on tuletatud agendi viidetest, tootmisveebi pingeridadest ja täiendavatest LLM-i hinnangutest varem hindamata paaride jaoks. Mitu allikat piiravad eelarvamusi mis tahes ühest märgistamistorust, samas kui sügavam annotatsioon vähendab valenegatiivseid tulemusi.

Meie edetabel kajastab avalikult välja antud otsingumudelite tulemusi, mida hinnatakse otse võrdlusuuringu vastu, kasutades ühtset indekseerimis-, otsingu- ja skoorimistorustikku. Hindamise saab esitada meie taotlusvormi kaudu.

Realistliku otsinguhindamise väljakutse

Iga päringu jaoks otsib tootmismõõtkavas otsingusüsteem miljarditest veebilehtedest koosnevat korpust ja tagastab tuhandeid kandidaatdokumente. Need kandidaadid määravad, milliseid allikaid allavoolu süsteemid näevad, kujundades otseselt agendile kättesaadavat tõendusmaterjali.

Selle esimese etapi realistlik hindamine nõuab seetõttu võrdlusuuringuid, mis skaleeruvad kolmes dimensioonis: dokumentide arv korpuses, hinnatud päringute arv ja asjakohavushinnangute arv päringu kohta.

Suuremad korpused võivad muuta võrdlusuuringu eristavamaks, tuues sisse raskeid negatiivseid tulemusi – dokumente, mis on päringuga semantiliselt sarnased, kuid ei paku küsitud teavet. Otsingumootorid peavad eristama neid usutavaid vasteid asjakohastest dokumentidest. Korpuse kahandamine, säilitades samal ajal teadaolevad asjakohased dokumendid, võib need eksitajad eemaldada ja tagasikutsumist suurendada, nagu näitavad meie allpooltoodud alamvalimi eksperimendid.

Rohkem hinnatud päringuid muudab jõudluse hinnangud usaldusväärsemaks. Väikese päringute kogumi korral sõltuvad võrdlusuuringu tulemused tugevalt sellest, millised päringud valimisse võeti, mistõttu on raskem iga mudeli jõudlust täpselt hinnata ja mudeleid enesekindlalt eristada.

Sügavamad hinnangud vähendavad hindamisel valenegatiivseid tulemusi. Hõredate siltide korral võib otsingumootor tuua esile asjakohaseid dokumente, mida pole hinnatud ja mida seega loetakse ekslikult mitterasjakohasteks. See muudab hindamise vähem usaldusväärseks. MS MARCO on peamine suuremahuline avatud andmestik teabeotsingus ja see kujundas närviotsingumudelite arengut. Seal oli 70% käsitsi kontrollitud üles leitud, kuid märgistamata lõikudest tegelikult asjakohased.

Olemasolevad võrdlusuuringud kipuvad skaleeruma vaid ühes või kahes neist dimensioonidest: veebimastaapsel kogumil on sageli suhteliselt vähe hinnatud päringuid, samas kui paljude päringudega võrdlusuuringud kasutavad üldiselt palju väiksemaid korpuseid ja hõredaid silte. Pealegi kasutavad enamik võrdlusuuringuid inimeste kirjutatud päringuid, samas kui agentipõhised RAG-süsteemid otsivad agendi ümberformuleeritud päringutega, mis võivad erineda sõnastuse, struktuuri ja spetsiifilisuse poolest.

Q2D-Web skaleerub kõigis kolmes dimensioonis. See sisaldab 190 miljonit veebidokumenti, 69 721 agendi ümberformuleeritud päringut ja keskmiselt 99,6 positiivset asjakohavushinnangut päringu kohta oma kombineeritud hinnangute komplektis. Lähim avalik võrdlus on MS MARCO Web Search, MS MARCO veebimastaabne versioon. Sellel on 100,9 miljonit dokumenti, 9374 testpäringut ja üks klõpsust tuletatud positiivne silt päringu kohta.

Kuidas me Q2D-Webi lõime

Q2D-Webi koostamine: privaatsusfiltreeritud päringute valim, korpuse koostamine ja delegeerimine, asjakohasuse märgistamine ja alakorpuse valim.

Päringud

Q2D-Web põhineb 23 000 isikuandmevabal tootmisotsingul kümnes keeles ja kümnes domeenis, mis koguti üheksa kuu jooksul.

Otsing koosneb kõigist veebiotsingu tööriista päringutest, mida agent teeb vastuseks kasutaja sõnumile. Iga tööriista päring sisaldab ühte või mitut päringut. Iga päring formuleeritakse ümber kasutaja taotluse, varasema vestluse ja asjakohasel juhul varem samas otsingus hangitud dokumentide põhjal. Iga tootmisotsing sisaldab ühte esmast päringut, mis sõnastab uuesti kasutaja teabevajaduse, ning null või mitu toetavat päringut, mis uurivad alternatiivseid sõnastusi, taustateavet või seotud olemusi. Kuigi need käsitlevad sama laiemat päringut, võivad need vajada erinevaid dokumente, mistõttu Q2D-Web hindab iga päringut eraldiseisvalt oma asjakohavushinnangutega.

Q2D-Webi 69 721 päringu pikkuse ja keele jaotus. Pikkust mõõdetakse märkmikes; tulbad näitavad päringute osakaalu igas kategoorias.
Q2D-Webi päringute jaotus teemavaldkondade lõikes. Tulbad näitavad iga valdkonna osakaalu päringute kogumis; „Muu“ rühmitab viisteist täiendavat valdkonda.

Rakendame kõigi kaasatud päringute jaoks ranget privaatsusfiltreerimist. Päringud peavad pärinema kasutajatelt, kes lubasid oma andmeid kasutada, ning isikuandmete (PII) tuvastamine, kasutades perplexity-ai/pplx-pii-masking tööriista, välistab isikuandmeid sisaldavad päringud. Samuti eemaldame täpsed duplikaadid, väga lühikesed päringud ja otsinguoperaatoreid nagu site: või jutumärkides fraase sisaldavad päringud.

Võrdlusuuring hõlmab kümmet keelt. Inglise keel moodustab 65,8% päringutest, millele järgnevad hispaania, vene, saksa, prantsuse, portugali, itaalia, korea, jaapani ja hiina keel. Päringute jaotus hõlmab ka laia valikut domeene, sealhulgas tarbekaupu, programmeerimist, õigust, tervishoidu, äri, teadust, haridust, tehnoloogiat, rahandust, reisimist, meelelahutust, poliitikat, kohalikku teavet ja uudiseid.

Korpus

Iga päringu jaoks hangime tootmisotsingusüsteemiga 5000 parimat dokumenti ja võtame nende tulemuste kogumite ühendi. Seejärel eemaldame korpuse duplikaadid, kasutades MinHash–LSH-d, rühmitades dokumendid, mille tokenite 5-grammide kogumite Jaccardi sarnasus on vähemalt 0,975.

Kogumik ei ole meelega juhuslik veebivalim. Iga dokumenti peeti usutavaks tulemuseks vähemalt ühe võrdlusuuringu päringu jaoks. See loob tiheda raskete eksitajate komplekti: leheküljed, mis vastavad päringu teemale või keelele, kuid võivad jätta vahele vajaliku kuupäeva, olemuse, versiooni, koguse või aspekti.

Dokumentide pikkuse ja keele jaotus umbes 190 miljoni dokumendiga korpuses. Pikkust mõõdetakse märkmikes; tulbad näitavad dokumentide osakaalu igas kategoorias.

Hinnangud

Asjakohavuse sildid on suures mahus oma olemuselt mittetäielikud. Iga võimaliku päringu-dokumendi paari märgistamine on teostamatu ja iga hinnangute allikas kannab endas erinevat eelarvamust.

Q2D-Web kasutab ühe allika tõsiasjana käsitlemise asemel kolme asjakohavuskomplekti, et suurendada annotatsiooni sügavust ilma üheainsa eelarvamuse all kärpimata.

Citation märgistab dokumendi asjakohaseks, kui agent on sellele vastuses viidanud. See on allavoolu kasutamisele lähim signaal: agent valis dokumendi väite tõendiks. Kuid viide on ehituse poolest kõrge täpsuse ja madala tagasikutsumisega. Kui agendil on piisavalt toetust, ei ole tal erilist põhjust igale teisele asjakohasele lehele viidata.

Web Ranking koosneb kuni 50 dokumendist päringu kohta (keskmiselt 43,1), mille on esimeses etapis tuvastanud sisemine otsingumootor, kasutades BM25 ja tihedat otsingut, millele järgneb ristkodeerijaga ümberjärjestamine. See hõlmab dokumente, mis on kasulikud, kuid mida pole tsiteeritud.

Combined + LLM-Judged võtab viidete ja veebipingerivi ühendi ning lisab seejärel LLM-i hinnangud varem hindamata kandidaatide jaoks, eesmärgiga vähendada valenegatiivsete tulemuste arvu. Me koondame BM25, ColBERTv2 ja seitsme enne 1. jaanuari 2025 välja antud tiheda otsingumootori tulemused, liidame nende pingerivid vastastikuse pingerivi sulatamise (RRF) abil, valime 500 parimat hindamata dokumenti ja rakendame ranget binaarset asjakohavushinnangut mudeliga DeepSeek-V4-Flash.

Need kolm komplekti võimaldavad küsida, kas mudeli jõudlus sõltub asjakohavuse määratlemisest. Samuti vähendavad need sõltuvust ühestainsast märgistamisahelast, mis muidu võiks soosida otsingumootoreid, mis sarnanevad siltide genereerimiseks kasutatud süsteemiga.

Asjakohaste dokumentide jaotus päringu kohta logaritmilisel skaalal. Kombineeritud märgised koondavad viited, veebipingerivid ja täiendavad LLM-i hinnangud.

Alamvalim: tõhus hindamine suures mahus

Täiskorpuse hindamine on kallis ja aeglane. Üksainus hindamine Q2D-Webis mudeliga pplx-embed-v1-4b nõuab 4608 H200 GPU-tundi, samas kui isegi väike mudel nagu EmbeddingGemma-300M nõuab ligi 200 H200 GPU-tundi.

Hindamise praktilisena hoidmiseks ehitame korpuse alamvalimi versiooni.

Tegime valimistrateegiate osas ulatusliku ablatiooni, et luua väiksem alamkorpus, mis peegeldab täiskorpuse käitumist. Iga strateegia säilitab kõik positiivselt hinnatud dokumendid ja erineb ainult selles, kuidas hinnamata eksitajaid valitakse. Olulised eksitajad on need, mida otsingumootor tõenäoliselt reastab asjakohasest dokumendist kõrgemale, kuna need muudavad mudeli skoori ja selle positsiooni pingerivis.

Võrdlesime ühtlast juhuslikku valimit, koondamist fikseeritud sügavusele kõigi konstruktsioonide otsingumootorite lõikes ja päringupõhist RRF-i erinevatel sügavustel. RRF-põhine valim kasutab ainult 31,7% täieliku korpuse dokumentidest. See säilitab täieliku korpuse mudeli järjestuse Combined hinnangute alusel, püsides samal ajal lähedal absoluutsetele tulemustele ning suurendades keskmist Recall@1000 näitajat 5,2 punkti võrra (võrreldes 12,8 punktiga sama suurusega juhusliku valimi puhul).

Keskmine Recall@1000 ja vastavus täieliku korpuse mudelite järjestustele Combined hinnangute alusel erinevate valimistrateegiate lõikes. Vastastikuse astme liitmine (RRF) säilitab hinnatud mudelite järjestuse, kasutades 31,7% korpusest, väiksema tagasivõtu suurenemisega kui juhuslik valim.

See vähendab hindamiskulusid umbes kolmandikuni täiskorpuse kulust. RRF-põhist alamkorpust kasutades vajab pplx-embed-v1-4b umbes 1500 H200 GPU-tundi ja EmbeddingGemma-300M alla 70.

Iga esildist hinnatakse kõigepealt valimi alamkorpuse versioonil. Esildised jagatakse parameetrite koguarvu järgi kahte rühma: kuni 1B ja üle 1B. Mudel, mis jõuab valimi alamkorpusel oma rühma esikümnesse, hinnatakse seejärel terviklikul korpusel. Oma rühmas esikümnest väljapoole jäävad mudelid avaldatakse ainult valimi alamkorpuse edetabelis.

Hindamistulemused

Hinnatud mudelites pakub Q2D-Web ühtset vaadet otsingu jõudlusele veebimastaabis oma kolme erineva asjakohavuskomplekti kaudu. Edetabel teeb need täiendavad vaated kättesaadavaks kõrvuti, võimaldades kasutajatel uurida, kuidas mudelid esinevad kitsamate viitepõhiste siltide ja laiemate asjakohavushinnangute all.

Keskendume meetrikale Recall@1000 kui oma peamisele mõõdikule, sest esimese astme otsingumootor peab asjakohased dokumendid paigutama vaid kandidaadikogumisse, samas kui järgnev ümberjärjestamine määrab nende lõpliku järjestuse.

Kombineeritud Recall@1000 versus kombineeritud nDCG@10 kolmeteistkümne otsingumootori jaoks, rühmitatuna mudelipere järgi. Kõrgeima punktisummaga mudel on kahe meetriisi vahel erinev.

Tabel 1. Täieliku korpuse Recall@1000 ja nDCG@10 kolmeteistkümne otsingumootori jaoks Citation, Web Ranking ja Combined asjakohasuskogumite lõikes. Kõrgemad tulemused on paremad.

Model

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0.6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0.6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0.6b

78,64

58,14

64,20

11,88

17,25

41,77

pplx-embed-v1-4b saavutab kõrgeima Recall@1000 näitaja kõigis kolmes hindamiskogumis: Citation (85,03), Web Ranking (65,73) ja Combined (70,00). Combined Recall@100 ja nDCG@10 puhul edestab Nemotron-3-Embed-8B (30,32 ja 45,65) mudelit pplx-embed-v1-4b (30,17 ja 44,12).

Perekonna siseselt saavutavad suuremad mudelid kõrgema punktisumma näitajaga Combined Recall@1000. Qwen3-Embedding tõuseb 58,68-lt (0,6B) 65,32-le (8B), Nemotron-3-Embed 62,44-lt (1B) 69,33-le (8B) ning pplx-embed-v1 67,91-lt (0,6B) 70,00-le (4B).

Perplexity mudeleid hinnatakse sama torujuhtme abil nagu kõiki teisi esitatud mudeleid. Kuna aga Q2D-Web on tuletatud Perplexity tootlusliiklusest, võivad need mudelid saada kasu jaotusesisesest eelisest. Kuigi võrdlusuuringu hindamispäringud ja korpus jäeti mudeli treenimisest välja, tuleks tulemusi tõlgendada seda potentsiaalset eelist silmas pidades.

Kuidas edetabelisse töid esitada

Hindamise taotlemiseks esitage avalikult kättesaadav Hugging Face mudel meie hindamistaotluse vormi kaudu.

Järgime esitatud hoidlas olevat mudelikaarti mudelispetsiifiliste järeldusseadete jaoks, sealhulgas soovitatud päringu- ja dokumendijuhiseid või eesliiteid, kogumist, normaliseerimist ja sarnasuse funktsiooni. Kõik päringud ja dokumendid kärbitakse mudeli enda tokenisaatoriga 512 tokenini, sealhulgas juhised, eesliited ja erimärgid, nii et pikem toetatud kontekst ei anna eelist. Palun veenduge, et mudelikaart sisaldab täielikke ja ühemõttelisi juhiseid soovitud otsinguseadistuse reprodutseerimiseks.

Sobivad mudelid peavad laadima standardsete transformers või sentence-transformers API-de kaudu. Mudelid, mis ei käivitu käsuga trust_remote_code=False, nõuavad kohandatud koodi ja esitaja käsitsi ülevaatamist enne hindamist, mis võtab oluliselt kauem aega. Privaatsed või piiratud ligipääsuga hoidlad ei ole kõlblikud.

Lugege meie tehnilist aruannet, et saada metoodika ja tulemuste kohta lisateavet.

Viide

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}