Q2D-Web: Pirmā posma izgūnātāju novērtēšana mērogā

Etalons un līderu saraksts ar 70 tūkstošiem aģenta vaicājumu, 190 miljoniem tīmekļa dokumentu un trīs atbilstības spriedumu kopām.

AutoriPerplexity Research

Šodien mēs iepazīstinām ar Q2D-Web (Query2Doc-Web) — privātu etalonu un publisku līderu sarakstu izgūšanas novērtēšanai aģentu RAG sistēmās. Q2D-Web paplašina mūsu sākotnējo Q2D etalonu uz liela mēroga korpusu, lielāku vaicājumu kopu un dziļākām spriedumu anotācijām.

Q2D-Web ir izveidots, lai novērtētu iegulšanas modeļus liela mēroga tīmekļa meklēšanā. Tas sastāv no 190 miljoniem tīmekļa dokumentu un 69 721 aģenta pārformulēta vaicājuma desmit valodās, kas atlasīti deviņu mēnešu laikā no ražošanas meklēšanas datplūsmas bez PII.

Šādā mērogā atbilstības signāls vaicājuma un dokumenta līmenī neizbēgami ir rets. Tā vietā, lai vienu avotu uzskatītu par patieso pamatu, mēs piedāvājam trīs atbilstības novērtējuma kopas, kas iegūtas no aģenta citātiem, ražošanas tīmekļa reitingiem un papildu LLM vērtējumiem iepriekš nevērtētiem pāriem. Vairāki avoti ierobežo neobjektivitāti no jebkuras atsevišķas marķēšanas konveijera, savukārt dziļāka anotācija samazina viltus negatīvos rezultātus.

Mūsu līderu saraksts ziņo par publiski izlaistu izgūšanas modeļu rezultātiem, kas novērtēti tieši pret etalonu, izmantojot konsekventu indeksēšanas, izgūšanas un vērtēšanas konveijeru. Novērtējumu var iesniegt, izmantojot mūsu pieprasījuma veidlapu.

Reālistiskas izgūšanas novērtēšanas izaicinājums

Katram vaicājumam ražošanas mēroga izgūšanas sistēma meklē miljardiem tīmekļa lapu korpusā un atgriež tūkstošiem kandidātu dokumentu. Šie kandidāti nosaka, kurus avotus lejupstraumes sistēmas var redzēt, tieši veidojot aģentam pieejamos pierādījumus.

Tāpēc šī pirmā posma reālistiskai novērtēšanai ir nepieciešami etaloni, kas mērogojas trīs dimensijās: dokumentu skaits korpusā, novērtēto vaicājumu skaits un atbilstības vērtējumu skaits uz vienu vaicājumu.

Lielāki korpusi var padarīt etalonu diskriminējošāku, ieviešot smagus negatīvos rādītājus — dokumentus, kas semantiski ir līdzīgi vaicājumam, bet nesniedz pieprasīto informāciju. Izgūnātājiem ir jāatšķir šie ticamie sakritības no atbilstošiem dokumentiem. Korpusu saīsināšana, vienlaikus saglabājot zināmos atbilstošos dokumentus, var noņemt šos traucēkļus un palielināt atsaukumu, kā rāda mūsu apakšizlases eksperimenti zemāk.

Vairāk novērtēto vaicājumu padara veiktspējas aprēķinus uzticamākus. Ar nelielu vaicājumu kopu etalona rezultāti ir ļoti atkarīgi no tā, kuri vaicājumi tika atlasīti, apgrūtinot katra modeļa veiktspējas precīzu novērtēšanu un pārliecinošu atšķirību noteikšanu starp modeļiem.

Dziļāki spriedumi novērtējumā samazina viltus negatīvos rezultātus. Ar retām etiķetēm izgūnātājs var izcelt atbilstošus dokumentus, kas nav novērtēti un tāpēc nepareizi tiek skaitīti kā neatbilstoši. Tas padara novērtējumu mazāk uzticamu. MS MARCO ir galvenā lielmēroga atklātā kopa informācijas izgūšanā un veidoja neironu izgūšanas modeļu attīstību. Tur 70% manuāli pārbaudīto augšpusē izgūto, bet nemarķēto pasāžu patiesībā bija atbilstoši.

Esošie etaloni mēdz mērogoties tikai vienā vai divās no šīm dimensijām: tīmekļa mēroga kolekcijām bieži ir salīdzinoši maz novērtētu vaicājumu, savukārt etaloniem ar daudziem vaicājumiem parasti izmanto daudz mazākus korpusus un retas etiķetes. Turklāt lielākā daļa etalonu izmanto cilvēka rakstītus vaicājumus, savukārt aģentu RAG sistēmas meklē ar aģenta pārformulētiem vaicājumiem, kas var atšķirties pēc formulējuma, struktūras un specifikas.

Q2D-Web mērogojas visās trīs dimensijās. Tas satur 190 miljonus tīmekļa dokumentu, 69 721 aģenta pārformulētu vaicājumu un vidēji 99.6 pozitīvus atbilstības vērtējumus uz vienu vaicājumu savā kombinētajā spriedumu kopā. Tuvākais publiskais salīdzinājums ir MS MARCO Web Search — MS MARCO tīmekļa mēroga versija. Tajā ir 100.9 miljoni dokumentu, 9 374 testa vaicājumi un viena no klikšķiem atvasināta pozitīva etiķete uz vienu vaicājumu.

Kā mēs izveidojām Q2D-Web

Q2D-Web izveide: privātuma filtrēta vaicājumu izlase, korpusa apkopošana un dublikātu novēršana, atbilstības marķēšana un apakškorpusa izlase.

Vaicājumi

Q2D-Web ir izveidots, pamatojoties uz 23 000 ražošanas meklējumiem bez PII desmit valodās un desmitiem domēnu, kas apkopoti deviņu mēnešu periodā.

Meklēšana sastāv no visiem tīmekļa meklēšanas rīku izsaukumiem, ko aģents veic, atbildot uz lietotāja ziņojumu. Katrs rīka izsaukums satur vienu vai vairākus vaicājumus. Katrs vaicājums tiek pārformulēts no lietotāja pieprasījuma, iepriekšējās sarunas un, ja attiecināms, dokumentiem, kas iegūti agrāk tajā pašā meklēšanā. Katra produkcijas meklēšana satur vienu primāro vaicājumu, kas atkārto lietotāja informācijas vajadzību, un nulli vai vairākus atbalsta vaicājumus, kas pēta alternatīvus formulējumus, fona informāciju vai saistītos vienumus. Lai gan tie attiecas uz to pašu plašāko pieprasījumu, tiem var būt nepieciešami dažādi dokumenti, tāpēc Q2D-Web novērtē katru vaicājumu neatkarīgi ar saviem atbilstības vērtējumiem.

Q2D-Web 69 721 vaicājuma garuma un valodas sadalījums. Garums tiek mērīts rakstzīmēs; joslas parāda vaicājumu daļu katrā kategorijā.
Q2D-Web vaicājumu sadalījums pa priekšmetu domēniem. Joslas parāda katra domēna īpatsvaru vaicājumu kopā; “Cits” apvieno piecpadsmit papildu domēnus.

Mēs piemērojam stingru konfidencialitātes filtrēšanu visiem iekļautajiem vaicājumiem. Vaicājumiem jānāk no lietotājiem, kuri atļāvuši izmantot savus datus, un PII noteikšana, izmantojot perplexity-ai/pplx-pii-masking , izslēdz vaicājumus, kas satur personisko informāciju. Mēs arī noņemam eksaktus dublikātus, ļoti īsus vaicājumus un vaicājumus, kas satur meklēšanas operatorus, piemēram, site: vai frāzes pēdiņās.

Etalons aptver desmit valodas. Angļu valoda veido 65.8% vaicājumu, kam seko spāņu, krievu, vācu, franču, portugāļu, itāļu, korejiešu, japāņu un ķīniešu valoda. Vaicājumu sadalījums ietver arī plašu domēnu sajaukumu, tostarp plaša patēriņa preces, programmēšanu, tiesības, veselību, uzņēmējdarbību, zinātni, izglītību, tehnoloģijas, finanses, ceļojumus, izklaidi, politiku, vietējo informāciju un ziņas.

Korpus

Katram vaicājumam mēs izgūstam 5 000 populārākos dokumentus ar ražošanas izgūšanas sistēmu un ņemam šo rezultātu kopu apvienojumu. Pēc tam mēs atgultņojam korpusu, izmantojot MinHash–LSH, sagrupējot dokumentus, kuru marķieru 5-gramu kopām ir Jaccard līdzība vismaz 0.975.

Kolekcija apzināti nav nejauša tīmekļa izlase. Katrs dokuments tika uzskatīts par ticamu rezultātu vismaz vienam etalonu vaicājumam. Tas rada blīvu grūtu traucēkļu kopu: lapas, kas atbilst vaicājuma tēmai vai valodai, bet var neietvert prasīto datumu, vienumu, versiju, daudzumu vai aspektu.

Dokumentu garuma un valodas sadalījums aptuveni 190 miljonu dokumentu korpusā. Garums tiek mērīts rakstzīmēs; joslas parāda dokumentu daļu katrā kategorijā.

Vērtējumi

Atbilstības etiķetes pēc dabas ir nepilnīgas lielā mērogā. Katra iespējamā vaicājuma un dokumenta pāra marķēšana nav iespējama, un katrs vērtējumu avots nes atšķirīgu neobjektivitāti.

Q2D-Web izmanto trīs atbilstības kopas, nevis vienu avotu uzskata par patieso pamatu, lai palielinātu anotācijas dziļumu, neciešot no vienas neobjektivitātes.

Citāts atzīmē dokumentu kā atbilstošu, ja aģents to ir citējis atbildē. Šis ir tuvākais signāls lejupstraumes izmantošanai: aģents izvēlējās dokumentu kā pierādījumu apgalvojumam. Bet citāts pēc konstrukcijas ir ar augstu precizitāti un zemu atsaukumu. Kad aģentam ir pietiekams atbalsts, tam ir maz pamata citēt katru citu atbilstošo lapu.

Tīmekļa reitings sastāv no līdz 50 dokumentiem uz vienu vaicājumu (vidēji 43.1), ko identificē iekšējā izgūšanas steks, pirmajā posmā izmantojot BM25 un blīvu izgūšanu, kam seko krusteniskā kodētāja pārrangošana. Tas tver dokumentus, kas ir noderīgi, bet nav citēti.

Kombinētais + LLM novērtētais ņem citātu un tīmekļa reitinga apvienojumu, pēc tam pievieno LLM vērtējumus iepriekš nevērtētiem kandidātiem ar mērķi samazināt viltus negatīvo rezultātu skaitu. Mēs apvienojam rezultātus no BM25, ColBERTv2 un septiņiem blīviem izgūnātājiem, kas izlaisti pirms 2025. gada 1. janvāra, apvienojam to reitingus, izmantojot savstarpējā ranga saplūšanu (RRF), atlasām 500 labākos nenovērtētos dokumentus un pielāgojam stingru binārās atbilstības vērtētāju, izmantojot DeepSeek-V4-Flash.

Trīs kopas ļauj mums jautāt, vai modeļu veiktspēja ir atkarīga no tā, kā tiek definēta atbilstība. Tās arī samazina paļaušanos uz vienu marķēšanas steku, kas pretējā gadījumā varētu dot priekšroku izgūnātājiem, kuri ir līdzīgi sistēmai, ko izmanto etiķešu ģenerēšanai.

Saistīto dokumentu sadalījums uz vaicājumu logaritmiskā skalā. Kombinētajās etiķetēs ir apvienotas citēšanas, tīmekļa reitingi un papildu LLM vērtējumi.

Apakšizlase: efektīva novērtēšana lielā mērogā

Pilna korpusa novērtēšana ir dārga un lēna. Viens novērtējums Q2D-Web ar pplx-embed-v1-4b prasa 4 608 H200 GPU stundas, savukārt pat mazs modelis, piemēram, EmbeddingGemma-300M, prasa gandrīz 200 H200 GPU stundas.

Lai novērtēšana būtu praktiska, mēs izveidojam korpusa apakšizlases versiju.

Mēs veicām plašu ablāciju visās paraugu ņemšanas stratēģijās, lai izveidotu mazāku apakškorpusu, kas atspoguļo pilna korpusa uzvedību. Katra stratēģija saglabā visus pozitīvi novērtētos dokumentus un atšķiras tikai tajā, kā tiek atlasīti nenovērtēti traucēkļi. Traucēkļi, kam ir nozīme, ir tie, kurus izgūnātājs, visticamāk, sarindo virs atbilstoša dokumenta, jo tie maina modeļa punktu skaitu un tā pozīciju reitingā.

Mēs salīdzinājām vienmērīgu nejaušo izlasi, apvienošanu fiksētā dziļumā visos izguves modeļos un katra vaicājuma RRF dažādos dziļumos. RRF balstītā izlase izmanto tikai 31,7% no pilnā korpusa dokumentiem. Tā saglabā pilnā korpusa modeļu reitingu kombinēto vērtējumu ietvaros, vienlaikus saglabājot tuvumu absolūtajiem rādītājiem un palielinot vidējo Recall@1000 par 5,2 punktiem salīdzinājumā ar 12,8 punktiem nejaušajai izlasei tādā pašā apjomā.

Vidējais Recall@1000 un atbilstība pilnā korpusa modeļu reitingiem kombinēto vērtējumu ietvaros dažādās izlases stratēģijās. Abpusējās ranga saplūšanas (RRF) metode saglabā novērtēto modeļu reitingu, izmantojot 31,7% no korpusa, ar mazāku atsaukuma pieaugumu nekā nejaušā izlase.

Tas samazina novērtēšanas izmaksas līdz aptuveni trešdaļai no pilna korpusa izmaksām. Izmantojot uz RRF balstītu apakškorpusu, pplx-embed-v1-4b prasa aptuveni 1500 H200 GPU stundas, bet EmbeddingGemma-300M prasa mazāk par 70.

Katrs iesniegums vispirms tiek novērtēts parauga apakškorpusa versijā. Iesniegumi tiek sadalīti divās grupās pēc kopējā parametru skaita: līdz 1B un virs 1B. Modelis, kas sasniedz savas grupas pirmo desmitnieku parauga apakškorpusā, pēc tam tiek novērtēts pilnajā korpusā. Modeļi, kas ierindojas ārpus top 10 savā grupā, tiks publicēti tikai parauga apakškorpusa līderu sarakstā.

Novērtēšanas rezultāti

Visos novērtētajos modeļos Q2D-Web sniedz konsekventu skatījumu uz izgūšanas veiktspēju tīmekļa mērogā visās 3 dažādās atbilstības kopās. Līderu saraksts padara šos papildinošos skatījumus pieejamus blakus, ļaujot lietotājiem pārbaudīt, kā modeļi darbojas šaurāku uz citātiem balstītu etiķešu un plašāku atbilstības spriedumu ietvaros.

Mēs koncentrējamies uz Recall@1000 kā mūsu primāro metriku, jo pirmā posma izgūnātājam ir nepieciešams tikai ievietot atbilstošos dokumentus kandidātu kopā, savukārt turpmākā pārrangošana nosaka to galīgo secību.

Kombinētā Recall@1000 pret Kombinēto nDCG@10 trīspadsmit izgūtājiem, sagrupētiem pēc modeļu saimes. Augstāko punktu ieguvušais modelis atšķiras starp abām metrikām.

1. tabula. Pilnā korpusa Recall@1000 un nDCG@10 trīspadsmit izguves modeļiem citēšanas, tīmekļa reitinga un kombinētās atbilstības kopās. Augstāki rādītāji ir labāki.

Modelis

Recall@1000: Citāts

Recall@1000: Tīmekļa reitings

Recall@1000: Kombinētais

nDCG@10: Citāts

nDCG@10: Tīmekļa reitings

nDCG@10: Kombinētais

BM25-tantivy

60,84

42.50

45,25

7,30

11.45

29,27

EmbeddingGemma-300M

80,10

58.93

66,24

12,21

17.30

41,95

mDenseOn

73,72

52.56

60,09

10,08

15.06

38,87

Nemotron-3-Embed-1B

75,64

54.37

62,44

9,69

14.83

38,84

Nemotron-3-Embed-8B

83,14

61.73

69,33

13,17

18.69

45,65

pplx-embed-v1-0.6b

81,85

62.15

67,91

12,52

19.76

42,73

pplx-embed-v1-4b

85,03

65.73

70,00

14,18

21.29

44,12

Qwen3-Embedding-0.6B

71,19

51.82

58,68

8,53

14.11

36,19

Qwen3-Embedding-4B

76,49

55.60

62,78

9,91

14.97

38,82

Qwen3-Embedding-8B

79,26

58.34

65,32

10,75

16.27

41,20

voyage-4-nano

69,55

50.14

57,42

6,96

11.77

30,59

mLateOn

74,16

53.12

61,77

10,94

15.51

41,61

pplx-embed-v1-late-0.6b

78,64

58.14

64,20

11,88

17.25

41,77

Modelim pplx-embed-v1-4b ir augstākais rādītājs Recall@1000 visās trīs vērtēšanas kopās: Citēšana (85,03), Tīmekļa reitings (65,73) un Kombinētā (70,00). Kombinētajā rādītājā Recall@100 un nDCG@10 modelis Nemotron-3-Embed-8B (30,32 un 45,65) iegūst augstāku punktu skaitu nekā pplx-embed-v1-4b (30,17 un 44,12).

Vienas modeļu saimes ietvaros lielākiem modeļiem ir augstāki rādītāji kombinētajā Recall@1000. Qwen3-Embedding rādītājs pieaug no 58,68 (0,6B) līdz 65,32 (8B), Nemotron-3-Embed — no 62,44 (1B) līdz 69,33 (8B), bet pplx-embed-v1 — no 67,91 (0,6B) līdz 70,00 (4B).

Perplexity modeļi tiek novērtēti, izmantojot to pašu konveijeru kā visi pārējie iesniegtie modeļi. Tomēr, tā kā Q2D-Web ir iegūts no Perplexity ražošanas datplūsmas, šie modeļi var gūt labumu no sadalījuma priekšrocības. Lai gan etalona novērtēšanas vaicājumi un korpuss tika izslēgti no modeļa apmācības, rezultāti ir jāinterpretē, paturot prātā šo iespējamo priekšrocību.

Kā iesniegt rezultātus līderu sarakstam

Lai pieprasītu novērtējumu, iesniedziet publiski pieejamu Hugging Face modeli, izmantojot mūsu novērtēšanas pieprasījuma veidlapu.

Mēs sekojam modeļa kartei iesniegtajā repozitorijā modeļiem specifiskiem secinājumu iestatījumiem, tostarp ieteiktajiem vaicājumu un dokumentu norādījumiem vai prefiksiem, apvienošanai, normalizācijai un līdzības funkcijai. Visi vaicājumi un dokumenti tiek saīsināti līdz 512 marķieriem ar paša modeļa marķierizētāju, tostarp norādījumiem, prefiksiem un īpašiem marķieriem, tāpēc garāks atbalstītais konteksts nerada nekādas priekšrocības. Lūdzu, nodrošiniet, lai modeļa karte sniegtu pilnīgus, nepārprotamus norādījumus par paredzētās izgūšanas iestatīšanas reproducēšanu.

Atbilstošajiem modeļiem ir jāielādējas, izmantojot standarta transformers vai sentence-transformers API. Modeļiem, kas nedarbojas ar trust_remote_code=False, pirms novērtēšanas ir nepieciešams manuāls pielāgotā koda un iesniedzēja pārskats, kas aizņem ievērojami ilgāku laiku. Privāti vai aizsargāti repozitoriji nav piemēroti.

Izlasiet mūsu tehnisko ziņojumu, lai uzzinātu vairāk par metodoloģiju un secinājumiem.

Citāts

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}