Q2D-Web: Evaluarea recuperatoarelor din prima etapă la scară

Un benchmark și un clasament cu 70 de mii de interogări de agenți, 190 de milioane de documente web și trei seturi de judecăți de relevanță.

AutoriPerplexity Research

Astăzi, lansăm Q2D-Web (Query2Doc-Web), un benchmark privat și un clasament public pentru evaluarea recuperării în sistemele RAG agentice. Q2D-Web extinde benchmark-ul Q2D original la un corpus la scară largă, un set de interogări mai mare și adnotări de judecată mai profunde.

Q2D-Web este conceput pentru a evalua modelele de încorporare pe căutări web la scară largă. Constă din 190 de milioane de documente web și 69.721 de interogări reformulate de agenți în zece limbi, eșantionate pe parcursul a nouă luni de trafic de căutare de producție fără PII.

La această scară, semnalul de relevanță la nivelul perechii interogare-document este în mod inevitabil rarisim. În loc să tratăm o singură sursă ca adevăr absolut, oferim trei seturi de evaluare a relevanței, derivate din citările agenților, clasamentele web de producție și judecăți suplimentare ale LLM pentru perechi neevaluate anterior. Sursele multiple limitează părtinirea din orice conductă de etichetare unică, în timp ce adnotarea mai profundă reduce numărul de fals negative.

Clasamentul nostru raportează rezultate pentru modelele de recuperare lansate public, evaluate direct în raport cu benchmark-ul folosind o conductă consecventă de indexare, recuperare și punctaj. O evaluare poate fi trimisă prin intermediul formularului nostru de solicitare.

Provocarea evaluării realiste a recuperării

Pentru fiecare interogare, un sistem de recuperare la scară de producție caută într-un corpus de miliarde de pagini web și returnează mii de documente candidate. Acești candidați determină ce surse pot vedea sistemele din aval, modelând direct dovezile disponibile pentru agent.

Evaluarea realistă a acestei prime etape necesită așadar benchmark-uri care să se scaleze de-a lungul a trei dimensiuni: numărul de documente din corpus, numărul de interogări evaluate și numărul de evaluări de relevanță per interogare.

Corpusurile mai mari pot face ca un benchmark să fie mai discriminatoriu prin introducerea de negative grele – documente care sunt similare semantic cu o interogare, dar nu oferă informațiile solicitate. Recuperatoarele trebuie să distingă aceste potriviri plauzibile de documentele relevante. Micșorarea corpusului, păstrând în același timp documentele relevante cunoscute, poate elimina acești distractori și poate umfla amintirea (recall), așa cum arată experimentele noastre de subeșantionare de mai jos.

Un număr mai mare de interogări evaluate face ca estimările de performanță să fie mai fiabile. Cu un set mic de interogări, rezultatele benchmark-ului depind în mare măsură de interogările care au fost eșantionate, ceea ce îngreunează estimarea precisă a performanței fiecărui model și diferențierea cu încredere între modele.

Judecățile mai profunde reduc fals negativele în evaluare. Cu etichete rarisime, un recuperator poate scoate la suprafață documente relevante care nu sunt evaluate și care sunt prin urmare contorizate incorect ca fiind irelevante. Acest lucru face evaluarea mai puțin fiabilă. MS MARCO este principalul set de date deschis la scară largă în recuperarea informațiilor și a modelat dezvoltarea modelelor neuronale de recuperare. Acolo, 70% dintre pasajele preluate de sus, dar neetichetate, inspectate manual, erau de fapt relevante.

Benchmark-urile existente tind să se scaleze în doar una sau două dintre aceste dimensiuni: colecțiile la scară web au adesea relativ puține interogări evaluate, în timp ce benchmark-urile cu multe corpusuri folosesc în general corpusuri mult mai mici și etichete rarisime. Mai mult, majoritatea benchmark-urilor folosesc interogări scrise de oameni, în timp ce sistemele RAG agentice caută cu interogări reformulate de agenți care pot diferi în formulare, structură și specificitate.

Q2D-Web se scalează în toate cele trei dimensiuni. Conține 190 de milioane de documente web, 69.721 de interogări reformulate de agenți și o medie de 99,6 judecăți de relevanță pozitive per interogare în setul său combinat de judecăți. Cea mai apropiată comparație publică este MS MARCO Web Search, versiunea la scară web a MS MARCO. Are 100,9 milioane de documente, 9.374 de interogări de test și o etichetă pozitivă derivată dinclicuri per interogare.

Cum am creat Q2D-Web

Construirea Q2D-Web: eșantionarea interogărilor filtrate în funcție de viața privată, asamblarea și deduplicarea corpusului, etichetarea relevanței și eșantionarea subcorpusului.

Interogări

Q2D-Web se bazează pe 23.000 de căutări de producție fără PII, în zece limbi și zeci de domenii, colectate pe o perioadă de nouă luni.

O căutare constă din toate apelurile la instrumente de căutare web pe care un agent le efectuează ca răspuns la mesajul unui utilizator. Fiecare apel la un instrument conține una sau mai multe interogări. Fiecare interogare este reformulată pe baza cererii utilizatorului, a conversației anterioare și, acolo unde este cazul, a documentelor preluate anterior în aceeași căutare. Fiecare căutare de producție conține o interogare principală, care reformulează nevoia de informații a utilizatorului, și zero sau mai multe interogări de susținere, care explorează formulări alternative, informații de fundal sau entități conexe. Deși abordează aceeași cerere mai amplă, ele pot necesita documente diferite, așa că Q2D-Web evaluează fiecare interogare în mod independent, cu propriile judecăți de relevanță.

Distribuțiile de lungime și limbă pentru cele 69.721 de interogări ale Q2D-Web. Lungimea este măsurată în caractere; barele arată fracțiunea de interogări din fiecare categorie.
Distribuția interogărilor Q2D-Web pe domenii de subiecte. Barele arată cota fiecărui domeniu din setul de interogări; „Altele” grupează cincisprezece domenii suplimentare.

Aplicăm o filtrare strictă a confidențialității pentru toate interogările incluse. Interogările trebuie să provină de la utilizatori care au permis utilizarea datelor lor, iar detectarea PII utilizând perplexity-ai/pplx-pii-masking exclude interogările care conțin informații personale. De asemenea, eliminăm duplicatele exacte, interogările foarte scurte și interogările care conțin operatori de căutare precum site: sau fraze între ghilimele.

Benchmark-ul acoperă zece limbi. Limba engleză reprezintă 65,8% dintre interogări, fiind urmată de spaniolă, rusă, germană, franceză, portugheză, italiană, coreeană, japoneză și chineză. Distribuția interogărilor acoperă, de asemenea, o gamă largă de domenii, inclusiv bunuri de larg consum, programare, drept, sănătate, afaceri, știință, educație, tehnologie, finanțe, turism, divertisment, politică, informații locale și știri.

Corpus

Pentru fiecare interogare, preluăm primele 5.000 de documente cu un sistem de recuperare de producție și luăm reuniunea acestor seturi de rezultate. Apoi deduplicăm corpusul folosind MinHash–LSH, grupând documentele ale căror seturi de 5-grame de tokeni au o similitudine Jaccard de cel puțin 0,975.

Colecția nu este în mod intenționat un eșantion web aleatoriu. Fiecare document a fost considerat un rezultat plauzibil pentru cel puțin o interogare de benchmark. Aceasta creează un set dens de distractori dificili: pagini care se potrivesc cu subiectul sau limba unei interogări, dar cărora le poate lipsi o dată, o entitate, o versiune, o cantitate sau un aspect necesar.

Distribuțiile lungimii și limbii documentelor în corpusul de aproximativ 190 de milioane de documente. Lungimea este măsurată în caractere; barele arată fracțiunea de documente din fiecare categorie.

Judecăți

Etichetele de relevanță sunt incomplete prin natura lor la scară largă. Etichetarea fiecărei perechi posibile interogare-document este nefezabilă, iar fiecare sursă de judecăți comportă o părtinire diferită.

Q2D-Web folosește trei seturi de relevanță în loc să trateze o singură sursă ca adevăr absolut, pentru a crește adâncimea adnotării fără a suferi de pe urma unei singure părtiniri.

Citarea etichetează un document ca fiind relevant atunci când un agent l-a citat într-un răspuns. Acesta este cel mai apropiat semnal de utilizarea în aval: agentul a selectat documentul ca dovadă pentru o afirmație. Dar citarea are o precizie ridicată și o recuperare scăzută prin construcție. Odată ce un agent are un suport suficient, are puține motive să citeze fiecare altă pagină relevantă.

Clasamentul Web constă din până la 50 de documente per interogare (43,1 în medie), identificate printr-un stiv de recuperare intern folosind BM25 și recuperare densă în prima etapă, urmată de rerclasare prin cross-encoder. Aceasta surprinde documente care sunt utile, dar nu sunt citate.

Combinat + Evaluat de LLM preia reuniunea dintre Citare și Clasament Web, apoi adaugă judecăți LLM pentru candidații neevaluați anterior, cu scopul de a reduce numărul de fals negative. Agregăm rezultatele de la BM25, ColBERTv2 și șapte recuperatoare dense lansate înainte de 1 ianuarie 2025, unim clasamentele lor folosind reciprocal rank fusion (RRF), selectăm primele 500 de documente neevaluate și aplicăm un judecător de relevanță binară strict folosind DeepSeek-V4-Flash.

Cele trei seturi ne permit să analizăm dacă performanțele modelelor depind de modul în care este definită relevanța. De asemenea, ele reduc dependența de un singur sistem de etichetare, care altfel ar putea favoriza recuperatoare similare cu cel folosit pentru generarea etichetelor.

Distribuțiile documentelor relevante per interogare pe o scară logaritmică. Etichetele combinate reunesc citate, clasamente web și aprecieri suplimentare ale LLM.

Subeșantionarea: evaluare eficientă la scară largă

Evaluarea pe corpusul complet este costisitoare și lentă. O singură evaluare pe Q2D-Web cu pplx-embed-v1-4b necesită 4.608 ore de GPU H200, în timp ce chiar și un model mic precum EmbeddingGemma-300M necesită aproape 200 de ore de GPU H200.

Pentru a menține evaluarea practică, construim o versiune subeșantionată a corpusului.

Am efectuat o ablație extinsă a strategiilor de eșantionare pentru a construi un subcorpus mai mic care să reflecte comportamentul corpusului complet. Fiecare strategie păstrează toate documentele judecate pozitiv și variază doar în modul în care sunt selectați distractorii neevaluați. Distractorii care contează sunt cei pe care un recuperator îi va plasa probabil deasupra unui document relevant, deoarece aceștia modifică scorul unui model și poziția sa în clasament.

Am comparat eșantionarea aleatoare uniformă, agregarea la o adâncime fixă între recuperatoarele de construcție și RRF pe interogare la diferite adâncimi. Eșantionarea bazată pe RRF utilizează doar 31,7% din documentele din corpusul complet. Aceasta păstrează ierarhia modelului pe corpusul complet în cadrul judecăților Combinate, menținându-se totodată aproape de scorurile absolute și crescând media Recall@1000 cu 5,2 puncte, comparativ cu 12,8 puncte pentru eșantionarea aleatoare de aceeași dimensiune.

Media Recall@1000 și gradul de concordanță cu ierarhiile modelelor pe corpusul complet în cadrul judecăților Combinate pe diferitele strategii de eșantionare. Fuziunea rangurilor reciproce (RRF) păstrează ierarhia modelelor evaluate utilizând 31,7% din corpus, cu o creștere mai mică a rechemării decât eșantionarea aleatoare.

Acest lucru reduce costurile de evaluare la aproximativ o treime din costul pentru întregul corpus. Folosind subcorpusul bazat pe RRF, pplx-embed-v1-4b necesită aproximativ 1.500 de ore de GPU H200, iar EmbeddingGemma-300M necesită sub 70.

Fiecare trimitere este evaluată mai întâi pe versiunea subcorpusului eșantionat. Trimiterile sunt împărțite în două grupe în funcție de numărul total de parametri: până la 1B și peste 1B. Un model care ajunge în top zece al grupei sale pe subcorpusul eșantionat este apoi evaluat pe corpusul complet. Modelele clasificate în afara primilor 10 din grupa lor vor fi publicate doar în clasamentul subcorpusului eșantionat.

Rezultatele evaluării

La nivelul modelelor evaluate, Q2D-Web oferă o imagine consecventă a performanței de recuperare la scară web prin cele 3 seturi diferite de relevanță ale sale. Clasamentul pune la dispoziție aceste perspective complementare una lângă alta, permițând utilizatorilor să analizeze modul în care modelele performează în condițiile unor etichete bazate pe citări mai restrânse și a unor judecăți de relevanță mai ample.

Ne concentrăm pe Recall@1000 ca metrică principală deoarece un recuperator din prima etapă trebuie doar să plaseze documentele relevante în grupul de candidați, în timp ce rerclasarea ulterioară determină ordinea lor finală.

Recall@1000 Combinat versus nDCG@10 Combinat pentru treisprezece recuperatoare, grupate după familia de modele. Modelul cu cel mai mare scor diferă între cele două metrici.

Tabelul 1. Recall@1000 pe corpusul complet și nDCG@10 pentru treisprezece recuperatoare pe seturile de relevanță Citații, Clasament Web și Combinat. Scorurile mai mari sunt mai bune.

Model

Recall@1000: Citare

Recall@1000: Clasament Web

Recall@1000: Combinat

nDCG@10: Citare

nDCG@10: Clasament Web

nDCG@10: Combinat

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0,6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0,6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0,6b

78,64

58,14

64,20

11,88

17,25

41,77

pplx-embed-v1-4b are cel mai mare Recall@1000 pe toate cele trei seturi de evaluare: Citații (85,03), Clasament Web (65,73) și Combinat (70,00). Pe Combined Recall@100 și nDCG@10, Nemotron-3-Embed-8B (30,32 și 45,65) obține un scor superior lui pplx-embed-v1-4b (30,17 și 44,12).

În cadrul unei familii, modelele mai mari obțin scoruri mai ridicate la Combined Recall@1000. Qwen3-Embedding crește de la 58,68 (0,6B) la 65,32 (8B), Nemotron-3-Embed de la 62,44 (1B) la 69,33 (8B), iar pplx-embed-v1 de la 67,91 (0,6B) la 70,00 (4B).

Modelele Perplexity sunt evaluate utilizând aceeași conductă ca toate celelalte modele trimise. Totuși, deoarece Q2D-Web este derivat din traficul de producție Perplexity, aceste modele pot beneficia de un avantaj de distribuție internă. Chiar dacă interogările de evaluare și corpusul benchmark-ului au fost excluse din antrenamentul modelului, rezultatele trebuie interpretate având în vedere acest potențial avantaj.

Cum să trimiți o lucrare la Clasament

Pentru a solicita o evaluare, trimiteți un model disponibil public pe Hugging Face prin intermediul formularului nostru de solicitare a evaluării.

Respectăm fișa modelului din depozitul trimis pentru setările de inferență specifice modelului, inclusiv instrucțiunile sau prefixele recomandate pentru interogări și documente, pooling-ul, normalizarea și funcția de similitudine. Toate interogările și documentele sunt trunchiate la 512 tokeni folosind propriul tokenizer al modelului, incluzând instrucțiuni, prefixe și tokeni speciali, astfel încât un context acceptat mai lung nu conferă niciun avantaj. Vă rugăm să vă asigurați că fișa modelului oferă instrucțiuni complete și fără ambiguități pentru reproducerea configurației de recuperare dorite.

Modelele eligibile trebuie să se încarce prin API-urile standard transformers sau sentence-transformers. Modelele care nu rulează cu trust_remote_code=False necesită o revizuire manuală a codului personalizat și a expeditorului înainte de evaluare, ceea ce durează considerabil mai mult. Depozitele private sau protejate nu sunt eligibile.

Citiți raportul nostru tehnic pentru a afla mai multe despre metodologie și concluzii.

Citare

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}