Q2D-Web: Evaluacija pretraživača prve faze u velikom obimu

Referentni test i rang-lista sa 70 hiljada agentskih upita, 190 miliona veb dokumenata i tri skupa procena relevantnosti.

AutoriPerplexity Research

Danas predstavljamo Q2D-Web (Query2Doc-Web), privatni referentni test i javnu rang-listu za evaluaciju pronalaženja u agentskim RAG sistemima. Q2D-Web proširuje naš originalni Q2D referentni test na korpus velikog obima, veći skup upita i dublje oznake procene.

Q2D-Web je napravljen za evaluaciju modela ugrađivanja (embedding modela) na veb pretrazi velikog obima. Sastoji se od 190 miliona veb dokumenata i 69.721 upita preoblikovanog od strane agenata u deset jezika, uzorkovanih tokom devet meseci produkcionog saobraćaja pretrage bez PII podataka.

Pri ovoj skali, signal relevantnosti na nivou upita i dokumenta je neizbežno retak. Umesto da tretiramo jedan izvor kao osnovnu istinu, pružamo tri skupa procene relevantnosti, izvedena iz citata agenata, veb rangiranja u produkciji i dodatnih LLM procena za prethodno neocenjene parove. Više izvora ograničava pristrasnost iz bilo kog pojedinačnog cevovoda za obeležavanje, dok dublje označavanje smanjuje lažno negativne rezultate.

Naša rang-lista izveštava o rezultatima za javno objavljene modele pronalaženja, evaluirane direktno u odnosu na referentni test korišćenjem doslednog cevovoda za indeksiranje, pronalaženje i bodovanje. Evaluacija se može poslati preko našeg obrasca za zahteve.

Izazov realistične evaluacije pronalaženja

Za svaki upit, sistem za pronalaženje produkcionog obima pretražuje korpus od milijardi veb stranica i vraća hiljade kandidata dokumenata. Ovi kandidati određuju koje izvore sistemi niže u lancu mogu da vide, direktno oblikujući dokaze dostupne agentu.

Realistična evaluacija ove prve faze stoga zahteva referentne testove koji se skaliraju duž tri dimenzije: broja dokumenata u korpusu, broja ocenjenih upita i broja procena relevantnosti po upitu.

Veći korpusi mogu učiniti referentni test diskriminativnijim uvođenjem teških negativa – dokumenata koji su semantički slični upitu, ali ne pružaju tražene informacije. Pretraživači moraju da razlikuju ova verovatna poklapanja od relevantnih dokumenata. Skupljanje korpusa uz zadržavanje poznatih relevantnih dokumenata može ukloniti ove distraktore i naduvati odziv, kao što pokazuju naši eksperimenti poduzorkovanja u nastavku.

Više ocenjenih upita čini procene performansi pouzdanijim. Sa malim skupom upita, rezultati referentnog testa u velikoj meri zavise od toga koji su upiti uzorkovani, što otežava preciznu procenu performansi svakog modela i pouzdano razlikovanje među modelima.

Dublje procene smanjuju lažno negativne rezultate u evaluaciji. Sa retkim oznakama, pretraživač može da iznese na površinu relevantne dokumente koji nisu ocenjeni i stoga se pogrešno računaju kao nerelevantni. Ovo čini evaluaciju manje pouzdanom. MS MARCO je glavni velikobazni otvoreni skup podataka u pronalaženju informacija i oblikovao je razvoj modela neuronskog pronalaženja. Tamo je 70% ručno pregledanih vrhunskih preuzetih, ali neoznačenih odlomaka zapravo bilo relevantno.

Postojeći referentni testovi imaju tendenciju da se skaliraju u samo jednoj ili dve ove dimenzije: kolekcije u obimu veba često imaju relativno malo ocenjenih upita, dok referentni testovi sa mnogo upita generalno koriste mnogo manje korpuse i retke oznake. Štaviše, većina referentnih testova koristi upite pisane od strane ljudi, dok agentski RAG sistemi pretražuju sa upitima koje su preoblikovali agenti i koji se mogu razlikovati po formulaciji, strukturi i specifičnosti.

Q2D-Web se skalira kroz sve tri dimenzije. Sadrži 190 miliona veb dokumenata, 69.721 upit koji su preoblikovali agenti, i prosečno 99,6 pozitivnih ocena relevantnosti po upitu u svom kombinovanom skupu procena. Najbliže javno poređenje je MS MARCO Web Search, verzija MS MARCO-a u obimu veba. Ona ima 100,9 miliona dokumenata, 9.374 testna upita i jednu pozitivnu oznaku po upitu izvedenu iz klikova.

Kako smo kreirali Q2D-Web

Izrada Q2D-Web-a: uzorkovanje upita filtrirano po privatnosti, prikupljanje i deduplikacija korpusa, označavanje relevantnosti i uzorkovanje potkorpusa.

Upiti

Q2D-Web je izgrađen na bazi 23.000 produkcionih pretraga bez PII podataka u deset jezika i na desetine domena sakupljenih tokom perioda od devet meseci.

Pretraga se sastoji od svih poziva alata za pretragu veba koje agent obavlja kao odgovor na korisničku poruku. Svaki poziv alata sadrži jedan ili više upita. Svaki upit se preoblikuje na osnovu korisničkog zahteva, prethodnog razgovora i, gde je primenjivo, dokumenata preuzetih ranije u istoj pretrazi. Svaka produkciona pretraga sadrži jedan primarni upit, koji ponovo definiše potrebu korisnika za informacijama, i nula ili više sporednih upita koji istražuju alternativne formulacije, pozadinske informacije ili srodne entitete. Iako se bave istim širim zahtevom, oni mogu zahtevati različite dokumente, tako da Q2D-Web procenjuje svaki upit nezavisno sa sopstvenim ocenama relevantnosti.

Distribucije dužine i jezika za 69.721 upit u Q2D-Web-u. Dužina se meri u znakovima; stubovi prikazuju udeo upita u svakoj kategoriji.
Distribucija Q2D-Web upita po domenima tema. Stubovi prikazuju udeo svakog domena u skupu upita; „Ostalo“ grupiše petnaest dodatnih domena.

Primenjujemo strogo filtriranje privatnosti za sve uključene upite. Upiti moraju dolaziti od korisnika koji su dozvolili korišćenje svojih podataka, a PII detekcija pomoću perplexity-ai/pplx-pii-masking isključuje upite koji sadrže lične podatke. Takođe uklanjamo tačne duplikate, veoma kratke upite i upite koji sadrže operatore pretrage poput site: ili fraze pod navodnicima.

Referentni test pokriva deset jezika. Engleski čini 65,8% upita, a slede španski, ruski, nemački, francuski, portugalski, italijanski, korejski, japanski i kineski. Distribucija upita takođe obuhvata široku mešavinu domena, uključujući robu široke potrošnje, programiranje, pravo, zdravstvo, biznis, nauku, obrazovanje, tehnologiju, finansije, putovanja, zabavu, politiku, lokalne informacije i vesti.

Korpus

Za svaki upit preuzimamo 5.000 najboljih dokumenata pomoću produkcionog sistema za pronalaženje i uzimamo uniju ovih skupova rezultata. Zatim uklanjamo duplikate iz korpusa koristeći MinHash–LSH, klasterujući dokumente čiji skupovi tokena od 5 grama imaju Jaccard-ovu sličnost od najmanje 0,975.

Kolekcija namerno nije nasumični uzorak veba. Svaki dokument je smatran verovatnim rezultatom za najmanje jedan upit iz referentnog testa. Ovo stvara gust skup otežavajućih distraktora: stranica koje se poklapaju sa temom ili jezikom upita, ali možda propuštaju obavezni datum, entitet, verziju, količinu ili aspekt.

Distribucije dužine i jezika dokumenata u korpusu od približno 190 miliona dokumenata. Dužina se meri u znakovima; stubovi prikazuju udeo dokumenata u svakoj kategoriji.

Procene

Oznake relevantnosti su po prirodi nepotpune u velikom obimu. Označavanje svakog mogućeg para upita i dokumenta je neizvodljivo, a svaki izvor procena nosi drugačiju pristrasnost.

Q2D-Web koristi tri skupa relevantnosti umesto da tretira jedan izvor kao osnovnu istinu, kako bi povećao dubinu anotacije bez pretrpljenja jedinstvene pristrasnosti.

Citati označavaju dokument kao relevantan kada ga je agent citirao u odgovoru. Ovo je signal koji je najbliskiji upotrebi niže u lancu: agent je izabrao dokument kao dokaz za tvrdnju. Ali citiranje je po konstrukciji visoke preciznosti i niskog odziva. Kada agent ima dovoljno podrške, ima malo razloga da citira svaku drugu relevantnu stranicu.

Veb rangiranje se sastoji od do 50 dokumenata po upitu (u proseku 43,1), identifikovanih od strane internog cevovoda za pronalaženje pomoću BM25 i gustog pronalaženja u prvoj fazi, nakon čega sledi ponovno rangiranje pomoću unakrsnog kodera. Ovo obuhvata dokumente koji su korisni, ali nisu citirani.

Kombinovano + LLM procenjeno uzima uniju citata i veb rangiranja, zatim dodaje LLM procene za prethodno neocenjene kandidate, sa ciljem da se smanji broj lažno negativnih rezultata. Stapanjem spajamo rezultate iz BM25, ColBERTv2 i sedam gustih pretraživača objavljenih pre 1. januara 2025. godine, spajamo njihova rangiranja koristeći reciprocal rank fusion (RRF), biramo 500 najboljih neocenjenih dokumenata i primenjujemo strogu binarnu ocenu relevantnosti koristeći DeepSeek-V4-Flash.

Tri skupa nam omogućavaju da postavimo pitanje da li performanse modela zavise od načina na koji je definisana relevantnost. Oni takođe smanjuju oslanjanje na jedinstveni skup za obeležavanje, što bi inače moglo da pogoduje pretraživačima sličnim sistemu koji se koristi za generisanje oznaka.

Distribucije relevantnih dokumenata po upitu na logaritamskoj skali. Kombinovane oznake spajaju citate, veb rangiranja i dodatne LLM procene.

Poduzorkovanje: efikasna evaluacija u velikom obimu

Evaluacija celog korpusa je skupa i spora. Jedna evaluacija na Q2D-Web sa pplx-embed-v1-4b zahteva 4.608 H200 GPU-sati, dok čak i mali model poput EmbeddingGemma-300M zahteva skoro 200 H200 GPU-sati.

Da bismo evaluaciju održali praktičnom, gradimo verziju korpusa sa poduzorkovanjem.

Pokrenuli smo opsežnu ablaciju kroz strategije uzorkovanja da bismo izgradili manji podkorpus koji odražava ponašanje celog korpusa. Svaka strategija zadržava sve pozitivno ocenjene dokumente i razlikuje se samo u načinu na koji se biraju neocenjeni distraktor. Distraktori koji su važni su oni koje će pretraživač verovatno rangirati iznad relevantnog dokumenta, jer oni menjaju ocenu modela i njegov položaj u rangiranju.

Uporedili smo unifromno nasumično uzorkovanje, grupisanje na fiksnu dubinu kod svih pretraživača i RRF po upitima na različitim dubinama. Uzorkovanje zasnovano na RRF-u koristi samo 31,7% dokumenata u celom korpusu. Ono čuva rangiranje modela na celom korpusu prema kombinovanim procenama, istovremeno ostajući blizu apsolutnih rezultata, pri čemu uvećava prosečni Recall@1000 za 5,2 poena u poređenju sa 12,8 poena kod nasumičnog uzorkovanja iste veličine.

Prosečni Recall@1000 i slaganje sa rangiranjem modela na celom korpusu prema kombinovanim procenama u različitim strategijama uzorkovanja. Spajanje recipročnog ranga (RRF) čuva rangiranje evaluiranih modela korišćenjem 31,7% korpusa, uz manju inflaciju odziva u odnosu na nasumično uzorkovanje.

Ovo smanjuje troškove evaluacije na oko trećinu troškova za ceo korpus. Koristeći podkorpus zasnovan na RRF-u, pplx-embed-v1-4b zahteva otprilike 1.500 H200 GPU-sati, a EmbeddingGemma-300M zahteva manje od 70.

Svaki podnesak se prvo evaluira na verziji uzorkovanog podkorpusa. Podnesci su podeljeni u dve grupe prema ukupnom broju parametara: do 1B i iznad 1B. Model koji dostiže top deset u svojoj grupi na uzorkovanom podkorpusu se zatim evaluira na celom korpusu. Modeli rangirani izvan top 10 u svojoj grupi biće objavljeni samo na rang-listi uzorkovanog podkorpusa.

Rezultati evaluacije

U svim evaluiranim modelima, Q2D-Web pruža dosledan pogled na performanse pronalaženja u obimu veba kroz svoja 3 različita skupa relevantnosti. Rang-lista čini ove komplementarne pogledi dostupnim jedne pored drugih, omogućavajući korisnicima da ispitaju kako modeli funkcionišu pod užim oznakama zasnovanim na citatima i širim procenama relevantnosti.

Fokusiramo se na Recall@1000 kao naš primarni metrički pokazatelj jer pretraživač prve faze treba samo da postavi relevantne dokumente u bazen kandidata, dok naknadno ponovno rangiranje određuje njihov konačni redosled.

Kombinovani Recall@1000 u odnosu na kombinovani nDCG@10 za trinaest pretraživača, grupisanih po porodici modela. Model sa najvišim rezultatom se razlikuje između ove dve metrike.

Tabela 1. Recall@1000 i nDCG@10 na celom korpusu za trinaest pretraživača kroz skupove relevantnosti Citiranje, Veb rangiranje i Kombinovano. Viši rezultati su bolji.

Model

Recall@1000: Citati

Recall@1000: Veb rangiranje

Recall@1000: Kombinovano

nDCG@10: Citati

nDCG@10: Veb rangiranje

nDCG@10: Kombinovano

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0,6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0,6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0,6b

78,64

58,14

64,20

11,88

17,25

41,77

pplx-embed-v1-4b ima najveći Recall@1000 na sva tri skupa procena: Citiranje (85,03), Veb rangiranje (65,73) i Kombinovano (70,00). Kod kombinovanog Recall@100 i nDCG@10, model Nemotron-3-Embed-8B (30,32 i 45,65) ostvaruje bolje rezultate od pplx-embed-v1-4b (30,17 i 44,12).

Unutar iste porodice, veći modeli imaju viši rezultat za Kombinovani Recall@1000. Qwen3-Embedding raste sa 58,68 (0,6B) na 65,32 (8B), Nemotron-3-Embed sa 62,44 (1B) na 69,33 (8B), a pplx-embed-v1 sa 67,91 (0,6B) na 70,00 (4B).

Perplexity modeli se evaluiraju korišćenjem istog cevovoda kao i svi drugi poslati modeli. Međutim, pošto je Q2D-Web izveden iz Perplexity produkcionog saobraćaja, ovi modeli mogu imati koristi od prednosti unutar distribucije. Iako su upiti i korpus za evaluaciju referentnog testa bili izuzeti od treninga modela, rezultate treba tumačiti imajući u vidu ovu potencijalnu prednost.

Kako poslati rad na rang-listu

Da biste zatražili evaluaciju, pošaljite javno dostupan Hugging Face model putem našeg obrasca za zahtev za evaluaciju.

Pratimo karticu modela u poslatom skladištu za postavke zaključivanja specifične za model, uključujući preporučena uputstva za upite i dokumente ili prefikse, stapanje, normalizaciju i funkciju sličnosti. Svi upiti i dokumenti su skraćeni na 512 tokena pomoću sopstvenog tokenizatora modela, uključujući uputstva, prefikse i specijalne tokene, tako da duži podržani kontekst ne donosi nikakvu prednost. Uverite se da kartica modela pruža potpuna, nedvosmislena uputstva za reprodukciju nameravanog podešavanja pronalaženja.

Prihvatljivi modeli se moraju učitavati kroz standardne transformers ili sentence-transformers API-je. Modeli koji se ne pokreću sa trust_remote_code=False zahtevaju ručni pregled prilagođenog koda i podnosioca pre evaluacije, što traje znatno duže. Privatna ili zaštićena skladišta ne ispunjavaju uslove.

Pročitajte naš tehnički izveštaj da biste saznali više o metodologiji i nalazima.

Citiranje

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}