Q2D-Web: Evaluacija dohvatnika prve faze u velikom mjerilu

Danas predstavljamo Q2D-Web (Query2Doc-Web), privatnu referentnu vrijednost i javnu ljestvicu za evaluaciju dohvata u agentskim RAG sustavima. Q2D-Web proširuje našu izvornu Q2D referentnu vrijednost na korpus velikih razmjera, veći skup upita i dublje oznake procjena.

Q2D-Web je izrađen za evaluaciju modela ugrađivanja (embedding) na pretraživanju weba velikih razmjera. Sastoji se od 190 milijuna web-dokumenata i 69.721 upita koji su preoblikovali agenti na deset jezika, uzorkovanih tijekom devet mjeseci produkcijskog prometa pretraživanja bez PII-ja.

U ovom mjerilu, signal relevantnosti na razini upita i dokumenta neizbježno je rijedak. Umjesto da tretiramo jedan izvor kao temeljnu istinu, nudimo tri skupa procjena relevantnosti, izvedena iz citata agenata, produkcijskog rangiranja weba i dodatnih procjena LLM-a za prethodno neocijenjene parove. Više izvora ograničava pristranost bilo kojeg pojedinačnog cjevovoda označavanja, dok dublje označavanje smanjuje lažno negativne rezultate.

Naša ljestvica izvještava o rezultatima za javno objavljene modele dohvata, ocijenjene izravno u odnosu na referentnu vrijednost pomoću dosljednog cjevovoda indeksiranja, dohvata i bodovanja. Evaluacija se može predati putem našeg obrasca za zahtjev.

Izazov realistične evaluacije dohvata

Za svaki upit, sustav dohvata produkcijskih razmjera pretražuje korpus od milijardi web-stranica i vraća tisuće dokumenata kandidata. Ovi kandidati određuju koje izvore nizvodni sustavi mogu vidjeti, izravno oblikujući dokaze dostupne agentu.

Realistična evaluacija ove prve faze stoga zahtijeva referentne vrijednosti koje se skaliraju u tri dimenzije: broju dokumenata u korpusu, broju ocijenjenih upita i broju procjena relevantnosti po upitu.

Veći korpusi mogu učiniti referentnu vrijednost diskriminativnijom uvođenjem teških negativnih primjera – dokumenata koji su semantički slični upitu, ali ne pružaju tražene informacije. Dohvatnici moraju razlikovati ova vjerojatna podudaranja od relevantnih dokumenata. Smanjivanje korpusa uz zadržavanje poznatih relevantnih dokumenata može ukloniti ove distraktor i napuhati prisjećanje (recall), kao što pokazuju naši eksperimenti poduzorkovanja u nastavku.

Više ocijenjenih upita čini procjene performansi pouzdanijima. S malim skupom upita, rezultati referentne vrijednosti uvelike ovise o tome koji su upiti uzorkovani, što otežava preciznu procjenu performansi svakog modela i pouzdano razlikovanje među modelima.

Dublje procjene smanjuju lažno negativne rezultate u evaluaciji. S rijetkim oznakama, dohvatnik može izbaciti relevantne dokumente koji nisu ocijenjeni i stoga se neispravno računaju kao nerelevantni. To evaluaciju čini manje pouzdanom. MS MARCO je glavni opsežni otvoreni skup podataka u pronalaženju informacija i oblikovao je razvoj nevronskih modela dohvata. Tamo je 70% ručno pregledanih vrhunskih dohvaćenih, ali neoznačenih odlomaka zapravo bilo relevantno.

Postojeće referentne vrijednosti obično se skaliraju u samo jednoj ili dvije od ovih dimenzija: zbirke u mjerilu weba često imaju relativno malo ocijenjenih upita, dok referentne vrijednosti s mnogo upita općenito koriste mnogo manje korpuse i rijetke oznake. Štoviše, većina referentnih vrijednosti koristi upite koje su napisali ljudi, dok agentski RAG sustavi pretražuju s upitima koje su preoblikovali agenti, a koji se mogu razlikovati u formulaciji, strukturi i specifičnosti.

Q2D-Web se skalira kroz sve tri dimenzije. Sadrži 190 milijuna web-dokumenata, 69.721 upit koji su preoblikovali agenti i prosječno 99,6 pozitivnih procjena relevantnosti po upitu u svom kombiniranom skupu procjena. Najbliža javna usporedba je MS MARCO Web Search, verzija MS MARCO-a u mjerilu weba. Ima 100,9 milijuna dokumenata, 9374 testna upita i jednu pozitivnu oznaku po upitu izvedenu klikom.

Kako smo stvorili Q2D-Web

Povećaj

Upiti

Q2D-Web izgrađen je na 23.000 produkcijskih pretraživanja bez PII-ja na deset jezika i desetcima domena prikupljenih tijekom razdoblja od devet mjeseci.

Pretraživanje se sastoji od svih poziva alata za pretraživanje weba koje agent izvršava kao odgovor na poruku korisnika. Svaki poziv alata sadrži jedan ili više upita. Svaki se upit preoblikuje na temelju korisničkog zahtjeva, prethodnog razgovora i, prema potrebi, dokumenata dohvaćenih ranije u istom pretraživanju. Svako produkcijsko pretraživanje sadrži jedan primarni upit, koji ponovno izražava korisnikovu potrebu za informacijama, i nulu ili više sporednih upita, koji istražuju alternativne načine formuliranja, pozadinske informacije ili srodne entitete. Iako se odnose na isti širi zahtjev, mogu zahtijevati različite dokumente, pa Q2D-Web procjenjuje svaki upit neovisno s vlastitim procjenama relevantnosti.

Povećaj

Povećaj

Primjenjujemo strogo filtriranje privatnosti za sve uključene upite. Upiti moraju dolaziti od korisnika koji su dopustili korištenje svojih podataka, a detekcija PII-ja pomoću perplexity-ai/pplx-pii-masking isključuje upite koji sadrže osobne podatke. Također uklanjamo točne duplikate, vrlo kratke upite i upite koji sadrže operatore pretraživanja kao što su site: ili citirane fraze.

Referentna vrijednost pokriva deset jezika. Engleski čini 65,8% upita, a slijede ga španjolski, ruski, njemački, francuski, portugalski, talijanski, korejski, japanski i kineski. Distribucija upita također obuhvaća širok miks domena, uključujući potrošačku robu, programiranje, pravo, zdravstvo, poslovanje, znanost, obrazovanje, tehnologiju, financije, putovanja, zabavu, politiku, lokalne informacije i vijesti.

Korpus

Za svaki upit dohvaćamo 5000 najboljih dokumenata pomoću produkcijskog sustava dohvata i uzimamo uniju tih skupova rezultata. Zatim uklanjamo duplikate iz korpusa koristeći MinHash–LSH, klasterirajući dokumente čiji skupovi od 5-grama tokena imaju Jaccardovu sličnost od najmanje 0,975.

Zbirka namjerno nije slučajan uzorak weba. Svaki je dokument smatran uvjerljivim rezultatom za najmanje jedan referentni upit. To stvara gust skup teških distraktora: stranica koje odgovaraju temi ili jeziku upita, ali im možda nedostaje traženi datum, entitet, verzija, količina ili aspekt.

Povećaj

Procjene

Oznake relevantnosti po prirodi su nepotpune u velikom mjerilu. Označavanje svakog mogućeg para upita i dokumenta je neizvedivo, a svaki izvor procjena nosi drugačiju pristranost.

Q2D-Web koristi tri skupa relevantnosti umjesto da tretira jedan izvor kao temeljnu istinu, kako bi povećao dubinu označavanja bez pati od jedinstvene pristranosti.

Citation označava dokument kao relevantan kada ga je agent citirao u odgovoru. To je signal koji je najbliži nizvodnoj upotrebi: agent je odabrao dokument kao dokaz za tvrdnju. No, citat je po konstrukciji visoke preciznosti i niskog prisjećanja (recall). Jednom kada agent ima dovoljno potkrepljenja, ima malo razloga citirati svaku drugu relevantnu stranicu.

Web Ranking sastoji se od do 50 dokumenata po upitu (u prosjeku 43,1), identificiranih pomoću internog niza za dohvat koji koristi BM25 i gusti dohvat u prvoj fazi, nakon čega slijedi ponovno rangiranje pomoću unakrsnog kodera. Time se hvataju dokumenti koji su korisni, ali nisu citirani.

Combined + LLM-Judged uzima uniju skupova Citation i Web Ranking, zatim dodaje LLM procjene za prethodno neocijenjene kandidate, s ciljem smanjenja broja lažno negativnih rezultata. Skupljamo rezultate iz BM25, ColBERTv2 i sedam gustih dohvatnika objavljenih prije 1. siječnja 2025., spajamo njihova rangiranja koristeći fuziju recipročnog ranga (RRF), odabiremo 500 najboljih neocijenjenih dokumenata i primjenjujemo strogu binarnu procjenu relevantnosti koristeći DeepSeek-V4-Flash.

Tri skupa omogućuju nam da postavimo pitanje ovise li performanse modela o tome kako je definirana relevantnost. Također smanjuju ovisnost o jedinstvenom nizu za označavanje, što bi inače moglo pogodovati dohvatnicima sličnim sustavu korištenom za generiranje oznaka.

Povećaj

Poduzorkovanje: učinkovita evaluacija u velikom mjerilu

Evaluacija cijelog korpusa skupa je i spora. Jedna evaluacija na Q2D-Webu s modelom pplx-embed-v1-4b zahtijeva 4608 H200 GPU-sati, dok čak i mali model poput EmbeddingGemma-300M zahtijeva gotovo 200 H200 GPU-sati.

Kako bi evaluacija ostala praktična, gradimo poduzorkovanu verziju korpusa.

Proveli smo opsežnu ablaciju kroz strategije uzorkovanja kako bismo izgradili manji podkorpus koji odražava ponašanje cijelog korpusa. Svaka strategija zadržava sve pozitivno ocijenjene dokumente i razlikuje se samo u načinu odabira neocijenjenih distraktora. Distraktori koji su važni jesu oni koje će dohvatnik vjerojatno rangirati iznad relevantnog dokumenta, jer oni mijenjaju rezultat modela i njegov položaj na ljestvici.

Usporedili smo ujednačeno slučajno uzorkovanje, združivanje do fiksne dubine kod modela za pronalaženje informacija (retrievers) te RRF po upitima na različitim dubinama. Uzorkovanje temeljeno na RRF-u koristi samo 31.7% dokumenata u cijelom korpusu. Ono čuva rangiranje modela na cijelom korpusu prema Combined procjenama, a pritom ostaje blizu apsolutnih rezultata, povećavajući srednju vrijednost metrike Recall@1000 za 5.2 boda u odnosu na 12.8 bodova kod slučajnog uzorkovanja iste veličine.

Povećaj

To smanjuje troškove evaluacije na oko trećinu troška cijelog korpusa. Korištenjem podkorpusa temeljenog na RRF-u, za pplx-embed-v1-4b potrebno je otprilike 1500 H200 GPU-sati, a za EmbeddingGemma-300M manje od 70.

Svaka se prijava najprije ocjenjuje na verziji uzorkovanog podkorpusa. Prijave su podijeljene u dvije skupine prema ukupnom broju parametara: do 1B i iznad 1B. Model koji dospije u top deset svoje skupine na uzorkovanom podkorpusu zatim se ocjenjuje na cijelom korpusu. Modeli rangirani izvan top 10 u svojoj skupini bit će objavljeni samo na ljestvici uzorkovanog podkorpusa.

Rezultati evaluacije

U svim ocijenjenim modelima, Q2D-Web pruža dosljedan prikaz performansi dohvata u mjerilu weba kroz svoja 3 različita skupa relevantnosti. Ljestvica čini ove komplementarne prikaze dostupnima jedan pored drugog, omogućujući korisnicima da provjere kako modeli izvode pod užim oznakama temeljenim na citatima i širim procjenama relevantnosti.

Fokusiramo se na Recall@1000 kao naš primarni metrički podatak jer dohvatnik prve faze treba samo smjestiti relevantne dokumente u skup kandidata, dok naknadno rangiranje određuje njihov konačni redoslijed.

Povećaj

Tablica 1. Vrijednosti metrika Recall@1000 i nDCG@10 na cijelom korpusu za trinaest modela za pronalaženje informacija kroz skupove važnosti Citation, Web Ranking i Combined. Viši rezultati su bolji.

pplx-embed-v1-4b ima najviši Recall@1000 na sva tri skupa procjena: Citation (85.03), Web Ranking (65.73) i Combined (70.00). Na skupu Combined Recall@100 i nDCG@10, model Nemotron-3-Embed-8B (30.32 i 45.65) ostvaruje bolje rezultate od modela pplx-embed-v1-4b (30.17 i 44.12).

Unutar iste obitelji veći modeli ostvaruju više rezultate na metrici Combined Recall@1000. Qwen3-Embedding raste s 58.68 (0.6B) na 65.32 (8B), Nemotron-3-Embed sa 62.44 (1B) na 69.33 (8B), a pplx-embed-v1 sa 67.91 (0.6B) na 70.00 (4B).

Modeli Perplexity procjenjuju se pomoću istog cjevovoda kao i svi drugi predani modeli. Međutim, budući da je Q2D-Web izveden iz produkcijskog prometa platforme Perplexity, ti modeli mogu imati koristi od prednosti unutar distribucije. Iako su upiti za evaluaciju i korpus referentne vrijednosti bili isključeni iz treniranja modela, rezultate treba tumačiti imajući na umu ovu potencijalnu prednost.

Kako predati rad na ljestvicu

Zahtjev za evaluaciju možete podnijeti slanjem javno dostupnog Hugging Face modela putem našeg obrasca za zahtjev za evaluaciju.

Slijedimo karticu modela u predanom repozitoriju za postavke zaključivanja specifične za model, uključujući preporučene upute ili prefikse za upite i dokumente, spajanje, normalizaciju i funkciju sličnosti. Svi upiti i dokumenti skraćeni su na 512 tokena s vlastitim tokenizatorom modela, uključujući upute, prefikse i posebne tokene, tako da duži podržani kontekst ne donosi nikakvu prednost. Osigurajte da kartica modela pruža potpune, nedvosmislene upute za reproduciranje namještene postavke dohvata.

Prihvatljivi modeli moraju se učitati putem standardnih API-ja za transformers ili sentence-transformers. Modeli koji se ne pokreću s postavkama trust_remote_code=False zahtijevaju ručni pregled prilagođenog koda i osobe koja ih je predala prije evaluacije, što traje znatno dulje. Privatni ili zaštićeni repozitoriji nisu prihvatljivi.

Pročitajte naše tehničko izvješće kako biste saznali više o metodologiji i nalazima.

Citiranje

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}