Q2D-Web: Mat á fyrsta stigs sækjendum í stórum stíl

Í dag kynnum við Q2D-Web (Query2Doc-Web), einkaviðmið og opinbera stigatöflu til að meta leit í umboðsbundnum RAG kerfum. Q2D-Web stækkar upprunalega Q2D-viðmið okkar yfir í stórt textasafn, stærra fyrirspurnasafn og dýpri dómmerkingar.

Q2D-Web er byggt til að meta innfellingalíkön (embedding models) á stórum vefleit. Það samanstendur af 190 milljónum vefskjala og 69.721 umboðsendursummuðum fyrirspurnum í tíu tungumálum, teknum sem sýni yfir níu mánaða tímabil úr PII-lausri framleiðsluleitarumferð.

Við þennan skalastærð er vægismerki á stigi fyrirspurnar og skjals óhjákvæmilega dreift. Í stað þess að meðhöndla einn uppruna sem sannleiksgagn (ground truth) bjóðum við upp á þrjá vægisdómshópa, fengna úr tilvísunum umboða, vefiröðun framleiðslu og viðbótardómum frá stórum málmódelum (LLM) fyrir áður ómetin pör. Margfeldi uppruna takmarkar hlutdrægni frá hvaða einstaka merkingarpípu sem er, á meðan dýpri athugasemdir draga úr fölskum neikvæðum niðurstöðum.

Stigatafla okkar birtir niðurstöður fyrir opinberlega gefin út leitarlíkön, metin beint gegn viðmiðinu með stöðugri vísitölu-, leitar- og stigapípu. Hægt er að skila inn mati gegnum beiðnareyðublað okkar.

Ákorunin við raunhæft leitarmat

Fyrir hverja fyrirspurn leitar framleiðslustigs leitarkerfi í textasafni milljarða vefsíðna og skilar þúsundum frambjóðendaskjala. Þessir frambjóðendur ákvarða hvaða heimildir niðurstreymiskerfi geta séð, og móta beint þau sönnunargögn sem umboðinu standa til boða.

Raunhæft mat á þessu fyrsta stigi krefst því viðmiða sem skala eftir þremur víddum: fjölda skjala í textasafninu, fjölda dæmdra fyrirspurna og fjölda vægisdóma á hverja fyrirspurn.

Stærri textasöfn geta gert viðmið greinandi (discriminative) með því að kynna erfiðar neikvæðar niðurstöður (hard negatives) – skjöl sem eru merkingarlega svipuð fyrirspurn en veita ekki umbeðnar upplýsingar. Sækjendur verða að greina þessi trúlegu samsvörun frá viðeigandi skjölum. Að minnka textasafnið á meðan þekkif viðeigandi skjöl eru geymd getur fjarlægt þessar truflanir og blásið upp endurheimt (recall), eins og undirsýnatökutilraunir okkar hér að neðan sýna.

Fleiri dæmdar fyrirspurnir gera árangursmat áreiðanlegra. Með litlu fyrirspurnasafni fara niðurstöður viðmiðsins mikið eftir því hvaða fyrirspurnir voru teknar sem sýni, sem gerir erfiðara að meta árangur eins og eins líkans nákvæmlega og greina af öryggi á milli líkana.

Dýpri dómar draga úr fölskum neikvæðum niðurstöðum við mat. Með dreifðum merkjum getur sækjari dregið fram viðeigandi skjöl sem eru ódæmd og eru því ranglega talin óviðeigandi. Þetta gerir matið óáreiðanlegra. MS MARCO er aðal stóra opna gagnasafnið í upplýsingaleit og mótaði þróun tauganleitarskila. Þar voru 70% af handskoðuðum efstu sóttu en ómerktu textabútum í raun viðeigandi.

Núverandi viðmið hafa tilhneigingu til að skalanast í aðeins einni eða tveimur af þessum stærðum: vefskala söfn hafa oft hlutfallslega fáar dæmdar fyrirspurnir, á meðan viðmið með margar fyrirspurnir nota almennt mun minni textasöfn og dreifð merki. Þar að auki nota flest viðmið mannskrifaðar fyrirspurnir, á meðan umboðsbundin RAG kerfi leita með umboðs-endursummuðum fyrirspurnum sem geta verið frábrugðnar í orðalagi, uppbyggingu og sérhæfni.

Q2D-Web skalast yfir allar þrjár víddirnar. Það inniheldur 190 milljónir vefskjala, 69.721 umboðsendursummuðu fyrirspurnir og að meðaltali 99,6 jákvæða vægisdóma á hverja fyrirspurn í samsettu dómssetti sínu. Næsti opinberi samanburður er MS MARCO Web Search, vefskala útgáfan af MS MARCO. Hún er með 100,9 milljónir skjala, 9.374 prófunarfyrirspurnir og eitt smellu-leitt jákvætt merki á hverja fyrirspurn.

Hvernig við bjuggum til Q2D-Web

Stækka

Fyrirspurnir

Q2D-Web er byggt á 23.000 PII-lausum framleiðsluleitum í tíu tungumálum og tugum lénum sem safnað var yfir níu mánaða tímabil.

Leit samanstendur af öllum vefleitartækjaköllum sem umboð (agent) framkvæmir sem svör við skilaboðum notanda. Hvert tækjakall inniheldur eina eða fleiri fyrirspurnir. Hver fyrirspurn er endursummuð út frá beiðni notanda, fyrri samræðum og, þar sem við á, skjölum sem sótt voru fyrr í sömu leit. Hver framleiðsluleit inniheldur eina aðalfyrirspurn, sem endurtekur upplýsingaþörf notanda, og núll eða fleiri stuðningsfyrirspurnir sem kanna aðrar orðanir, bakgrunnsupplýsingar eða tengd einindi. Þótt þær beinist að sömu víðtæku beiðni geta þær krafist mismunandi skjala, þannig að Q2D-Web metur hverja fyrirspurn sjálfstætt með sínum eigin vægisdómum.

Stækka

Stækka

Við beitum ströngum persónuverndarsíum fyrir allar innifaldar fyrirspurnir. Fyrirspurnir verða að koma frá notendum sem leyfðu notkun gagna sinna og PII-greining með perplexity-ai/pplx-pii-masking útilokar fyrirspurnir sem innihalda persónugreinanlegar upplýsingar. Við fjarlægjum einnig nákvæm tvrit, mjög stuttar fyrirspurnir og fyrirspurnir sem innihalda leitarstýringar eins og site: eða textabút í gæsalöppum.

Viðmiðið nær yfir tíu tungumál. Enska stendur undir 65,8% fyrirspurna, á eftir spænsku, rússnesku, þýsku, frönsku, portúgölsku, ítölsku, kóresku, japönsku og kínversku. Fyrirspurnadreifingin spannar einnig fjölbreytta blöndu af lénum, þar á meðal neysluvörur, forritun, lögfræði, heilbrigðismál, viðskipti, vísindi, menntun, tækni, fjármál, ferðalög, skemmtun, stjórnmál, staðbundnar upplýsingar og fréttir.

Textasafn (Corpus)

Fyrir hverja fyrirspurn sækjum við efstu 5.000 skjölin með framleiðsluleitarkerfi og tökum samhlaup (union) þessara niðurstöðusafna. Við tvrithreinsum síðan textasafnið með MinHash–LSH, og flokkum saman skjöl þar sem tákn 5-gilda söfnin hafa Jaccard-líkindi að lágmarki 0,975.

Safnið er viljandi ekki tilviljunarkennt vefsýni. Hvert skjal var talið trúleg niðurstaða fyrir atkvæðaprófun (benchmark) fyrirspurn. Þetta skapar þétt safn erfiðra truflana (distractors): síður sem passa við efni eða tungumál fyrirspurnar en gætu vantað nauðsynlega dagsetningu, einindi, útgáfu, magn eða þátt.

Stækka

Dómar

Vægismerki eru ófullkomin af eðlisfari í stórum stíl. Það er ógerlegt að merkja hvert einasta par fyrirspurnar og skjals, og hver uppruni dóma hefur með sér mismunandi hlutdrægni.

Q2D-Web notar þrjú vægisset í stað þess að meðhöndla einn uppruna sem sannleiksgagn, til að auka dýpt athugasemda án þess að þjást af einni hlutdrægni.

Tilvísun (Citation) merkir skjal sem viðeigandi þegar umboð vitnar í það í svari. Þetta er nálægasta merkið við niðurstreymisnotkun: umboðið valdi skjalið sem sönnunargagn fyrir fullyrðingu. En tilvísun er hárnákvæm en með lága heimt eftir hönnun. Þegar umboð hefur nægilegan stuðning hefur það litla ástæðu til að vitna í hverja aðra viðeigandi síðu.

Vefiröðun (Web Ranking) samanstendur af allt að 50 skjölum á hverja fyrirspurn (43,1 að meðaltali), auðkenndum af innri leitarpípu sem notar BM25 og þétta leit á fyrsta stigi, fylgt eftir af krosskóðara endurröðun. Þetta nær yfir skjöl sem eru gagnleg en ekki vitnað í.

Samsett + LLM-dæmt (Combined + LLM-Judged) tekur samhlaup tilvísunar og vefiröðunar, bætir svo við LLM-dómum fyrir áður ódæmdra frambjóðenda, með það markmið að fækka röngum neikvæðum niðurstöðum. Við sameinum niðurstöður úr BM25, ColBERTv2, og sjö þéttum sækjendum sem gefnir voru út fyrir 1. janúar 2025, bræðum saman röðun þeirra með reciprocal rank fusion (RRF), veljum efstu 500 ódæmdu skjölin og beitum ströngum tvíundarvægisdómara með DeepSeek-V4-Flash.

Þessir þrír hópar leyfa okkur að spyrja hvort árangur líkana sé háður því hvernig vægi er skilgreint. Þeir draga einnig úr trausti á einu merkingarhlaði, sem annars gæti hyglað sækjurum sem líkjast kerfinu sem notað var til að búa til merki.

Stækka

Undirsýnataka: skilvirk matgjöf í stórum stíl

Fullt textasafnsmat er dýrt og hægt. Eitt mat á Q2D-Web með pplx-embed-v1-4b krefst 4.608 H200 GPU-klukkustunda, á meðan jafnvel lítið líkan eins og EmbeddingGemma-300M krefst nálægt 200 H200 GPU-klukkustunda.

Til að halda matinu raunhæfu búum við til undirsýnataka útgáfu af textasafninu.

Við keyrðum víðtæka brottfallssýnatöku (ablation) þvert á sýnatökuaðferðir til að búa til minna undirsafn sem endurspeglar hegðun alls textasafnsins. Hver aðferð heldur öllum jákvætt dæmdum skjölum og breytist aðeins í því hvernig ódæmdar truflanir eru valdar. Þær truflanir sem máli skipta eru þær sem sækjari líklegast raðar fyrir ofan viðeigandi skjal, vegna þess að þær breyta stigi líkans og stöðu þess í röðuninni.

Við bárum saman tilviljunarkennt úrtak, sameiningu í fasta dýpt þvert á smíðaleitarvélarnar og RRF fyrir hverja fyrirspurn yfir mismunandi dýptir. RRF-undirstaða úrtök notar aðeins 31,7% af skjölunum í öllum safninu. Það varðveitir röðun líkansins fyrir allt safnið undir Combined-matinu, á meðan það er nálægt algildum skorun, og hækkar meðaltal Recall@1000 um 5,2 punkta samanborið við 12,8 punkta fyrir tilviljunarkennt úrtak af sömu stærð.

Stækka

Þetta minnkar matskostnað niður í um þriðjung af kostnaði við allt textasafnið. Með því að nota RRF-undirsafnið þarf pplx-embed-v1-4b um það bil 1.500 H200 GPU-klukkustundir og EmbeddingGemma-300M þarf undir 70.

Hverri innsendingu er fyrst hringt inn og hún metin á sýnishorn útgáfu undirsafnsins. Innsendingum er skipt í tvo hópa eftir heildarfjölda stika: allt að 1B og yfir 1B. Líkön sem ná í efstu tíu sæti síns hóps á sýnishornssafninu eru síðan metin á öllu textasafninu. Líkön sem raðast fyrir utan topp 10 í sínum hópi verða eingöngu birt á stigatöflu undirsafnsins.

Matsniðurstöður

Þvert á metin líkön veitir Q2D-Web samræmda sýn á leitarafköst í vefskala yfir sín 3 mismunandi vægisset. Stigataflan gerir þessi viðbótarsjónarmið aðgengileg hlið við hlið, sem gerir notendum kleift að skoða hvernig líkön standa sig undir þrengri tilvísunartengdum merkjum og víðtækari vægisdómum.

Við leggjum áherslu á Recall@1000 sem aðalmælikvarða okkar vegna þess að fyrsta stigs sækjari þarf aðeins að koma viðeigandi skjölum fyrir í frambjóðendalaug, á meðan síðari endurröðun ákvarðar endanlega röð þeirra.

Stækka

Tafla 1. Recall@1000 og nDCG@10 fyrir allt safnið fyrir þrettán leitarvélar þvert á Citation, Web Ranking og Combined mikilvægissett. Hærri skor eru betri.

pplx-embed-v1-4b er með hæsta Recall@1000 á öllum þremur matssettunum: Tilvitnun (85,03), Vefröðun (65,73) og Samtala (70,00). Á Combined Recall@100 og nDCG@10 skorar Nemotron-3-Embed-8B (30,32 og 45,65) hærra en pplx-embed-v1-4b (30,17 og 44,12).

Innan sömu fjölskyldu skora stærri líkön hærra á Combined Recall@1000. Qwen3-Embedding hækkar úr 58,68 (0,6B) í 65,32 (8B), Nemotron-3-Embed úr 62,44 (1B) í 69,33 (8B) og pplx-embed-v1 úr 67,91 (0,6B) í 70,00 (4B).

Perplexity líkön eru metin með sömu pípu og öll önnur innsend líkön. Hins vegar, vegna þess að Q2D-Web er dregið af framleiðsluumferð Perplexity, gætu þessi líkön haft forskot af innbyggðri dreifingu. Þótt prófunarfyrirspurnir og textasafn viðmiðsins hafi verið undanskildar þjálfun líkansins ætti að túlka niðurstöður með þetta mögulega forskot í huga.

Hvernig á að skila inn á stigatöfluna

Til að biðja um mat skal skila inn opinberlega aðgengilegu Hugging Face líkani í gegnum beiðnareyðublað matgjöfunar.

Við fylgjum líkanakortinu (model card) í innsendri gagnageymslu fyrir líkansértækar ályktunarstillingar, þar á meðal ráðlagðar fyrirspurnar- og skjalaleiðbeiningar eða forskeyti, samruna (pooling), stöðlun og líkindafall. Allar fyrirspurnir og skjöl eru stytt í 512 tákn með eigin táknara líkansins, þar með talið leiðbeiningar, forskeyti og sérstök tákn, þannig að lengra stutt samhengi veitir ekkert forskot. Vinsamlegast tryggðu að líkanakortið veiti tæmandi og ótvíræðar leiðbeiningar um endurgerð áhugaðrar leitaruppsetningar.

Gildir módel verða að hlaðast í gegnum staðlaða transformers eða sentence-transformers forritaskil (APIs). Líkön sem keyra ekki með trust_remote_code=False þurfa handvirka yfirferð á sérsniðnum kóða og innsendanda fyrir mat, sem tekur töluvert lengri tíma. Einkareknar eða læstar gagnageymslur eru ekki gjaldgengar.

Lestu tækniskýrslu okkar til að fræðast meira um aðferðafræðina og niðurstöðurnar.

Tilvitnun

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}