Q2D-Web: Első szakaszbeli visszakeresők értékelése léptékben

Ma bemutatjuk a Q2D-Web (Query2Doc-Web) rendszert, egy magánjellegű benchmarkot és nyilvános ranglistát az ügynöki RAG-rendszerek visszakeresési értékeléséhez. A Q2D-Web kiterjeszti az eredeti Q2D benchmarkunkat egy nagyléptékű korpuszra, egy nagyobb lekérdezési halmazra és mélyebb ítélet-annotációkra.

A Q2D-Web beágyazási modellek nagyléptékű webes keresésen történő értékelésére készült. 190 millió webes dokumentumot és 69 721 ügynök által újrafogalmazott lekérdezést tartalmaz tíz nyelven, kilenc hónapos PII-mentes éles keresési forgalomból mintavételezve.

Ezen a léptéken a relevanciajel a lekérdezés–dokumentum szinten elkerülhetetlenül ritka. Ahelyett, hogy egyetlen forrást kezelnénk igazságforrásként (ground truth), három relevanciamegállapítási halmazt biztosítunk, amelyek ügynöki hivatkozásokból, éles webes rangsorolásokból, valamint a korábban még nem értékelt párokhoz tartozó további LLM-értékelésekből származnak. A többszörös forrás korlátozza az egyetlen címkézési csatornából eredő torzítást, míg a mélyebb annotáció csökkenti a hamis negatív eredményeket.

Ranglistánk nyilvánosan kiadott visszakeresési modellek eredményeit közli, amelyeket közvetlenül a benchmarkkal szemben értékelnek egy konzisztens indexelési, visszakeresési és pontozási folyamat használatával. Értékelés a kérelmezési űrlapon keresztül nyújtható be.

A reális visszakeresési értékelés kihívása

Minden egyes lekérdezés esetében egy éles léptékű visszakereső rendszer milliárdnyi weboldalból álló korpuszban keres, és dokumentumjelöltek ezreit adja vissza. Ezek a jelöltek határozzák meg, hogy a lefelé áramló (downstream) rendszerek milyen forrásokat láthatnak, közvetlenül formálva az ügynök számára elérhető bizonyítékokat.

Ennek az első szakasznak a reális értékelése ezért olyan benchmarkokat igényel, amelyek három dimenzióban skálázódnak: a korpuszban lévő dokumentumok száma, az értékelt lekérdezések száma, valamint a lekérdezésenkénti relevanciamegállapítások száma alapján.

A nagyobb korpuszok megkülönböztetőbbé tehetnek egy benchmarkot azáltal, hogy nehéz disztraktorokat – olyan dokumentumokat, amelyek szemantikailag hasonlítanak egy lekérdezéshez, de nem tartalmazzák a kért információt – vezetnek be. A visszakeresőknek meg kell különböztetniük ezeket a plausible találatokat a releváns dokumentumoktól. A korpusz zsugorsága a ismert releváns dokumentumok megtartása mellett eltávolíthatja ezeket a disztraktorokat, és megnövelheti a felidézést (recall), amint azt az alábbi almintavételezési kísérleteink is mutatják.

A több értékelt lekérdezés megbízhatóbbá teszi a teljesítménybecsléseket. Kis lekérdezési halmaz esetén a benchmark eredményei nagyban függenek attól, hogy mely lekérdezéseket mintavételezték, ami megnehezíti az egyes modellek teljesítményének pontos becslését és a modellek közötti magabiztos különbségtételt.

A mélyebb megállapítások csökkentik a hamis negatív eredményeket az értékelés során. Ritka címkék esetén egy visszakereső felszínre hozhat olyan releváns dokumentumokat, amelyek nincsenek értékelve, ezért tévesen nem relevánsként lesznek megszámolva. Ez kevésbé megbízhatóvá teszi az értékelést. Az MS MARCO az információvisszakeresés fő nagyléptékű nyílt adatkészlete, amely nagyban formálta a neurális visszakeresési modellek fejlődését. Itt a manuálisan megvizsgált, legmagasabban visszakeresett, de címkézetlen bekezdések 70%-a valójában releváns volt.

A meglévő benchmarkok jellemzően csak egy vagy két dimenzióban skálázódnak: a webes léptékű gyűjteményekben gyakran viszonylag kevés az értékelt lekérdezés, míg a sok lekérdezést tartalmazó benchmarkok általában sokkal kisebb korpuszokat és ritka címkéket használnak. Sőt, a legtöbb benchmark ember által írt lekérdezéseket használ, míg az ügynöki RAG-rendszerek az ügynök által újrafogalmazott lekérdezésekkel keresnek, amelyek megfogalmazásukban, struktúrájukban és specifitásukban eltérhetnek.

A Q2D-Web mindhárom dimenzióban skálázódik. 190 millió webes dokumentumot, 69 721 ügynök által újrafogalmazott lekérdezést, valamint kombinált ítélet-halmazában lekérdezésenként átlagosan 99,6 pozitív relevanciamegállapítást tartalmaz. A legközelebbi nyilvános összehasonlítás az MS MARCO Web Search, az MS MARCO webléptékű verziója. Ez 100,9 millió dokumentumot, 9374 tesztlekérdezést és lekérdezésenként egy kattintásból származó pozitív címkét tartalmaz.

Hogyan hoztuk létre a Q2D-Webet?

Nagyítás

Lekérdezések

A Q2D-Web alapját 23 000, személyazonosításra alkalmas adatoktól (PII) mentes éles keresés képezi, tíz nyelven és több tucat tartományban, kilenc hónapos időszak alatt gyűjtve.

A keresés mindazokat a webes keresőeszköz-hívásokat foglalja magában, amelyeket az ügynök egy felhasználói üzenetre válaszul végrehajt. Minden eszközhívás egy vagy több lekérdezést tartalmaz. Minden egyes lekérdezést a felhasználói kérés, a korábbi beszélgetés, és adott esetben a korábban, ugyanebben a keresésben lekért dokumentumok alapján fogalmaznak újra. Minden éles keresés tartalmaz egy elsődleges lekérdezést, amely újrafogalmazza a felhasználó információs igényét, valamint nulla vagy több támogató lekérdezést, amelyek alternatív megfogalmazásokat, háttérinformációkat vagy kapcsolódó entitásokat vizsgálnak. Bár ugyanarra a szélesebb körű kérésre vonatkoznak, eltérő dokumentumokat igényelhetnek, ezért a Q2D-Web minden lekérdezést függetlenül, a saját relevanciamegállapításaival értékel.

Nagyítás

Nagyítás

Szigorú adatvédelmi szűrést alkalmazunk az összes benne foglalt lekérdezésre vonatkozóan. A lekérdezéseknek olyan felhasználóktól kell származniuk, akik engedélyezték adataik felhasználását, és a perplexity-ai/pplx-pii-masking használatával történő PII-detektálás kizárja a személyes adatokat tartalmazó lekérdezéseket. Eltávolítjuk továbbá a pontos duplikátumokat, a nagyon rövid lekérdezéseket, valamint az olyan keresési operátorokat tartalmazó lekérdezéseket, mint a site: vagy a idézőjelbe tett kifejezések.

A benchmark tíz nyelvet fed le. Az angol a lekérdezések 65,8%-át teszi ki, ezt követi a spanyol, az orosz, a német, a francia, a portugál, az olasz, a koreai, a japán és a kínai. A lekérdezések eloszlása ​​szintén széles körű tartományokat ölel fel, beleértve a fogyasztói cikkeket, a programozást, a jogot, az egészségügyet, az üzleti életet, a tudományt, az oktatást, a technológiát, a pénzügyeket, az utazást, a szórakoztatást, a politikát, a helyi információkat és a híreket.

Korpusz

Minden egyes lekérdezéshez visszakeressük a legfelső 5000 dokumentumot egy éles visszakeresési rendszerrel, és vesszük ezen eredménynhalmazok unióját. Ezután deduplikáljuk a korpuszt a MinHash–LSH használatával, összegyűjtve azokat a dokumentumokat, amelyek token 5-gramm halmazainak Jaccard-hasonlósága legalább 0,975.

A gyűjtemény szándékosan nem véletlenszerű mentes webminta. Minden egyes dokumentumot legalább egy benchmark-lekérdezés lehetséges találataként vettek figyelembe. Ez sűrű nehéz disztraktorhalmazt hoz létre: olyan oldalakat, amelyek illeszkednek a lekérdezés témájához vagy nyelvéhez, de hiányozhat belőlük a megkövetelt dátum, entitás, verzió, mennyiség vagy szempont.

Nagyítás

Megállapítások

A relevanciacímkék nagy léptékben természetüknél fogva hiányosak. Az összes lehetséges lekérdezés–dokumentum pár címkézése megvalósíthatatlan, és a megállapítások minden egyes forrása eltérő torzítást hordoz.

A Q2D-Web három relevanciahalmazt használ ahelyett, hogy egyetlen forrást kezelne igazságforrásként (ground truth), ezzel növelve az annotáció mélységét anélkül, hogy egyetlen torzítástól szenvedne.

A Citation relevánsnak minősít egy dokumentumot, ha egy ügynök hivatkozott rá egy válaszban. Ez a leghidegebb/legközelebbi jel a lefelé áramló (downstream) felhasználáshoz: az ügynök bizonyítékként választotta ki a dokumentumot egy állításhoz. A hivatkozás azonban szerkezetéből adódóan nagy pontosságú és alacsony felidézésű. Ha egy ügynöknek van elegendő támogatása, alig van oka arra, hogy minden más releváns oldalra hivatkozzon.

A Web Ranking lekérdezésenként legfeljebb 50 dokumentumot tartalmaz (átlagosan 43,1-et), amelyeket egy belső visszakeresési rendszer azonosított az első szakaszban BM25 és sűrű visszakeresés használatával, amit kereszt-kódolós (cross-encoder) újrarangsorolás követ. Ez olyan dokumentumokat rögzít, amelyek hasznosak, de nincsenek hivatkozva.

A Combined + LLM-Judged a Citation és a Web Ranking unióját veszi, majd LLM-megállapításokat ad hozzá a korábban nem értékelt jelöltekhez, azzal a céllal, hogy csökkentse a hamis negatívak számát. Poolozzuk a BM25, a ColBERTv2 és hét, 2025. január 1. előtt kiadott sűrű visszakereső eredményeit, egyesítjük a rangsoraikat a reciprocal rank fusion (RRF) használatával, kiválasztjuk a legfelső 500 nem értékelt dokumentumot, és szigorú bináris relevanciabírálatot alkalmazunk a DeepSeek-V4-Flash használatával.

A három halmaz lehetővé teszi annak vizsgálatát, hogy a modellek teljesítménye függ-e a relevanciameghatározás módjától. Emellett csökkentik a függőséget egyetlen címkézési rendszertől, ami egyébként kedvezne a címkék generálásához használt rendszerhez hasonló visszakeresőknek.

Nagyítás

Almintavételezés: hatékony értékelés nagy léptékben

A teljes korpuszra kiterjedő értékelés költséges és lassú. A Q2D-Weben végzett egyetlen értékelés a pplx-embed-v1-4b modellel 4608 H200 GPU-órát igényel, míg még egy olyan kis modell is, mint az EmbeddingGemma-300M, közel 200 H200 GPU-órát igényel.

Annak érdekében, hogy az értékelés gyakorlatias maradjon, létrehozzuk a korpusz egy almintavételezett verzióját.

Kiterjedt ablációt futtattunk a mintavételezési stratégiák között, hogy felépítsünk egy kisebb alkorpuszt, amely tükrözi a teljes korpusz viselkedését. Minden egyes stratégia megtartja az összes pozitívan értékelt dokumentumot, és csak abban tér el, hogy hogyan választja ki a nem értékelt disztraktorokat. Azok a disztraktorok számítanak, amelyeket egy visszakereső valószínűleg egy releváns dokumentum elé rangsorol, mivel ezek módosítják a modell pontszámát és a rangsorbeli pozícióját.

Összehasonlítottuk az egyenletes véletlenszerű mintavételezést, a fix mélységű poolingot az építési visszakeresők között, valamint a lekérdezésenkénti RRF-et különböző mélységeken. Az RRF-alapú mintavételezés a teljes korpusz dokumentumainak csak 31,7%-át használja. Megőrzi a teljes korpusz modellenkénti rangsorát a Combined értékelések alatt, miközben közel marad az abszolút pontszámokhoz, és 5,2 ponttal növeli az átlagos Recall@1000 értéket a véletlenszerű mintavételezés 12,8 pontos növekedésével szemben azonos méretnél.

Nagyítás

Ez a teljes korpuszra vonatkozó költség körülbelül egy harmadára csökkenti az értékelési költségeket. Az RRF-alapú alkorpuszt használva a pplx-embed-v1-4b megközelítőleg 1500 H200 GPU-órát, míg az EmbeddingGemma-300M kevesebb mint 70 órát igényel.

Minden beküldött eredményt először a mintavételezett alkorpusz-verzión értékelnek. A beküldéseket a teljes paraméterszám alapján két csoportra osztják: legfeljebb 1B, illetve 1B feletti. Az a modell, amely eléri a csoportja első tíz helyét a mintavételezett alkorpuszon, azután értékelésre kerül a teljes korpuszon. A csoportjukban a top 10-en kívül rangsorolt modellek csak a mintavételezett alkorpusz ranglistáján lesznek közzétéve.

Értékelési eredmények

Az értékelt modellek körében a Q2D-Web konzisztens képet nyújt a visszakeresési teljesítményről webléptékben, a 3 különböző relevanciahalmazán keresztül. A ranglista egymás mellett teszi elérhetővé ezeket a kiegészítő nézeteket, lehetővé téve a felhasználók számára annak vizsgálatát, hogy a modellek hogyan teljesítenek a szűkebb hivatkozásalapú címkék és a szélesebb relevanciamegállapítások alatt.

Elsődleges metrikánkként a Recall@1000-re fókuszálunk, mivel az első szakaszbeli visszakeresőnek csak el kell helyeznie a releváns dokumentumokat a jelöltek halmazában, míg a későbbi újrarangsorolás határozza meg a végleges sorrendjüket.

Nagyítás

1. táblázat. Teljes korpusz Recall@1000 és nDCG@10 tizenhárom visszakeresőhöz a Citation, a Web Ranking és a Combined relevanciakészletek mentén. A magasabb pontszámok a jobbak.

A pplx-embed-v1-4b érte el a legmagasabb Recall@1000 értéket mindhárom értékelési halmazban: Citation (85,03), Web Ranking (65,73) és Combined (70,00). A Combined Recall@100 és nDCG@10 terén a Nemotron-3-Embed-8B (30,32 és 45,65) magasabb pontszámot ér el, mint a pplx-embed-v1-4b (30,17 és 44,12).

Egy családon belül a nagyobb modellek magasabb pontszámot érnek el a Combined Recall@1000 mutatóban. A Qwen3-Embedding 58,68-ról (0,6B) 65,32-re (8B), a Nemotron-3-Embed 62,44-ről (1B) 69,33-ra (8B), a pplx-embed-v1 pedig 67,91-ről (0,6B) 70,00-re (4B) emelkedik.

A Perplexity modellek értékelése ugyanazzal a folyamattal történik, mint az összes többi beküldött modellé. Mivel azonban a Q2D-Web a Perplexity éles forgalmából származik, ezek a modellek eloszlásbeli (in-distribution) előnyt élvezhetnek. Annak ellenére, hogy a benchmark értékelési lekérdezései és korpusza ki lett zárva a modell tanításából, az eredményeket ennek a lehetséges előnynek a tudatában kell értelmezni.

Hogyan küldjünk be eredményt a ranglistára?

Értékelési kérelem benyújtásához küldjön be egy nyilvánosan elérhető Hugging Face modellt az értékelési kérelmezési űrlapunkon keresztül.

A modellenkénti inferencia-beállításokhoz a beküldött repository-ban található modellkártyát követjük, beleértve az ajánlott lekérdezési és dokumentum-utasításokat vagy előtagokat, a poolozást, a normalizálást és a hasonlósági függvényt. Minden lekérdezést és dokumentumot 512 tokenre csonkolunk a modell saját tokenizálójával, beleértve az utasításokat, előtagokat és speciális tokeneket is, így a hosszabb támogatott kontextus semmilyen előnyt nem jelent. Kérjük, győződjön meg arról, hogy a modellkártya teljes és egyértelmű utasításokat nyújt a kívánt visszakeresési beállítás reprodukálásához.

A jogosult modelleknek a standard transformers vagy sentence-transformers API-kon keresztül kell betöltődniük. Azok a modellek, amelyek nem futnak trust_remote_code=False mellett, az egyéni kód és a beküldő manuális felülvizsgálatát igénylik értékelés előtt, ami lényegesen hosszabb időt vesz igénybe. A privát vagy zárt (gated) repository-k nem jogosultak.

Olvassa el műszaki jelentésünket, ha többet szeretne megtudni a módszertanról és a megállapításokról.

Idézet

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}