Q2D-Web: Avaluació de recuperadors de primera etapa a escala

Un referent i classificació amb 70 mil consultes d'agents, 190 milions de documents web i tres conjunts de judicis de rellevància.

AutorsPerplexity Research

Avui presentem Q2D-Web (Query2Doc-Web), un referent privat i una classificació pública per avaluar la recuperació en sistemes RAG agèntics. Q2D-Web amplia el nostre referent Q2D original a un corpus a gran escala, un conjunt de consultes més gran i anotacions de judici més profundes.

Q2D-Web està creat per avaluar models d'incrustació (embedding) en la cerca web a gran escala. Consisteix en 190 milions de documents web i 69.721 consultes reformulades per agents en deu idiomes, mostrejades durant nou mesos de tràfic de cerca de producció lliure de PII.

A aquesta escala, el senyal de rellevància a nivell de consulta-document és inevitablement escàs. En lloc de tractar una font com a veritat absoluta, oferim tres conjunts de judicis de rellevància, derivats de citacions d'agents, rànquings web de producció i judicis addicionals de models de llenguatge (LLM) per a parelles no jutjades prèviament. Múltiples fonts limiten el biaix de qualsevol pipeline d'etiquetatge individual, mentre que una anotació més profunda redueix els falsos negatius.

La nostra classificació informa dels resultats per a models de recuperació publicats obertament, avaluats directament contra el referent utilitzant un pipeline coherent d'indexació, recuperació i puntuació. Es pot enviar una avaluació a través del nostre formulari de sol·licitud.

El repte de l'avaluació realista de la recuperació

Per a cada consulta, un sistema de recuperació a escala de producció cerca en un corpus de milers de milions de pàgines web i retorna milers de documents candidats. Aquests candidats determinen quines fonts poden veure els sistemes posteriors, modelant directament l'evidència disponible per a l'agent.

Una avaluació realista d'aquesta primera etapa requereix, per tant, referents que escalin al llarg de tres dimensions: el nombre de documents del corpus, el nombre de consultes jutjades i el nombre de judicis de rellevància per consulta.

Els corpus més grans poden fer que un referent sigui més discriminatiu introduint negatius durs (documents semànticament similars a una consulta però que no proporcionen la informació sol·licitada). Els recuperadors han de distingir aquestes coincidències plausibles dels documents rellevants. Encongir el corpus mantenint els documents rellevants coneguts pot eliminar aquests distractors i inflar el record (recall), tal com mostren els nostres experiments de submostratge a continuació.

Més consultes jutjades fan que les estimacions de rendiment siguin més fiables. Amb un conjunt de consultes petit, els resultats de referència depenen molt de quines consultes s'hagin mostrat, cosa que fa més difícil estimar amb precisió el rendiment de cada model i distingir amb confiança entre models.

Els judicis més profunds redueixen els falsos negatius en l'avaluació. Amb etiquetes escasses, un recuperador pot fer aflorar documents rellevants que no estan jutjats i, per tant, es comptabilitzen incorrectament com a no rellevants. Això fa que l'avaluació sigui menys fiable. MS MARCO és el conjunt de dades obert a gran escala principal en recuperació d'informació i ha modelat el desenvolupament de models de recuperació neural. Allà, el 70% dels passatges més recuperats però sense etiquetar inspeccionats manualment eren de fet rellevants.

Els referents (benchmarks) existents solen escalar només en una o dues d'aquestes dimensions: les col·leccions a escala web sovint tenen consultes jutjades relativament poques, mentre que els referents amb moltes consultes generalment utilitzen corpus molt més petits i etiquetes escasses. A més, la majoria dels referents utilitzen consultes escrites per humans, mentre que els sistemes RAG agèntics cerquen amb consultes reformulades per agents que poden difondre's en la redacció, l'estructura i l'especificitat.

Q2D-Web escala a través de les tres dimensions. Conté 190 milions de documents web, 69.721 consultes reformulades per agents i una mitjana de 99,6 judicis de rellevància positius per consulta en el seu conjunt de judicis combinat. La comparació pública més propera és MS MARCO Web Search, la versió a escala web de MS MARCO. Té 100,9 milions de documents, 9.374 consultes de prova i una etiqueta positiva derivada de clics per consulta.

Com vam crear Q2D-Web

Construcció de Q2D-Web: mostreig de consultes filtrat per privadesa, assemblatge i desduplicació del corpus, etiquetatge de rellevància i mostreig del subcorpus.

Consultes

Q2D-Web es basa en 23.000 cerques de producció sense PII en deu llengües i desenes de dominis recollides durant un període de nou mesos.

Una cerca consisteix en totes les crides a eines de cerca web que un agent realitza en resposta al missatge d'un usuari. Cada crida a eina conté una o més consultes. Cada consulta es reformula a partir de la sol·licitud de l'usuari, la conversa prèvia i, quan escaigui, els documents recuperats anteriorment en la mateixa cerca. Cada cerca de producció conté una consulta principal, que replanteja la necessitat d'informació de l'usuari, i zero o més consultes de suport, que exploren formulacions alternatives, informació de context o entitats relacionades. Tot i que aborden la mateixa sol·licitud general, poden requerir documents diferents, de manera que Q2D-Web avalua cada consulta de manera independent amb els seus propis judicis de rellevància.

Distribucions de longitud i llengua de les 69.721 consultes de Q2D-Web. La longitud es mesura en caràcters; les barres mostren la fracció de consultes de cada categoria.
Distribució de les consultes de Q2D-Web entre dominis temàtics. Les barres mostren la quota de cada domini del conjunt de consultes; «Altres» agrupa quinze dominis addicionals.

Apliquem un filtratge de privadesa estricte per a totes les consultes incloses. Les consultes han de provenir d'usuaris que van permetre que les seves dades fossin utilitzades, i la detecció de PII mitjançant perplexity-ai/pplx-pii-masking exclou les consultes que contenen informació personal. També eliminem duplicats exactes, consultes molt curtes i consultes que contenen operadors de cerca com site: o frases entre cometes.

El referent cobreix deu idiomes. L'anglès representa el 65,8% de les consultes, seguit de l'espanyol, rus, alemany, francès, portuguès, italià, coreà, japonès i xinès. La distribució de consultes també abasta una àmplia gamma de dominis, incloent-hi béns de consum, programació, dret, salut, negocis, ciència, educació, tecnologia, finances, viatges, entreteniment, política, informació local i notícies.

Corpus

Per a cada consulta, recuperem els 5.000 documents principals amb un sistema de recuperació de producció i prenem la unió d'aquests conjunts de resultats. A continuació, dedupliquem el corpus utilitzant MinHash–LSH, agrupant documents les 5-grames de tokens dels quals tenen una similitud de Jaccard d'almenys 0,975.

La col·lecció no és intencionadament una mostra web aleatòria. Cada document es va considerar un resultat plausible per a almenys una consulta de referència (benchmark). Això crea un conjunt dens de distractors difícils: pàgines que coincideixen amb el tema o l'idioma d'una consulta però que poden ometre una data, entitat, versió, quantitat o aspecte requerits.

Distribucions de longitud de documents i llengua en el corpus d'aproximadament 190 milions de documents. La longitud es mesura en caràcters; les barres mostren la fracció de documents de cada categoria.

Judicis

Les etiquetes de rellevància són incompletes per naturalesa a gran escala. Etiquetar cada parella possible de consulta-document és inviable, i cada font de judicis comporta un biaix diferent.

Q2D-Web utilitza tres conjunts de rellevància en lloc de tractar una font com a veritat absoluta, per augmentar la profunditat d'anotació sense patir d'un únic biaix.

La citació etiqueta un document com a rellevant quan un agent l'ha citat en una resposta. Aquest és el senyal més proper a l'ús posterior: l'agent va seleccionar el document com a evidència d'una afirmació. Però la citació és d'alta precisió i baix record per construcció. Un cop un agent té prou suport, té poques raons per citar cada altra pàgina rellevant.

El rànquing web consisteix en fins a 50 documents per consulta (43,1 de mitjana), identificats per una pila de recuperació interna utilitzant BM25 i recuperació densa en la primera etapa, seguida d'una reordenació (reranking) amb codificador creuat. Això captura documents que són útils però no citats.

Combined + LLM-Judged pren la unió de Citació i Rànquing Web, i després afegeix judicis de LLM per a candidats no jutjats prèviament, amb l'objectiu de reduir el nombre de falsos negatius. Agrupem els resultats de BM25, ColBERTv2 i set recuperadors densos publicats abans de l'1 de gener de 2025, fusionem les seves classificacions utilitzant reciprocal rank fusion (RRF), seleccionem els 500 documents no jutjats principals i apliquem un jutge de rellevància binari estricte utilitzant DeepSeek-V4-Flash.

Els tres conjunts ens permeten preguntar si el rendiment del model depèn de com es defineix la rellevància. També redueixen la dependència d'una única pila d'etiquetatge, la qual cosa podria afavorir recuperadors similars al sistema utilitzat per generar les etiquetes.

Distribució de documents rellevants per consulta en escala logarítmica. Les etiquetes combinades reuneixen citacions, rànquings web i judicis addicionals de l'LLM.

Submostratge: avaluació eficient a gran escala

L'avaluació del corpus complet és cara i lenta. Una sola avaluació a Q2D-Web amb pplx-embed-v1-4b requereix 4.608 hores de GPU H200, mentre que fins i tot un model petit com EmbeddingGemma-300M requereix gairebé 200 hores de GPU H200.

Per mantenir l'avaluació pràctica, construïm una versió submostrada del corpus.

Hem executat una ablació extensa a través de estratègies de mostratge per construir un subcorpus més petit que reflecteixi el comportament del corpus complet. Cada estratègia reté tots els documents jutjats positivament i només varia en com es seleccionen els distractors no jutjats. Els distractors que importen són aquells que un recuperador probablement classificarà per damunt d'un document rellevant, perquè aquests canvien la puntuació d'un model i la seva posició en la classificació.

Hem comparat el mostreig aleatori uniforme, la unió en una profunditat fixa entre els recuperadors de construcció i el RRF per consulta a diferents profunditats. El mostreig basat en RRF només utilitza el 31,7% dels documents del corpus complet. Preserva la classificació de models del corpus complet segons els judicis combinats, alhora que es manté a prop de les puntuacions absolutes i infla la Recall@1000 mitjana en 5,2 punts en comparació amb els 12,8 punts del mostreig aleatori de la mateixa mida.

Recall@1000 mitjana i concordança amb les classificacions de models del corpus complet segons els judicis combinats per a diferents estratègies de mostreig. La fusió de rangs recíprocs (RRF) preserva la classificació dels models avaluats utilitzant el 31,7% del corpus, amb menys inflació de la recuperació que el mostreig aleatori.

Això redueix els costos d'avaluació a aproximadament un terç del cost del corpus complet. Utilitzant el subcorpus basat en RRF, pplx-embed-v1-4b requereix aproximadament 1.500 hores de GPU H200 i EmbeddingGemma-300M en requereix menys de 70.

Cada tramesa s'avalua primer en la versió de subcorpus mostrat. Les trameses es divideixen en dos grups segons el recompte total de paràmetres: fins a 1B i per damunt de 1B. Un model que arriba al top deu del seu grup en el subcorpus mostrat s'avalua llavors en el corpus complet. Els models classificats fora del top 10 del seu grup es publicaran només a la classificació del subcorpus mostrat.

Resultats de l'avaluació

Entre els models avaluats, Q2D-Web ofereix una visió coherent del rendiment de recuperació a escala web a través dels seus 3 conjunts de rellevància diferents. La classificació posa aquestes visions complementàries a disposició l'una al costat de l'altra, permetent als usuaris inspeccionar com funcionen els models sota etiquetes basades en citacions més estretes i judicis de rellevància més amplis.

Ens centrem en Recall@1000 com a mètrica principal perquè un recuperador de primera etapa només necessita col·locar documents rellevants al conjunt de candidats, mentre que la reordenació (reranking) posterior determina el seu ordre final.

Recall@1000 combinat enfront de nDCG@10 combinat per a tretze recuperadors, agrupats per família de models. El model amb la puntuació més alta difereix entre les dues mètriques.

Taula 1. Recall@1000 i nDCG@10 del corpus complet per a tretze recuperadors en els conjunts de rellevància Citation, Web Ranking i Combined. Les puntuacions més altes són millors.

Model

Recall@1000: Citació

Recall@1000: Rànquing Web

Recall@1000: Combinat

nDCG@10: Citació

nDCG@10: Rànquing Web

nDCG@10: Combinat

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

pplx-embed-v1-4b té la Recall@1000 més alta en els tres conjunts de jutges: Citation (85.03), Web Ranking (65.73) i Combined (70.00). Pel que fa a Combined Recall@100 i nDCG@10, Nemotron-3-Embed-8B (30.32 i 45.65) obté una puntuació superior a pplx-embed-v1-4b (30.17 i 44.12).

Dins d'una família, els models més grans obtenen puntuacions més altes en Combined Recall@1000. Qwen3-Embedding puja del 58.68 (0.6B) al 65.32 (8B), Nemotron-3-Embed del 62.44 (1B) al 69.33 (8B) i pplx-embed-v1 del 67.91 (0.6B) al 70.00 (4B).

Els models de Perplexity s'avaluen utilitzant el mateix pipeline que tots els altres models trmesos. Tanmateix, com que Q2D-Web deriva del tràfic de producció de Perplexity, aquests models poden beneficiar-se d'un avantatge dins de la distribució. Tot i que les consultes d'avaluació i el corpus de referència es van excloure de l'entrenament del model, els resultats s'haurien d'interpretar tenint en compte aquest avantatge potencial.

Com enviar a la classificació (Leaderboard)

Per sol·licitar una avaluació, envieu un model de Hugging Face disponible públicament a través del nostre formulari de sol·licitud d'avaluació.

Seguint la fitxa del model (model card) del repositori enviat per a la configuració d'inferència específica del model, incloent-hi les instruccions o prefixos de consulta i document recomanats, la unió (pooling), la normalització i la funció de similitud. Totes les consultes i documents es trunquen a 512 tokens amb el pròpi tokenitzador del model, incloent-hi instruccions, prefixos i tokens especials, de manera que un context compatible més llarg no confereix cap avantatge. Assegureu-vos que la fitxa del model proporciona instruccions completes i sense ambigüitats per reproduir la configuració de recuperació predeterminada.

Els models elegibles s'han de carregar mitjançant APIs estàndard de transformers o sentence-transformers. Els models que no s'executen amb trust_remote_code=False requereixen una revisió manual del codi personalitzat i del remitent abans de l'avaluació, la qual cosa pren considerablement més temps. Els repositoris privats o protegits (gated) no són elegibles.

Llegiu el nostre informe tècnic per obtenir més informació sobre la metodologia i les conclusions.

Citació

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}