Q2D-Web: Evaluating First-Stage Retrievers at Scale

70 వేల ఏజెంట్ క్వెరీలు, 190 మిలియన్ల వెబ్ పత్రాలు మరియు మూడు సెట్ల ప్రాముఖ్యత తీర్పులతో కూడిన బెంచ్‌మార్క్ మరియు లీడర్‌బోర్డ్.

రచయితలుPerplexity Research

ఈరోజు, మేము ఏజెంట్ RAG సిస్టమ్‌లలో రిట్రీవల్‌ను మూల్యాంకనం చేయడానికి ఒక ప్రైవేట్ బెంచ్‌మార్క్ మరియు పబ్లిక్ లీడర్‌బోర్డ్ అయిన Q2D-Web (Query2Doc-Web)ని పరిచయం చేస్తున్నాము. Q2D-Web మా అసలైన Q2D బెంచ్‌మార్క్‌ను పెద్ద-స్థాయి కార్పస్, పెద్ద క్వెరీ సెట్ మరియు లోతైన తీర్పు ఉల్లేఖనాలకు విస్తరిస్తుంది.

Q2D-Web పెద్ద-స్థాయి వెబ్ శోధనపై ఎంబెడ్డింగ్ మోడళ్లను మూల్యాంకనం చేయడానికి నిర్మించబడింది. ఇది తొమ్మిది నెలల PII-రహిత ప్రొడక్షన్ శోధన ట్రాఫిక్ నుండి శాంపిల్ చేయబడిన 190 మిలియన్ల వెబ్ పత్రాలు మరియు పది భాషలలో 69,721 ఏజెంట్-పునర్రూపకల్పన చేయబడిన క్వెరీలను కలిగి ఉంది.

ఈ స్థాయిలో, క్వెరీ-డాక్యుమెంట్ స్థాయిలో ప్రాముఖ్యత సిగ్నల్ అనివార్యంగా విరళంగా ఉంటుంది. ఒక మూలాన్ని గ్రౌండ్ ట్రూత్‌గా పరిగణించడానికి బదులుగా, మేము ఏజెంట్ సైటేషన్‌లు, ప్రొడక్షన్ వెబ్ ర్యాంకింగ్‌లు మరియు గతంలో తీర్పు ఇవ్వని జతల కోసం అదనపు LLM తీర్పుల నుండి తీసుకోబడిన మూడు ప్రాముఖ్యత-నిర్ధారణ సెట్‌లను అందిస్తాము. బహుళ మూలాలు ఏదైనా ఒక లేబులింగ్ పైప్‌లైన్ నుండి పక్షపాతాన్ని పరిమితం చేస్తాయి, అయితే లోతైన ఉల్లేఖనం తప్పుడు ప్రతికూలతలను తగ్గిస్తుంది.

మా లీడర్‌బోర్డ్ పబ్లిక్‌గా విడుదల చేయబడిన రిట్రీవల్ మోడల్‌ల ఫలితాలను నివేదిస్తుంది, స్థిరమైన ఇండెక్సింగ్, రిట్రీవల్ మరియు స్కోరింగ్ పైప్‌లైన్‌ని ఉపయోగించి బెంచ్‌మార్క్‌కు వ్యతిరేకంగా నేరుగా మూల్యాంకనం చేయబడుతుంది. అభ్యర్థన ఫారమ్ ద్వారా మూల్యాంకనాన్ని సమర్పించవచ్చు.

వాస్తవిక రిట్రీవల్ మూల్యాంకనం యొక్క సవాలు

ప్రతి క్వెరీ కోసం, ప్రొడక్షన్-స్థాయి రిట్రీవల్ సిస్టమ్ బిలియన్ల కొద్దీ వెబ్ పేజీల కార్పస్‌ను శోధిస్తుంది మరియు వేలాది అభ్యర్థి పత్రాలను అందిస్తుంది. ఈ అభ్యర్థులు డౌన్‌స్ట్రీమ్ సిస్టమ్‌లు ఏ మూలాలను చూడగలవో నిర్ణయిస్తాయి, ఇది నేరుగా ఏజెంట్‌కు అందుబాటులో ఉండే సాక్ష్యాలను రూపొందిస్తుంది.

అందువల్ల ఈ మొదటి దశ యొక్క వాస్తవిక మూల్యాంకనానికి మూడు కొలతలలో స్కేల్ అయ్యే బెంచ్‌మార్క్‌లు అవసరం: కార్పస్‌లోని పత్రాల సంఖ్య, తీర్పు ఇవ్వబడిన క్వెరీల సంఖ్య మరియు ప్రతి క్వెరీకి ప్రాముఖ్యత తీర్పుల సంఖ్య.

పెద్ద కార్పస్‌లు కఠినమైన నెగెటివ్‌లను ప్రవేశపెట్టడం ద్వారా బెంచ్‌మార్క్‌ను మరింత వేరు చేసేలా చేయగలవు—ఇవి క్వెరీకి సెమాంటిక్‌గా సమానంగా ఉంటాయి కానీ అభ్యర్థించిన సమాచారాన్ని అందించవు. రిట్రీవర్లు ఈ సమంజసమైన సరిపోలికలను సంబంధిత పత్రాల నుండి వేరు చేయాలి. మన క్రింది సబ్‌శాప్లింగ్ ప్రయోగాలు చూపినట్లుగా, அறியப்பட்ட సంబంధిత పత్రాలను ఉంచుకుంటూ కార్పస్‌ను కుదించడం ఈ డిస్ట్రాక్టర్లను తొలగించగలదు మరియు రీకాల్‌ను పెంచగలదు.

మరిన్ని తీర్పు ఇవ్వబడిన క్వెరీలు పనితీరు అంచనాలను మరింత నమ్మదగినవిగా చేస్తాయి. చిన్న క్వెరీ సెట్‌తో, బెంచ్‌మార్క్ ఫలితాలు ఏ క్వెరీలు శాంపిల్ చేయబడ్డాయి అనే దానిపై ఎక్కువగా ఆధారపడతాయి, ఇది ప్రతి మోడల్ పనితీరును ఖచ్చితంగా అంచనా వేయడం మరియు మోడళ్ల మధ్య నమ్మకంగా తేడా గుర్తించడం కష్టం చేస్తుంది.

లోతైన తీర్పులు మూల్యాంకనంలో తప్పుడు ప్రతికూలతలను తగ్గిస్తాయి. విరళ లేబుళ్లతో, రిట్రీవర్ సంబంధిత పత్రాలను ఉపరితలం చేయగలదు, ఇవి తీర్పు ఇవ్వబడవు మరియు అందువల్ల తప్పుగా సంబంధం లేనివిగా లెక్కించబడతాయి. ఇది మూల్యాంకనాన్ని తక్కువ నమ్మదగినదిగా చేస్తుంది. MS MARCO అనేది సమాచార పునరుద్ధరణలోని ప్రధాన పెద్ద-స్థాయి ఓపెన్ డేటాసెట్ మరియు న్యూరల్ రిట్రీవల్ మోడళ్ల అభివృద్ధిని రూపొందించింది. అక్కడ, మాన్యువల్‌గా తనిఖీ చేయబడిన టాప్-రిట్రీవ్ చేయబడిన కానీ లేబుల్ చేయని పాసేజ్‌లలో 70% వాస్తవానికి సంబంధితమైనవిగా ఉన్నాయి.

ရှိ ఉన్న బెంచ్‌మార్క్‌లు ఈ కొలతలలో ఒకటి లేదా రెండింటిలో మాత్రమే స్కేల్ అయ్యే ధోరణిని కలిగి ఉంటాయి: వెబ్-స్థాయి సేకరణలు తరచుగా సాపేక్షంగా తక్కువ తీర్పు ఇవ్వబడిన క్వెరీలను కలిగి ఉంటాయి, అయితే అనేక క్వెరీలతో కూడిన బెంచ్‌మార్క్‌లు సాధారణంగా చాలా చిన్న కార్పస్‌లు మరియు విరళ లేబుళ్లను ఉపయోగిస్తాయి. అంతేకాకుండా, చాలా బెంచ్‌మార్క్‌లు మానవుడు వ్రాసిన క్వెరీలను ఉపయోగిస్తాయి, అయితే ఏజెంట్ RAG సిస్టమ్‌లు పదజాలం, నిర్మాణం మరియు నిర్దిష్టతలో భిన్నంగా ఉండే ఏజెంట్-పునర్రూపకల్పన చేయబడిన క్వెరీలతో శోధిస్తాయి.

Q2D-Web మూడు కొలతలలో స్కేల్ అవుతుంది. ఇది 190 మిలియన్ల వెబ్ పత్రాలు, 69,721 ఏజెంట్-పునర్రూపకల్పన చేయబడిన క్వెరీలు మరియు దాని కంబైన్డ్ జడ్జిమెంట్ సెట్‌లో ప్రతి క్వెరీకి సగటున 99.6 పాజిటివ్ ప్రాముఖ్యత తీర్పులను కలిగి ఉంది. సమీప పబ్లిక్ పోలిక MS MARCO వెబ్ సెర్చ్, ఇది MS MARCO యొక్క వెబ్-స్థాయి వెర్షన్. ఇది 100.9 మిలియన్ల పత్రాలు, 9,374 పరీక్ష క్వెరీలు మరియు ప్రతి క్వెరీకి ఒక క్లిక్-ఉత్పన్నమైన పాజిటివ్ లేబుల్‌ను కలిగి ఉంది.

మేము Q2D-Webని ఎలా సృష్టించాము

Q2D-Web నిర్మాణం: గోప్యతా-ఫిల్టర్ చేయబడిన ప్రశ్న నమూనా సేకరణ, కార్పస్ అసెంబ్లీ మరియు డూప్లికేషన్ తొలగింపు, ప్రాముఖ్యత లేబులింగ్, మరియు సబ్‌కార్పస్ నమూనా సేకరణ.

క్వెరీలు

Q2D-Web అనేది తొమ్మిది నెలల కాలంలో సేకరించబడిన పది భాషలలో మరియు డజన్ల కొద్దీ డొమైన్‌లలో 23,000 PII-రహిత ప్రొడక్షన్ శోధనలపై నిర్మించబడింది.

ఒక శోధన అనేది ఒక వినియోగదారుని సందేశానికి ప్రతిస్పందనగా ఒక ఏజెంట్ నిర్వహించే అన్ని వెబ్ శోధన సాధన కాల్‌ల సమాహారం. ప్రతి సాధన కాల్‌లో ఒకటి లేదా అంతకంటే ఎక్కువ క్వెరీలు ఉంటాయి. ప్రతి క్వెరీ వినియోగదారుని అభ్యర్థన, ముందు సంభాషణ, మరియు అవసరమైతే, అదే శోధనలో ఇంతకుముందు పొందిన పత్రాల నుండి పునర్నిర్మించబడుతుంది. ప్రతి ప్రొడక్షన్ శోధనలో ఒక ప్రధాన క్వెరీ ఉంటుంది, అది వినియోగదారుని సమాచార అవసరాన్ని మళ్లీ తెలియజేస్తుంది, మరియు శూన్యం లేదా మరిన్ని సహాయక క్వెరీలు ఉంటాయి, అవి ప్రత్యామ్నాయ పదప్రయోగాలు, నేపథ్య సమాచారం, లేదా సంబంధిత ఏంటిటీలను అన్వేషిస్తాయి. అవి అదే విస్తృత అభ్యర్థనను పరిష్కరించినప్పటికీ, అవి వేర్వేరు పత్రాలను అవసరం చేయవచ్చు, కాబట్టి Q2D-Web ప్రతి క్వెరీని దాని స్వంత సంబంధితత తీర్పులతో స్వతంత్రంగా మూల్యాంకనం చేస్తుంది.

Q2D-Web యొక్క 69,721 ప్రశ్నల పొడవు మరియు భాషా పంపిణీలు. పొడవు అక్షరాలలో కొలవబడుతుంది; బార్‌లు ప్రతి వర్గంలోని ప్రశ్నల నిష్పాత్తిని చూపుతాయి.
విషయ డొమైన్‌లలో Q2D-Web ప్రశ్నల పంపిణీ. బార్‌లు ప్రశ్న సెట్‌లో ప్రతి డొమైన్ వాటాను చూపుతాయి; "ఇతర" పదిహేను అదనపు డొమైన్‌లను సమూహం చేస్తుంది.


చేర్చబడిన అన్ని క్వెరీల కోసం మేము కఠినమైన గోప్యత ఫిల్టరింగ్‌ను అమలు చేస్తాము. క్వెరీలు తమ డేటా వినియోగానికి సమ్మతి ఇచ్చిన వినియోగదారుల నుండి రావాలి, మరియు perplexity-ai/pplx-pii-masking ఉపయోగించిన PII గుర్తింపు వ్యక్తిగత సమాచారాన్ని కలిగి ఉన్న క్వెరీలను మినహాయిస్తుంది. మేము ఖచ్చితమైన డూప్లికేట్లు, చాలా చిన్న క్వెరీలు, మరియు site: వంటి శోధన ఆపరేటర్లు లేదా ఉద్ధృత వాక్యాలు కలిగిన క్వెరీలను కూడా తొలగిస్తాము.

ఈ బెంచ్‌మార్క్ పది భాషలను కవర్ చేస్తుంది. ఇంగ్లీష్ క్వెరీలలో 65.8% కలిగి ఉంది, తర్వాతి స్థానాల్లో స్పానిష్, రష్యన్, జర్మన్, ఫ్రెంచ్, పోర్చుగీస్, ఇటాలియన్, కొరియన్, జపనీస్ మరియు చైనీస్ ఉన్నాయి. క్వెరీ పంపిణీ కన్స్యూమర్ గూడ్స్, ప్రోగ్రామింగ్, లా, హెల్త్, బిజినెస్, సైన్స్, ఎడ్యుకేషన్, టెక్నాలజీ, ఫైనాన్స్, ట్రావెల్, ఎంటర్‌టైన్‌మెంట్, పాలిటిక్స్, లోకల్ ఇన్ఫర్మేషన్ మరియు న్యూస్‌తో సహా అనేక రకాల డొమైన్‌లను విస్తరించి ఉంది.

కార్పస్

ప్రతి క్వెరీ కోసం, మేము ప్రొడక్షన్ రిట్రీవల్ సిస్టమ్‌తో టాప్ 5,000 పత్రాలను పునరుద్ధరిస్తాము మరియు ఈ ఫలితాల సెట్‌ల యూనియన్‌ను తీసుకుంటాము. అప్పుడు మేము టోకెన్ 5-గ్రామ్ సెట్లు కనీసం 0.975 జకార్డ్ సారూప్యతను కలిగి ఉన్న పత్రాలను క్లస్టర్ చేస్తూ MinHash–LSH ఉపయోగించి కార్పస్‌ను డిడూప్లికేట్ చేస్తాము.

ఈ సేకరణ ఉద్దేశపూర్వకంగా యాదృచ్ఛిక వెబ్ నమూనా కాదు. ప్రతి పత్రం కనీసం ఒక బెంచ్‌మార్క్ క్వెరీకి సాధ్యమైన ఫలితంగా పరిగణించబడింది. దీని వల్ల కఠినమైన భ్రాంతి కలిగించే అంశాల ఘన సమితి ఏర్పడుతుంది: క్వెరీ అంశం లేదా భాషకు సరిపోలే, కానీ అవసరమైన తేదీ, ఏంటిటీ, వెర్షన్, పరిమాణం, లేదా అంశాన్ని మిస్ చేయగల పేజీలు.

సుమారు 190 మిలియన్ల పత్రాల కార్పస్‌లో పత్రం పొడవు మరియు భాషా పంపిణీలు. పొడవు అక్షరాలలో కొలవబడుతుంది; బార్‌లు ప్రతి వర్గంలోని పత్రాల నిష్పాత్తిని చూపుతాయి.

తీర్పులు

పెద్ద స్థాయిలో ప్రాముఖ్యత లేబుల్‌లు స్వభావసిద్ధంగా అసంపూర్ణంగా ఉంటాయి. సాధ్యమయ్యే ప్రతి క్వెరీ-డాక్యుమెంట్ జతకు లేబుల్ చేయడం సాధ్యం కాదు మరియు ప్రతి తీర్పుల మూలం వేర్వేరు పక్షపాతాన్ని కలిగి ఉంటుంది.

Q2D-Web ఒకే మూలాన్ని గ్రౌండ్ ట్రూత్‌గా పరిగణించడానికి బదులుగా మూడు ప్రాముఖ్యత సెట్‌లను ఉపయోగిస్తుంది, తద్వారా ఒకే పక్షపాతంతో బాధపడకుండా ఉల్లేఖన లోతును పెంచుతుంది.

సైటేషన్ ఒక ఏజెంట్ ప్రతిస్పందనలో పత్రాన్ని ఉద్ధరించినప్పుడు దాన్ని సంబంధితమైనదిగా లేబుల్ చేస్తుంది. ఇది డౌన్‌స్ట్రీమ్ వినియోగానికి అత్యంత దగ్గరి సిగ్నల్: ఏజెంట్ క్లెయిమ్ కోసం సాక్ష్యంగా పత్రాన్ని ఎంచుకుంది. కానీ సైటేషన్ అనేది నిర్మాణం ద్వారా అధిక ఖచ్చితత్వం మరియు తక్కువ రీకాల్‌ను కలిగి ఉంటుంది. ఒక ఏజెంట్‌కు తగినంత మద్దతు లభించిన తర్వాత, ప్రతి ఇతర సంబంధిత పేజీని ఉద్ధరించడానికి దానికి తక్కువ కారణం ఉంటుంది.

వెబ్ ర్యాంకింగ్ ప్రతి క్వెరీకి గరిష్టంగా 50 పత్రాలను (సగటున 43.1) కలిగి ఉంటుంది, ఇవి మొదటి దశలో BM25 మరియు డెన్స్ రిట్రీవల్‌ని ఉపయోగించే అంతర్గత రిట్రీవల్ స్టాక్ ద్వారా గుర్తించబడతాయి, తద్వారా క్రాస్-ఎన్‌కోడర్ రీర్యాంకింగ్ ఉంటుంది. ఇది ఉపయోగకరమైన కానీ ఉద్ధరించని పత్రాలను సంగ్రహిస్తుంది.

కంబైన్డ్ + LLM-జడ్జ్డ్ సైటేషన్ మరియు వెబ్ ర్యాంకింగ్ యొక్క యూనియన్‌ను తీసుకుంటుంది, ఆపై తప్పుడు ప్రతికూలతల సంఖ్యను తగ్గించే లక్ష్యంతో గతంలో తీర్పు ఇవ్వని అభ్యర్థుల కోసం LLM తీర్పులను జోడిస్తుంది. మేము BM25, ColBERTv2 మరియు జనవరి 1, 2025కి ముందు విడుదల చేసిన ఏడు డెన్స్ రిట్రీవర్ల నుండి ఫలితాలను పూల్ చేస్తాము, రెసిప్రోకల్ ర్యాంక్ ఫ్యూజన్ (RRF)ని ఉపయోగించి వాటి ర్యాంకింగ్‌లను విలీనం చేస్తాము, టాప్ 500 తీర్పు ఇవ్వని పత్రాలను ఎంచుకుంటాము మరియు DeepSeek-V4-Flashని ఉపయోగించి ఖచ్చితమైన బైనరీ ప్రాముఖ్యత తీర్పును వర్తింపజేస్తాము.

ఈ మూడు సెట్లు మోడల్ పనితీరు ప్రాముఖ్యత ఎలా నిర్వచించబడింది అనే దానిపై ఆధారపడి ఉంటుందా అని అడగడానికి మాను అనుమతిస్తాయి. అలాగే ఇవి ఒకే లేబులింగ్ స్టాక్పై ఆధారపడటాన్ని తగ్గిస్తాయి, లేదంటే ఇది లేబుళ్లను రూపొందించడానికి ఉపయోగించే సిస్టమ్‌ను పోలిన రిట్రీవర్లకు అనుకూలంగా ఉండవచ్చు.

లాగరిథమిక్ స్కేల్‌లో ప్రతి ప్రశ్నకూ సంబంధించిన పత్రాల పంపిణీ. మిశ్రమ లేబుల్‌లు అనుసంధానాలు, వెబ్ ర్యాంకింగ్‌లు మరియు అదనపు LLM తీర్పులను ఒకచోట చేర్చుతాయి.

సబ్‌శాప్లింగ్: పెద్ద స్థాయిలో సమర్థవంతమైన మూల్యాంకనం

పూర్తి-కార్పస్ మూల్యాంకనం ఖరీదైనది మరియు నెమ్మదైనది. pplx-embed-v1-4bతో Q2D-Webపై ఒకే మూల్యాంకనానికి 4,608 H200 GPU-గంటలు అవసరం, అయితే EmbeddingGemma-300M వంటి చిన్న మోడల్‌కు కూడా దాదాపు 200 H200 GPU-గంటలు అవసరం.

మూల్యాంకనాన్ని ఆచరణాత్మకంగా ఉంచడానికి, మేము కార్పస్ యొక్క సబ్‌శాపిల్ చేయబడిన వెర్షన్‌ను నిర్మిస్తాము.

పూర్తి-కార్పస్ ప్రవర్తనను ప్రతిబింబించే చిన్న సబ్‌కార్పస్‌ను నిర్మించడానికి మేము శాంపిలింగ్ వ్యూహాలలో విస్తృతమైన అబ్లేషన్‌ను అమలు చేసాము. ప్రతి వ్యూహం సానుకూలంగా తీర్పు ఇవ్వబడిన అన్ని పత్రాలను ఉంచుతుంది మరియు తీర్పు ఇవ్వని డిస్ట్రాక్టర్లు ఎలా ఎంపిక చేయబడతాయనే దానిపై మాత్రమే మారుతుంది. ముఖ్యమైన డిస్ట్రాక్టర్లు రిట్రీవర్ సంబంధిత పత్రం పైన ర్యాంక్ ఇచ్చే అవకాశం ఉన్నవి, ఎందుకంటే అవి మోడల్ స్కోర్‌ను మరియు ర్యాంకింగ్‌లో దాని స్థానాన్ని మారుస్తాయి.

మేము ఏకరీతి యాదృచ్ఛిక నమూనా సేకరణ (uniform random sampling), కన్‌స్ట్రక్షన్ రిట్రీవర్‌లలో స్థిరమైన లోతుకు పూలింగ్ చేయడం మరియు వివిధ లోతులలో ప్రతి-క్వరీ RRFలను పోల్చాము. RRF-ఆధారిత నమూనా సేకరణ పూర్తి కార్పస్‌లోని 31.7% డాక్యుమెంట్‌లను మాత్రమే ఉపయోగిస్తుంది. ఇది కంబైన్డ్ జడ్జ్‌మెంట్‌ల క్రింద పూర్తి-కార్పస్ మోడల్ ర్యాంకింగ్‌ను సంరక్షిస్తుంది, అదే సమయంలో సంపూర్ణ స్కోర్‌లకు దగ్గరగా ఉంటుంది, మరియు అదే పరిమాణంలో యాదృచ్ఛిక నమూనా సేకరణకు 12.8 పాయింట్లు ఉండగా, సగటు Recall@1000ని 5.2 పాయింట్లు పెంచుతుంది.

నమూనా సేకరణ వ్యూహాల క్రింద కంబైన్డ్ జడ్జ్‌మెంట్‌ల ప్రకారం సగటు Recall@1000 మరియు పూర్తి-కార్పస్ మోడల్ ర్యాంకింగ్‌లతో ఒప్పందం. రెసిప్రోకల్ ర్యాంక్ ఫ్యూజన్ (RRF) కార్పస్‌లో 31.7% ఉపయోగించి మూల్యాంకనం చేసిన మోడల్‌ల ర్యాంకింగ్‌ను సంరక్షిస్తుంది, యాదృచ్ఛిక నమూనా సేకరణ కంటే తక్కువ రీకాల్ పెరుగుదలతో ఉంటుంది.

దీని వల్ల మూల కార్పస్ ఖర్చులో సుమారు మూడో వంతుకు మూల్యాంకన ఖర్చులు తగ్గుతాయి. RRF ఆధారిత సబ్‌కార్పస్‌ను ఉపయోగించి, pplx-embed-v1-4b కు సుమారు 1,500 H200 GPU-గంటలు అవసరం అవుతాయి, మరియు EmbeddingGemma-300M కు 70 కంటే తక్కువ అవసరం అవుతుంది.

ప్రతి సమర్పణ మొదట శాంపిల్ చేయబడిన సబ్‌కార్పస్ వెర్షన్‌పై మూల్యాంకనం చేయబడుతుంది. మొత్తం పరామితి గణన ద్వారా సమర్పణలు రెండు గ్రూపులుగా విభజించబడ్డాయి: 1B వరకు మరియు 1B పైన. శాంపిల్ చేయబడిన సబ్‌కార్పస్‌లో తన గ్రూప్‌లో టాప్ టెన్‌కి చేరుకున్న మోడల్ పూర్తి కార్పస్‌పై మూల్యాంకనం చేయబడుతుంది. వారి గ్రూప్‌లో టాప్ 10 వెలుపల ర్యాంక్ పొందిన మోడళ్లు శాంపిల్ చేయబడిన సబ్‌కార్పస్ లీడర్‌బోర్డ్‌లో మాత్రమే ప్రచురించబడతాయి.

మూల్యాంకన ఫలితాలు

మూల్యాంకనం చేసిన మోడళ్ల জুড়ে, Q2D-Web దాని 3 వేర్వేరు ప్రాముఖ్యత సెట్‌లలో వెబ్ స్థాయిలో రిట్రీవల్ పనితీరు యొక్క స్థిరమైన వీక్షణను అందిస్తుంది. లీడర్‌బోర్డ్ ఈ పరిపూరకరమైన వీక్షణలను పక్కపక్కనే అందుబాటులో ఉంచుతుంది, ఇరుకైన సైటేషన్-ఆధారిత లేబుళ్లు మరియు విస్తృత ప్రాముఖ్యత తీర్పుల క్రింద మోడళ్లు ఎలా పని చేస్తాయో తనిఖీ చేయడానికి వినియోగదారులను అనుమతిస్తుంది.

మేము మా ప్రాథమిక మెట్రిక్‌గా Recall@1000 పై దృష్టి పెడతాము ఎందుకంటే మొదటి-దశ రిట్రీవర్ సంబంధిత పత్రాలను అభ్యర్థి పూల్‌లో ఉంచవలసి ఉంటుంది, అయితే తదుపరి రీర్యాంకింగ్ వాటి తుది క్రమాన్ని నిర్ణయిస్తుంది.

మోడల్ కుటుంబం ద్వారా సమూహం చేయబడిన పదమూడు రిట్రీవర్‌ల కోసం మిశ్రమ Recall@1000 వర్సెస్ మిశ్రమ nDCG@10. అత్యధిక స్కోర్ సాధించిన మోడల్ రెండు కొలమానాల మధ్య భిన్నంగా ఉంటుంది.

పట్టిక 1. సైటేషన్, వెబ్ ర్యాంకింగ్ మరియు కంబైన్డ్ రిలవెన్స్ సెట్‌లలో పదమూడు రిట్రీవర్‌ల కోసం పూర్తి-కార్పస్ Recall@1000 మరియు nDCG@10. ఎక్కువ స్కోర్‌లు మెరుగైనవి.

మోడల్

Recall@1000: సైటేషన్

Recall@1000: వెబ్ ర్యాంకింగ్

Recall@1000: కంబైన్డ్

nDCG@10: సైటేషన్

nDCG@10: వెబ్ ర్యాంకింగ్

nDCG@10: కంబైన్డ్

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

అన్ని మూడు జడ్జ్‌మెంట్ సెట్‌లలో pplx-embed-v1-4b అత్యధిక Recall@1000ని కలిగి ఉంది: సైటేషన్ (85.03), వెబ్ ర్యాంకింగ్ (65.73), మరియు కంబైన్డ్ (70.00). కంబైన్డ్ Recall@100 మరియు nDCG@10లో, Nemotron-3-Embed-8B (30.32 మరియు 45.65) pplx-embed-v1-4b (30.17 మరియు 44.12) కంటే మెరుగైన స్కోర్‌లను సాధించింది.

ఒక కుటుంబంలో, పెద్ద మోడల్‌లు కంబైన్డ్ Recall@1000లో ఎక్కువ స్కోర్‌లను సాధిస్తాయి. Qwen3-Embedding 58.68 (0.6B) నుండి 65.32 (8B)కి, Nemotron-3-Embed 62.44 (1B) నుండి 69.33 (8B)కి, మరియు pplx-embed-v1 67.91 (0.6B) నుండి 70.00 (4B)కి పెరుగుతాయి.

పెర్‌ప్లెక్సిటీ మోడల్‌లు సమర్పించబడిన ఇతర మోడల్‌ల వలె అదే పైప్‌లైన్‌ని ఉపయోగించి మూల్యాంకనం చేయబడతాయి. అయితే, Q2D-Web పెర్‌ప్లెక్సిటీ ప్రొడక్షన్ ట్రాఫిక్ నుండి తీసుకోబడినందున, ఈ మోడల్‌లు ఇన్-డిస్ట్రిబ్యూషన్ ప్రయోజనం నుండి ప్రయోజనం పొందవచ్చు. బెంచ్‌మార్క్ యొక్క మూల్యాంకన క్వెరీలు మరియు కార్పస్ మోడల్ శిక్షణ నుండి మినహాయించబడినప్పటికీ, ఫలితాలు ఈ సంభావ్య ప్రయోజనాన్ని దృష్టిలో ఉంచుకుని అన్వయించబడాలి.

లీడర్‌బోర్డ్‌కు ఎలా సమర్పించాలి

మూల్యాంకనాన్ని అభ్యర్థించడానికి, మా మూల్యాంకన అభ్యర్థన ఫారమ్ ద్వారా పబ్లిక్‌గా అందుబాటులో ఉన్న Hugging Face మోడల్‌ను సమర్పించండి.

మోడల్- నిర్దిష్ట అనుమితి సెట్టింగ్‌ల కోసం సమర్పించబడిన రిపాజిటరీలోని మోడల్ కార్డ్‌ను మేము అనుసరిస్తాము, ఇందులో సిఫార్సు చేయబడిన క్వెరీ మరియు డాక్యుమెంట్ సూచనలు లేదా ప్రిఫిక్స్‌లు, పూలింగ్, నార్మలైజేషన్ మరియు సారూప్యత ఫంక్షన్ ఉన్నాయి. సూచనలు, ప్రిఫిక్స్‌లు మరియు ప్రత్యేక టోకెన్‌లతో సహా అన్ని క్వెరీలు మరియు పత్రాలు మోడల్ యొక్క స్వంత టోకెనైజర్‌తో 512 టోకెన్‌లకు కుదించబడతాయి, కాబట్టి పొడవైన మద్దతు ఉన్న సందర్భం ఎలాంటి ప్రయోజనాన్ని ఇవ్వదు. ఉద్దేశించిన రిట్రీవల్ సెటప్‌ను పునరుత్పత్తి చేయడానికి మోడల్ కార్డ్ పూర్తి, అస్పష్టత లేని సూచనలను అందించేలా చూసుకోండి.

అర్హత గల మోడళ్లు ప్రామాణిక transformers లేదా sentence-transformers APIల ద్వారా లోడ్ కావాలి. trust_remote_code=Falseతో రన్ కాని మోడళ్లకు మూల్యాంకనానికి ముందు కస్టమ్ కోడ్ మరియు సమర్పకుడి యొక్క మాన్యువల్ సమీక్ష అవసరం, దీనికి గణనీయంగా ఎక్కువ సమయం పడుతుంది. ప్రైవేట్ లేదా గేటెడ్ రిపాజిటరీలు అర్హత పొందవు.

విధానం మరియు ఫలితాల గురించి మరింత తెలుసుకోవడానికి మా సాంకేతిక నివేదికను చదవండి.

ఉదాహరణ

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}