WANDR బెంచ్‌మార్క్: వైడ్ మరియు డీప్ సెర్చ్ చేయాల్సిన రీసెర్చ్ ఏజెంట్లను మూల్యాంకనం చేయడం

ఈరోజు మేము WANDR (వైడ్ అండ్ డీప్ రీసెర్చ్)ను విడుదల చేస్తున్నాము, ఇది నాలెడ్జ్ వర్క్ కోసం 500 వాస్తవిక, సవాలుతో కూడిన డేటా సేకరణ టాప్సు చుట్టూ నిర్మించబడిన ఓపెన్ బెంచ్‌మార్క్ మరియు ఎవాల్యుయేషన్ హార్నెస్. WANDR అనేది మా లోతైన పరిశోధన కోసం DRACO బెంచ్‌మార్క్ యొక్క విస్తృత సోదరుడు; ఏజెంట్ ఖచ్చితమైన, పూర్తి మరియు ఆబ్జెక్టివ్ లాంగ్-ఫార్మ్ నివేదికను తయారు చేయగలడా అని DRACO అడుగుతుంది; WANDR ఇది పెద్ద సేకరణను నిర్మించగలదా మరియు ప్రతి సభ్యుడిని నిర్దిష్ట సాక్ష్యాలతో బ్యాక్ అప్ చేయగలదా అని అడుగుతుంది.

ఇవి ప్రజలు ఇప్పటికే రీసెర్చ్ ఏజెంట్లకు అప్పగించే రకాల ఉద్యోగాలు: కాంపిటేటివ్ మ్యాపింగ్, డ్యూ డెలిజెన్స్, లిటరేచర్ రివ్యూ, మార్కెట్ అనాలిసిస్, ప్రొడక్ట్ కంపారిజన్, టాలెంట్ సోర్సింగ్ మరియు మరెన్నో. టాస్క్‌లు డజన్ల కొద్దీ నుండి వేలాది స్వతంత్రంగా ధృవీకరించదగిన రికార్డుల వరకు ఉంటాయి. అధిక ప్రయత్నం సెట్టింగ్‌లో కూడా, మా మూల్యాంకనంలో బలమైన సిస్టమ్ కేవలం 0.363 సాఫ్ట్ F1 మరియు 0.133 హార్డ్ F1కి చేరుకుంటుంది. వైడ్-అండ్-డీప్ రీసెర్చ్ ఇంకా పరిష్కరించడానికి చాలా దూరంలో ఉంది.

విస్తరించు

వైడ్-అండ్-డీప్ రీసెర్చ్ ఎందుకు ముఖ్యం

ఏజెంట్ ఒక సమాధానాన్ని కనుగొన్నప్పుడు అనేక ఉపయోగకరమైన పరిశోధన ఉద్యోగాలు ముగియవు. మార్కెట్ అనలిస్ట్‌కు ప్రతిదానికీ ఒకే విధమైన సాక్ష్యాలతో ప్రతి అర్హత కలిగిన పోటీదారు అవసరం కావచ్చు. డ్యూ-డెలిజెన్స్ బృందానికి డజన్ల కొద్దీ కంపెనీలు, ఆపై వాటిలో ప్రతిదానికీ యాజమాన్యం, కార్యనిర్వాహకులు, ఫైనాన్సింగ్ మరియు రెగ్యులేటరీ స్థితి అవసరం కావచ్చు. ఇది రెండు వేర్వేరు డిమాండ్లను సృష్టిస్తుంది:

వైడ్: అర్హత కలిగిన ఎంటిటీల యొక్క పెద్ద మరియు తరచుగా ఓపెన్-ఎండెడ్ సెట్‌ను కనుగొనండి.

డీప్: అభ్యర్థించిన ప్రతి క్లెయిమ్‌కు సాక్ష్యాలతో మద్దతు ఇవ్వడానికి తగినంత దూరం ప్రతి ఎంటిటీని పరిశోధించండి.

ఈ రెండింటిని కలపడం వల్ల సమస్య మారుతుంది. కొన్ని ఆకర్షణీయమైన ఉదాహరణలు సరిపోవు, మరియు అసంపూర్ణ పరిశోధనపై నిర్మించిన పాలిష్ చేయబడిన కథనం కూడా సరిపోదు. ఏజెంట్ ఒక రికార్డు నుండి మరొక రికార్డుకు వాస్తవిక నాణ్యతను త్యాగం చేయకుండా విస్తృత ఆవిష్కరణను కొనసాగించాలి.

WANDR, ఒక అనువైన, సమ్మిళితమైన అర్హత కీ హైరార్కీతో ఆ నిర్మాణాన్ని పట్టుకుంటుంది. ఒక పని ఇలా అడగవచ్చు కోసం

company(n) → employee(m) → url(k)

దీని అర్థం n అర్హత కలిగిన కంపెనీలు, ప్రతి కంపెనీలో m అర్హత కలిగిన ఉద్యోగులు మరియు ప్రతి ఉద్యోగికి k మద్దతు ఇచ్చే పేజీలను కనుగొనడం. ట్రీ ద్వారా ప్రతి పూర్తి మార్గాన్ని స్వతంత్రంగా ధృవీకరించవచ్చు. అదే ప్రాథమిక నిర్మాణం ఫ్లాట్ జాబితా, నెస్టెడ్ శోధన, మ్యాట్రిక్స్ లేదా బహుళ సాక్ష్య శాఖలతో కూడిన టాస్క్‌ను సూచిస్తుంది. ఈ నమూనాలను కూడా కలపవచ్చు, ఒకే ప్రాతినిధ్యం విస్తృత శ్రేణి వాస్తవ-ప్రపంచ ఉపయోగ సందర్భాలను కవర్ చేయడానికి అనుమతిస్తుంది.

విస్తరించు

విడుదల చేయబడిన ఒక టాస్క్ ఆ నిర్మాణాన్ని ఆచరణలో ఉదాహరణగా చూపుతుంది.

ceo_cfo_appointments

ప్రాథమిక టాస్క్. మార్చి 1 మరియు ఏప్రిల్ 30, 2026 మధ్య మొదటిసారిగా ప్రకటించబడిన CEO లేదా CFO నియామకంతో కనీసం 70 US-ఆధారిత కంపెనీలను కనుగొనండి. ప్రతి కంపెనీకి, కంపెనీ మరియు నియామకం పొందిన వ్యక్తిని గుర్తించే, పాత్ర మరియు ప్రకటన తేదీని స్థిరపరిచే మరియు జారీ చేసే వ్యక్తి, ఫైలింగ్, న్యూస్‌వైర్ లేదా నేరుగా ఆపాదించబడిన మొదటి-చేతి వ్యాపార జర్నలిజం నుండి వచ్చే అధికారిక నియామక పేజీని అందించండి.

ప్రాథమిక సోపానక్రమం. company(70) → company_appointee(1) → url(1).

కంపెనీ-జాబితా ఉప టాస్క్. అదే కంపెనీల కోసం, US జాతీయ సెక్యూరిటీల మార్కెట్‌లో జాబితా లేదా US-డొమిసైల్డ్ SEC ఎక్స్ఛేంజ్ యాక్ట్ రిపోర్టింగ్ ఇష్యూయర్‌గా స్థితిని చూపే గుర్తింపు పొందిన జాబితా-అధికార పేజీని అందించండి.

ఉప టాస్క్ సోపానక్రమం. company(70) → url(1).

కావలసిన రికార్డులు. 140: 70 అపాయింట్‌మెంట్ రికార్డులు మరియు 70 లిస్టింగ్ రికార్డులు.

ప్రతి మార్గం ఒక పేజీలో మరియు గ్రేడర్ మళ్లీ తనిఖీ చేయగల ఉల్లేఖనాలలో ముగుస్తుంది. షేర్ చేయబడిన కంపెనీ కీ అపాయింట్‌మెంట్ మరియు లిస్టింగ్ బ్రాంచ్‌లను లైన్ చేస్తుంది, కాబట్టి లిస్టింగ్ స్థితి యొక్క ప్రత్యేక రుజువు లేని అపాయింట్‌మెంట్ కూడా ఆ కంపెనీని అసంపూర్ణంగా ఉంచుతుంది.

వాస్తవిక టాస్క్‌లు, భారీ స్థాయిలో ఉత్పత్తి చేయబడ్డాయి

WANDR synthetic prompts కంటే production usageలో గమనించిన de-identified patterns నుండి ప్రారంభమవుతుంది. ఇది benchmarkను people నిజంగా delegate చేసే పనులకు దగ్గరగా ఉంచుతుంది: open-ended discovery, repeated enrichment, cross-source checks, మరియు professional scaleలో structured comparisons. ఒక semi-automated pipeline ఆ patternsను tasks‌గా మారుస్తుంది, exhaustive answer annotationకు బదులుగా human effortను quality control కోసం మాత్రమే reserved‌గా ఉంచుతుంది.

పైప్‌లైన్‌కు నాలుగు దశలు ఉన్నాయి. సీడింగ్ పునర్వినియోగపరచదగిన వైడ్-రీసెర్చ్ నమూనా కోసం డి-ఐడెంటిఫైడ్ ప్రొడక్ట్ అభ్యర్థనలను మైన్ చేస్తుంది. అథరింగ్ ఇంటర్‌లీవ్డ్ ఆథర్-క్రిటిక్ లూప్‌ను నడుపుతుంది: ఏజెంట్లు డిజైన్‌ను స్కెచ్ చేసి స్ట్రెస్-టెస్ట్ చేస్తారు, టాస్క్ స్పెసిఫికేషన్ మరియు జడ్జిని వ్రాస్తారు, ఫిక్చర్ రికార్డులను సృష్టిస్తారు మరియు ప్రతిదీ సమలేఖనం చేయడానికి మెకానికల్ లింటర్‌ను ఉపయోగిస్తారు. అడ్మిషన్ 10-12 ఆథరింగ్ రోల్‌అవుట్‌లను విలీనం చేయడం ద్వారా లక్ష్య వాల్యూమ్ చేరుకోగలదా అని తనిఖీ చేస్తుంది, టాస్క్-నిర్దిష్ట జడ్జిని ఆడిట్ చేస్తుంది మరియు ఐచ్ఛికంగా మానవ సైన్-ఆఫ్‌ను జోడిస్తుంది. క్యూరేషన్ అంగీకరించబడిన టాస్క్‌లను లేబుల్ చేస్తుంది మరియు అంశాలు, స్థాయి, టోపోలాజీ మరియు కష్టాలలో సమతుల్యమైన తుది సెట్‌ను ఎంచుకుంటుంది.

విస్తరించు

మధ్యస్థ టాస్క్ 50 సభ్యులు, ఒక్కో సభ్యునికి నాలుగు రికార్డులు మరియు మొత్తం 245 రికార్డులను అడుగుతుంది. కలిపి తీసుకుంటే, 500 టాస్క్‌లకు 170,495 సోర్స్-బ్యాక్డ్ రికార్డులు అవసరం. మేము చారిత్రక డిజైన్-స్టేజ్ రోల్‌అవుట్‌ల నుండి కష్టాలను కాలిబ్రేట్ చేస్తాము, ఆపై ర్యాంక్ ద్వారా టాస్క్‌లను 167 దిగువ, 166 మధ్య మరియు 167 అధిక-కష్టాల ఉదాహరణలుగా విభజిస్తాము. దిగువ ప్లాట్ కష్టం కేవలం స్థాయి ద్వారా నిర్ణయించబడదని చూపుతుంది; ఇది ప్రతి రికార్డుకు అవసరమైన పనిపై కూడా ఆధారపడి ఉంటుంది.

విస్తరించు

రిఫరెన్స్-ఫ్రీ, ఎవిడెన్స్-వెరిఫైడ్ గ్రేడింగ్

స్థిరమైన సమాధాన కీ ఓపెన్-ఎండెడ్ పరిశోధనకు తక్కువ సరిపోతుంది. ఇది నిర్మించడానికి ఖరీదైనది, త్వరగా పాతది అవుతుంది మరియు కాలక్రమేణా సమాధానాలు మారే ప్రశ్నలను సరిగ్గా ప్రాతినిధ్యం వహించదు. WANDR బదులుగా ఏజెంట్ ఉదహరించే సాక్ష్యాలకు వ్యతిరేకంగా సమర్పించిన ప్రతి క్లెయిమ్‌ను గ్రేడ్ చేస్తుంది.

ప్రతి రికార్డు ఒక అంశం, URL, ఎంచుకున్న ఉల్లేఖనాలు మరియు సమాధానాన్ని కలిగి ఉంటుంది. గ్రేడర్ పేజీని మళ్లీ పొందుతుంది మరియు అది ఉపయోగించదగినదా కాదా, క్లెయిమ్ స్పష్టంగా మరియు పరిధిలో ఉందా, ఉల్లేఖనాలు పేజీలో నమ్మకంగా కనిపిస్తాయా మరియు పేజీ మరియు ఉల్లేఖనాలు రెండూ ప్రతి అవసరానికి మద్దతు ఇస్తాయా అని తనిఖీ చేస్తుంది.

ఈ బైనరీ రికార్డ్ తీర్పులు సోపానక్రమం ద్వారా రోల్ అప్ చేయబడతాయి. ఖచ్చితత్వం సిస్టమ్ సమర్పించిన దాని నాణ్యతను కొలుస్తుంది. రీకాల్ అభ్యర్థించిన వాల్యూమ్‌కు వ్యతిరేకంగా నాణ్యత-సర్దుబాటు పూర్తి చేయడాన్ని కొలుస్తుంది, ఏదైనా లోటును సున్నాలతో నింపుతుంది. F1 రెండింటిని సమతుల్యం చేస్తుంది. సాఫ్ట్ స్కోర్లు అసంపూర్ణ సభ్యులకు పాక్షిక క్రెడిట్స్ ఇస్తాయి; హార్డ్ స్కోర్లు పూర్తి అవసరమైన సబ్‌ట్రీ సరైన సభ్యులను మాత్రమే లెక్కిస్తాయి. నిర్ధారణ కోసం, WANDR చెల్లుబాటు మరియు సమర్పించిన ఉల్లేఖనాలపై కఠినమైన తనిఖీలను జోడించే ముందు తెచ్చిన పేజీ టాస్క్‌ను సంతృప్తిపరుస్తుందో లేదో అడిగే రిట్రీవల్-మాత్రమే తీర్పును కూడా నివేదిస్తుంది.

ఇది failuresను interpretable మరియు localizable‌గా చేస్తుంది. Low recallతో high precision సాధారణంగా system కొన్ని good membersను కనుగొన్నదని, కానీ వాటిలో సరిపడా సంఖ్యను కనుగొనలేదని అర్థం. Large soft-to-hard drop అంటే అది partial progress సాధించిందని, కానీ full credit కోసం అవసరమైన every branchను అరుదుగా పూర్తిచేసిందని సూచిస్తుంది. score tree lossను discovery, enrichment, identity handling, page qualification, లేదా evidence extractionకు localize చేయగలదు.

విస్తరించు

మేము కనుగొన్నది ఏమిటి

మేము ఆరు ప్రొడక్షన్ సిస్టమ్‌లను పోల్చాము: హోస్ట్ చేసిన టాస్క్ మరియు శోధన APIలు, సాధారణ వెబ్-ఏజెంట్ APIలు, లోతైన పరిశోధన ఉత్పత్తి మరియు మా ప్రోగ్రామాటిక్ శోధన-ఆర్కెస్ట్రేషన్ సిస్టమ్, Search as Code (SaC). ప్రతి ఒక్కటి పిన్ చేయబడిన కాన్ఫిగరేషన్ కింద అన్ని 500 టాస్క్‌లపై షెడ్యూల్ చేయబడింది, ఆపై అదే ఫెచ్, జడ్జి, గుర్తింపు-పరిష్కారం మరియు స్కోరింగ్ పైప్‌లైన్ గుండా వెళ్ళింది.

Perplexity Search as Code 0.363 సాఫ్ట్ F1 మరియు 0.133 హార్డ్ F1 వద్ద లీడ్ చేస్తుంది. ఆంత్రోపిక్ 0.249 మరియు 0.072 వద్ద రెండవ స్థానంలో ఉంది; మిగతా అన్ని సిస్టమ్‌లు 0.121 సాఫ్ట్ F1 మరియు 0.035 హార్డ్ F1 వద్ద టాప్ అవుట్ అవుతాయి. ఏ సిస్టమ్ కూడా నాణ్యత మరియు సామర్థ్యం రెండింటిలోనూ ఆధిపత్యం చెలాయించదు. Perplexity టాస్క్‌కు $5.20 ఖర్చుతో కూడిన శ్రేణి మధ్యలో కూర్చుంటుంది, 14.9-నిమిషాల మధ్యస్థ సాల్వ్ సమయం మరియు టాస్క్‌కు 3.82 మిలియన్ నివేదించబడిన టోకెన్‌లు ఉన్నాయి. OpenAI మరియు Exa వేగంగా మరియు చౌకగా ఉంటాయి కానీ చాలా తక్కువ స్కోర్ చేస్తాయి. Anthropic నాణ్యతపై దగ్గరగా వస్తుంది, కానీ గణనీయంగా ఎక్కువ సమయం, డబ్బు మరియు టోకెన్‌లను ఉపయోగిస్తుంది.

విస్తరించు

విస్తరించు

మేము అదే 45-టాస్క్ ఉపసమితిపై అందుబాటులో ఉన్న ప్రతి ప్రయత్న సెట్టింగ్‌ను కూడా అంచనా వేసాము. ఎక్కువ ప్రయత్నం ప్రతి దశలో Perplexity, Gemini మరియు Exaలను మెరుగుపరుస్తుంది; Perplexity xhigh వద్ద 0.447 సాఫ్ట్ F1 మరియు 0.224 హార్డ్ F1కి చేరుకుంటుంది. అయినప్పటికీ, ఎక్కువ ప్రయత్నం ఏకరీతిగా మెరుగ్గా ఉండదు: OpenAI high వద్ద శిఖరాగ్రానికి చేరుకుంటుంది మరియు Parallel యొక్క హార్డ్ F1 ultra2x మరియు ultra4x మధ్య కొద్దిగా జారిపోతుంది. Exa low కోసం టాస్క్‌కు $0.03 నుండి Gemini max కోసం $324.83 వరకు ఖర్చు నాలుగు ఆర్డర్‌ల పరిమాణం కంటే ఎక్కువగా విస్తరించి ఉంది.

విస్తరించు

విస్తరించు

నాలుగు ఫలితాలు ప్రత్యేకంగా నిలుస్తాయి.

పాక్షిక పురోగతి సాధారణం; పూర్తి కవరేజ్ కాదు. సాఫ్ట్ రీకాల్ ప్రతి సిస్టమ్‌కు సాఫ్ట్ ఖచ్చితత్వం కంటే తక్కువగా ఉంటుంది, అనగా పూర్తి అభ్యర్థించిన వాల్యూమ్ డినామినేటర్‌లోకి ప్రవేశించిన తర్వాత పనితీరు పడిపోతుంది. Perplexity 0.389 ఖచ్చితత్వం నుండి 0.357 రీకాల్‌ను నిలుపుకుంటుంది, ఇది అతి చిన్న అంతరం; Anthropic 0.354 నుండి 0.222కి పడిపోతుంది. సాఫ్ట్-టు-హార్డ్ మార్పిడి ఇంకా కఠినమైనది. Perplexity 0.363 సాఫ్ట్ F1 నుండి 0.133 హార్డ్ F1కి పడిపోతుంది మరియు Anthropic 0.249 నుండి 0.072కి పడిపోతుంది. ఉత్తమ హార్డ్ ఖచ్చితత్వం 0.150 మరియు ఉత్తమ హార్డ్ రీకాల్ 0.134: లీడర్ కూడా తాను సమర్పించిన ప్రతి ఏడుగురు సభ్యులలో ఒకరికి మరియు టాస్క్ అడిగే ప్రతి ఏడుగురు సభ్యులలో ఒకరికి మాత్రమే పూర్తి క్రెడిట్స్ పొందుతుంది.

స్థాయి సమస్యను పెంచుతుంది. చిన్న నుండి పెద్ద లక్ష్య-వాల్యూమ్ బిన్ వరకు, Perplexity యొక్క హార్డ్ ఖచ్చితత్వం 0.235 నుండి 0.096కి మరియు దాని హార్డ్ రీకాల్ 0.219 నుండి 0.079కి పడిపోతుంది. Anthropic 0.205 నుండి 0.113కి మరియు 0.127 నుండి 0.042కి పడిపోతుంది; OpenAI 0.109 నుండి 0.034కి మరియు 0.102 నుండి 0.016కి పడిపోతుంది. రీకాల్ సాధారణంగా ఖచ్చితత్వం కంటే వేగంగా పడిపోతుంది: ఒక సిస్టమ్ అభ్యర్థించిన సెట్‌లో తక్కువ మరియు తక్కువ కవర్ చేస్తున్నప్పుడు పూర్తి సభ్యుల చిన్న పర్సును ఉంచుకోవచ్చు.

లోతైన సోపానక్రమాలు ఇంకా కఠినమైనవి. మధ్యస్థ కీ లేకపోవడం నుండి మూడు లేదా అంతకంటే ఎక్కువకు వెళుతుండగా, Perplexity యొక్క హార్డ్ ఖచ్చితత్వం 0.392 నుండి 0.019కి మరియు హార్డ్ రీకాల్ 0.378 నుండి 0.017కి పడిపోతుంది; Anthropic 0.311 నుండి 0.049కి మరియు 0.229 నుండి 0.022కి పడిపోతుంది; OpenAI 0.136 నుండి 0.012కి మరియు 0.120 నుండి 0.011కి పడిపోతుంది. జోడించిన ప్రతి శాఖ సభ్యుడు ఆల్-ఆర్-నథింగ్ హార్డ్ స్కోర్‌ను కోల్పోయే మరొక స్థలాన్ని సృష్టిస్తుంది. ఖర్చు మరియు లేటెన్సీ సాధారణ మోనోటోనిక్ నమూనాను అనుసరించవు.

విస్తరించు

Qualityని నిర్ణయించే ముందు కూడా, discoveryనే మొదటి structural bottleneck. Raw, pre-collapse counts‌ను మాత్రమే చూసినప్పుడు, mean top-level discovery completion 0.611 నుండి 0.951 వరకు ఉంటుంది. Conditional enrichment మరింత బలంగా 0.767–0.967 వద్ద ఉంది, మరియు ఒక member మరియు దాని enrichment path ఉన్న తర్వాత terminal evidence-slot completion 0.979–0.994 వరకు చేరుతుంది. Perplexity 0.951తో discoveryలో, 0.967తో enrichmentలో ముందుంది, కానీ OpenAI terminal evidence slotsలో 0.994 vs 0.991తో కొంచెం ఎక్కువగా ఉంది. Duplicate collapse ఆరు పూర్తి runs‌లో count loss‌లో కేవలం 0.017–0.205 percentage points‌కే కారణమవుతుంది, కాబట్టి ప్రధాన aggregate explanation under-delivery, identity merging కాదు. అతిపెద్ద raw structural losses final URL attach అయ్యే ముందు జరుగుతాయి.

విస్తరించు

ఉపయోగించదగిన పేజీని కనుగొనడం సాధారణంగా సులభం; పూర్తి సాక్ష్యాలను కనుగొనడం కష్టం. ఐదు సిస్టమ్‌ల కోసం, సమర్పించిన పేజీలలో 3.2%–8.9 మాత్రమే ఉపయోగించలేనివి; OpenAI 23.1% అవుట్‌లైయర్. చెల్లని లేదా తప్పు-రకం రికార్డులు కూడా 4.2%–17.4 వద్ద సాపేక్షంగా అరుదు. ఆధిపత్య నష్టాలు తదుపరి వస్తాయి: సమర్పించిన పేజీలలో 33.6%–68.3% కనీసం ఒక సబ్‌స్టాంటివ్ టాస్క్ అవసరంలో విఫలమవుతాయి మరియు సమర్పించిన ఉల్లేఖనాలలో 57.5%–86.6% రికార్డ్ క్లెయిమ్ చేసే ప్రతిదానికీ మద్దతు ఇవ్వడంలో విఫలమవుతాయి. Perplexity రేట్లు 41.4% మరియు 57.5%. దీని సాఫ్ట్ F1 రిట్రీవల్-మాత్రమే చెక్ కింద 0.531 నుండి పడిపోతుంది, ఇది పేజీ ప్రతి సబ్‌స్టాంటివ్ అవసరానికి అనుగుణంగా ఉందా లేదా అని మాత్రమే అడుగుతుంది, పూర్తి తీర్పు ప్రకారం 0.363కి పడిపోతుంది, దీనికి సార్వత్రిక తనిఖీలు, టాస్క్-నిర్దిష్ట చెల్లుబాటు మరియు పూర్తి ఉల్లేఖన మద్దతు కూడా అవసరం. హార్డ్ F1 కూడా 0.245 నుండి 0.133కి పడిపోతుంది. కష్టమైన భాగం కేవలం ఆచరణీయమైన పేజీకి చేరుకోవడం మాత్రమే కాదు; ఆ పేజీని మొత్తం క్లెయిమ్‌కు తగిన సాక్ష్యంగా మార్చడం.

విస్తరించు

Search as Code ఈ టాస్క్ ఆకారానికి బాగా సరిపోతుంది. ఒక మోడల్ ప్రోగ్రామ్‌గా రిట్రీవల్, ఫిల్టరింగ్, ఫ్యాన్-అవుట్, రెండరింగ్, జాయిన్స్, డిడూప్లికేషన్ మరియు స్టాపింగ్ లాజిక్‌ను వ్యక్తపరచగలదు, అయితే డిటర్మినిస్టిక్ కంప్యూట్ మోడల్ కాంటెక్స్ట్ వెలుపల పునరావృత ఆపరేషన్లను నిర్వహిస్తుంది. ఆ ప్రొఫైల్ Perplexity యొక్క బలమైన బ్రెడ్త్ రిటెన్షన్ మరియు ఉల్లేఖన నిర్మాణంతో స్థిరంగా ఉంటుంది, అయినప్పటికీ ఇది ప్రతి పొర వద్ద లీడ్ చేయదు: Anthropic అత్యల్ప పేజీ-అవసర వైఫల్య రేటును కలిగి ఉంది.

తరువాత ఏమిటి

WANDR ఒక్క leaderboard score కంటే ఎక్కువను అందిస్తుంది. దాని common task structure మరియు semi-automated pipeline విభిన్న, high-volume task generationను మద్దతు ఇస్తాయి, కాగా per-record verdicts మరియు hierarchy-level scores ఒక run ఎక్కడ విఫలమవుతుందో చూపిస్తాయి: discovery, enrichment, identity handling, semantic qualification, లేదా evidence construction. విడుదల చేసిన tasks, verifier, మరియు structural diagnostics comprehensive search systemsను మెరుగుపరచడానికి, అలాగే ఆ gains scaleలో నిలిచివుంటాయా అని పరీక్షించడానికి ఒక ఆధారాన్ని అందిస్తాయి.

అదే structure WANDRను reinforcement learning కోసం కూడా ఉపయోగకరంగా చేయవచ్చు. Single sparse terminal rewardపై ఆధారపడకుండా, trainer record- మరియు branch-level judgmentsను ఉపయోగించి, discovery మరియు enrichment progress‌కు partial credit కేటాయించి, కాలక్రమేణా required counts‌ను పెంచుతూ curriculum‌ను నిర్మించగలడు. Pipeline domains, hierarchy shapes, evidence rules, మరియు breadth–depth settings across held-out sibling tasks‌ను gold answers‌ను enumerate చేయకుండా generate చేయగలదు. ఇది agentsను కేవలం correct facts కనుగొనడానికి మాత్రమే కాకుండా, coverage కోసం plan చేయడానికి, missing branchesను detect చేయడానికి, మరియు stopping‌కు ముందు recover చేయడానికి training చేసే మార్గాన్ని సృష్టిస్తుంది.

బెంచ్‌మార్క్ టాస్క్‌లు, ఎవాల్యుయేషన్ హార్నెస్ మరియు పూర్తి సాంకేతిక నివేదిక GitHubలో అందుబాటులో ఉన్నాయి.

ఉదాహరణ

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}