WANDR பெஞ்ச்மார்க்: அகலமாகவும் ஆழமாகவும் தேட வேண்டிய ஆராய்ச்சி ஏஜென்டுகளை மதிப்பிடுதல்

இன்று, அறிவுசார் பணிகளுக்கான 500 யதார்த்தமான, சவாலான தரவு சேகரிப்பு பணிகளை மையமாகக் கொண்டு கட்டமைக்கப்பட்ட ஒரு திறந்தநிலை அளவுகோல் மற்றும் மதிப்பீட்டு ஹார்னஸ் ஆன WANDR (Wide ANd Deep Research) ஐ நாங்கள் வெளியிடுகிறோம். WANDR என்பது எங்கள் ஆழமான ஆய்வுக்கான DRACO அளவுகோலின் பரந்த சகோதரர் ஆகும். DRACO என்பது ஒரு ஏஜென்ட் துல்லியமான, முழுமையான மற்றும் புறநிலை சார்ந்த நீண்ட வடிவ அறிக்கையை உருவாக்க முடியுமா என்று கேட்கிறது; WANDR என்பது ஒரு பெரிய தொகுப்பை உருவாக்கி, ஒவ்வொரு உறுப்பினரையும் குறிப்பிட்ட ஆதாரங்களுடன் ஆதரிக்க முடியுமா என்று கேட்கிறது.

போட்டி மேப்பிங், உரிய விடாமுயற்சி, இலக்கிய ஆய்வு, சந்தை பகுப்பாய்வு, தயாரிப்பு ஒப்பீடு, திறமை ஆதாரம் மற்றும் பல போன்ற ஆராய்ச்சி ஏஜென்டுகளிடம் மக்கள் ஏற்கனவே ஒப்படைக்கும் வேலைகள் இவை. பணிகள் டஜன் கணக்கில் ஆயிரக்கணக்கான தனித்தனியாக சரிபார்க்கக்கூடிய பதிவுகள் வரை இருக்கும். அதிக முயற்சி அமைப்பில் கூட, எங்கள் மதிப்பீட்டில் வலுவான அமைப்பு வெறும் 0.363 மென்மையான F1 மற்றும் 0.133 கடினமான F1 ஐ அடைகிறது. அகல-மற்றும்-ஆழமான ஆய்வு இன்னும் தீர்க்கப்படுவதிலிருந்து வெகு தொலைவில் உள்ளது.

விரிவாக்கு

அகல-மற்றும்-ஆழமான ஆய்வு ஏன் முக்கியமானது

பல பயனுள்ள ஆராய்ச்சிப் பணிகள், ஒரு ஏஜென்ட் ஒரு பதிலைக் கண்டறியும் போது முடிவடைவதில்லை. ஒரு சந்தை ஆய்வாளர் ஒவ்வொரு தகுதியான போட்டியாளரையும், ஒவ்வொன்றிற்கும் அதே ஆதாரங்களுடன் கோர வேண்டியிருக்கலாம். உரிய விடாமுயற்சி குழுவிற்கு டஜன் கணக்கான நிறுவனங்கள் தேவைப்படலாம், பின்னர் அவைகளில் ஒவ்வொன்றிற்கும் உரிமை, நிர்வாகிகள், நிதியுதவி மற்றும் ஒழுங்குமுறை நிலை தேவைப்படலாம். அது இரண்டு தனித்தனி தேவைகளை உருவாக்குகிறது:

பரந்த: தகுதியான நிறுவனங்களின் பெரிய மற்றும் பெரும்பாலும் திறந்தநிலை தொகுப்பைக் கண்டறியவும்.

ஆழமான: கோரப்பட்ட ஒவ்வொரு உரிமைகோரலையும் ஆதாரத்துடன் ஆதரிக்க ஒவ்வொரு நிறுவனத்தையும் போதுமான அளவு விசாரிக்கவும்.

இரண்டையும் இணைப்பது சிக்கலை மாற்றுகிறது. ஒரு சில கட்டாய உதாரணங்கள் மட்டும் போதாது, முழுமையற்ற ஆராய்ச்சியின் மீது கட்டமைக்கப்பட்ட மெருகூட்டப்பட்ட கதையும் போதாது. ஒரு பதிவிலிருந்து அடுத்த பதிவிற்கு உண்மைத் தரத்தைத் தியாகம் செய்யாமல் ஏஜென்ட் பரந்த கண்டுபிடிப்பைத் தொடர வேண்டும்.

WANDR நெகிழ்வான, கலவை செய்யக்கூடிய தகுதி விசை படிநிலை மூலம் அந்த கட்டமைப்பைக் கைப்பற்றுகிறது. ஒரு பணி கேட்கலாம்

company(n) → employee(m) → url(k)

இதன் பொருள் n தகுதிவாய்ந்த நிறுவனங்கள், ஒவ்வொரு நிறுவனத்திலும் m தகுதிவாய்ந்த ஊழியர்கள் மற்றும் ஒவ்வொரு ஊழியருக்கும் k ஆதரவு பக்கங்களைக் கண்டறிவது. மரத்தின் வழியான ஒவ்வொரு முழுமையான பாதையும் independientes ஆக சரிபார்க்கப்படலாம். அதே அடிப்படை கட்டமைப்பு ஒரு பிளாட் பட்டியல், ஒரு கூட்டில் தேடல், ஒரு மேட்ரிக்ஸ் அல்லது பல ஆதார கிளைகளைக் கொண்ட ஒரு பணியைக் குறிக்கலாம். இந்த வடிவங்களையும் இணைக்கலாம், ஒரு பிரதிநிதித்துவம் பரந்த அளவிலான நிஜ உலக பயன்பாட்டு நிகழ்வுகளை உள்ளடக்கியதாக அனுமதிக்கிறது.

விரிவாக்கு

வெளியிடப்பட்ட ஒரு பணி நடைமுறையில் இந்த கட்டமைப்பை விளக்குகிறது.

ceo_cfo_appointments

முதன்மைப் பணி. மார்ச் 1 மற்றும் ஏப்ரல் 30, 2026 க்கு இடையில் முதன்முதலில் அறிவிக்கப்பட்ட CEO அல்லது CFO நியமனம் கொண்ட குறைந்தபட்சம் 70 அமெரிக்காவை தளமாகக் கொண்ட நிறுவனங்களைக் கண்டறியவும். ஒவ்வொரு நிறுவனத்திற்கும், நிறுவனம் மற்றும் நியமனதாரரை அடையாளம் காணும், பங்கு மற்றும் அறிவிப்பு தேதியை நிறுவும், மேலும் வெளியீட்டாளர், ஒரு தாக்கல், செய்தி நிறுவனம் அல்லது நேரடியாகக் கூறப்பட்ட முதல் தர வணிக இதழியல் ஆகியவற்றிலிருந்து வரும் அதிகாரப்பூர்வ நியமனப் பக்கத்தை வழங்கவும்.

முதன்மைப் படிநிலை. company(70) → company_appointee(1) → url(1).

நிறுவனப் பட்டியல் துணைப்பணி. அதே நிறுவனங்களுக்கு, அமெரிக்க தேசிய பத்திரிகை பரிமாற்றத்தில் பட்டியலிடுதல் அல்லது அமெரிக்காவில் வசிக்கும் SEC எக்ஸ்சேஞ்ச் சட்டம் அறிக்கையிடும் வெளியீட்டாளராக நிலை ஆகியவற்றைக் காட்டும் அங்கீகரிக்கப்பட்ட பட்டியல்-அதிகாரப் பக்கத்தை வழங்கவும்.

துணைப்பணிப் படிநிலை. company(70) → url(1).

தேவையான பதிவுகள். 140: 70 நியமனப் பதிவுகள் மற்றும் 70 பட்டியல் பதிவுகள்.

ஒவ்வொரு பாதையும் ஒரு பக்கத்திலும் மற்றும் மதிப்பீட்டாளர் மீண்டும் சரிபார்க்கக்கூடிய பகுப்பாய்வுகளிலும் முடிகிறது. பகிரப்பட்ட நிறுவன விசை நியமனம் மற்றும் பட்டியல் கிளைகளை வரிசைப்படுத்துகிறது, எனவே பட்டியலிடும் நிலைக்கான தனி ஆதாரம் இல்லாத நியமனம் இன்னும் அந்த நிறுவனத்தை முழுமையடையாமல் விட்டுவிடுகிறது.

யதார்த்தமான பணிகள், அளவில் உருவாக்கப்படுகின்றன

WANDR செயற்கையான தூண்டுதல்களுக்குப் பதிலாக உற்பத்தி பயன்பாட்டில் காணப்பட்ட அடையாளம் நீக்கப்பட்ட வடிவங்களிலிருந்து தொடங்குகிறது. இது மக்கள் உண்மையில் பிரதிநிதித்துவப்படுத்தும் வேலைக்கு அளவுகோலை நெருக்கமாக வைத்திருக்கிறது: திறந்தநிலை கண்டுபிடிப்பு, மீண்டும் மீண்டும் செறிவூட்டல், குறுக்கு-மூல சோதனைகள் மற்றும் தொழில்முறை அளவில் கட்டமைக்கப்பட்ட ஒப்பீடுகள். ஒரு அரை தானியங்கி பைப்லைன் அந்த வடிவங்களை பணிகளாக மாற்றுகிறது, முழுமையான பதில் சிறுகுறிப்புக்கு பதிலாக தர கட்டுப்பாட்டுக்காக மனித முயற்சியை ஒதுக்கி வைக்கிறது.

பைப்லைனில் நான்கு கட்டங்கள் உள்ளன. சீடிங் மறுபயன்படுத்தக்கூடிய பரந்த-ஆராய்ச்சி முறைமையிற்காக அடையாளம் நீக்கப்பட்ட தயாரிப்பு கோரிக்கைகளை சுரங்கம் செய்கிறது. ஆத்தரிங் இடைமடங்கிய ஆத்தர்–கிரிடிக் வட்டத்தை இயக்குகிறது: ஏஜென்ட்கள் வடிவமைப்பை வரைந்து கடுமையாக சோதிக்கின்றன, பணிப் பகுப்புரையும் நீதிபதியையும் எழுதுகின்றன, fixture பதிவுகளை உருவாக்குகின்றன, மேலும் அனைத்தும் ஒத்திசைவாக இருக்க மெக்கானிக்கல் லின்டரை பயன்படுத்துகின்றன. அட்மிஷன் 10–12 ஆத்தரிங் rollout-களை ஒன்றிணைத்து இலக்கு அளவு அடையக்கூடியதா என்பதைச் சரிபார்க்கிறது, task-specific judge-ஐ தணிக்கை செய்கிறது, மேலும் விருப்பமாக மனித ஒப்புதலையும் சேர்க்கிறது. க்யூரேஷன் அனுமதிக்கப்பட்ட பணிகளை லேபிள் செய்து, தலைப்புகள், அளவு, topology, மற்றும் கடினத்தன்மை முழுவதும் சமநிலையான இறுதி தொகுப்பைத் தேர்ந்தெடுக்கிறது.

விரிவாக்கு

நடுத்தர பணி 50 உறுப்பினர்கள், ஒரு உறுப்பினருக்கு நான்கு பதிவுகள் மற்றும் ஒட்டுமொத்தமாக 245 பதிவுகளைக் கேட்கிறது. ஒன்றாக எடுத்துக்கொண்டால், 500 பணிகளுக்கு 170,495 மூல ஆதரவு பதிவுகள் தேவைப்படுகின்றன. வரலாற்று வடிவமைப்பு-நிலை ரோல்அவுட்களிலிருந்து நாங்கள் சிரமத்தை அளவீடு செய்கிறோம், பின்னர் பணிகளை தரவரிசைப்படி 167 குறைந்த, 166 நடுத்தர மற்றும் 167 அதிக சிரமம் கொண்ட எடுத்துக்காட்டுகளாகப் பிரிக்கிறோம். கீழே உள்ள வரைபடம் சிரமம் அளவால் மட்டும் தீர்மானிக்கப்படுவதில்லை என்பதைக் காட்டுகிறது; இது ஒவ்வொரு பதிவுக்கும் தேவையான வேலையைப் பொறுத்தது.

விரிவாக்கு

குறிப்பு இல்லாத, ஆதாரத்தால் சரிபார்க்கப்பட்ட தரப்படுத்தல்

ஒரு நிலையான பதில் விசை திறந்தநிலை ஆராய்ச்சிக்கு மோசமாகப் பொருந்துகிறது. இது உருவாக்குவதற்குச் செலவானது, விரைவாக பழையதாகிவிடும், மேலும் காலப்போக்கில் பதில்கள் மாறும் கேள்விகளை மோசமாகப் பிரதிநிதித்துவப்படுத்துகிறது. WANDR அதற்கு பதிலாக ஏஜென்ட் குறிப்பிடும் ஆதாரத்திற்கு எதிராக சமர்ப்பிக்கப்பட்ட ஒவ்வொரு உரிமைகோரலையும் தரப்படுத்துகிறது.

ஒவ்வொரு பதிவிலும் ஒரு உருப்படி, ஒரு URL, தேர்ந்தெடுக்கப்பட்ட பகுப்பாய்வுகள் மற்றும் ஒரு பதில் உள்ளது. தரப்படுத்துபவர் பக்கத்தை மீண்டும் பெற்று, அது பயன்படுத்தக்கூடியதா, உரிமைகோரல் தெளிவானதா மற்றும் வரம்பிற்குட்பட்டதா, பகுப்பாய்வுகள் பக்கத்தில் உண்மையாகத் தோன்றுகின்றனவா, மேலும் பக்கமும் பகுப்பாய்வுகளும் ஒவ்வொரு தேவையையும் ஆதரிக்கின்றனவா என்பதைச் சரிபார்க்கிறது.

இந்த பைனரி பதிவு தீர்ப்புகள் படிநிலை வழியாகச் செல்கின்றன. துல்லியம் என்பது அமைப்பு சமர்ப்பித்தவற்றின் தரத்தை அளவிடுகிறது. நினைவுபடுத்துதல் என்பது கோரப்பட்ட அளவிற்கு எதிராக தர-சரிசெய்யப்பட்ட நிறைவை அளவிடுகிறது, பூஜ்ஜியங்களுடன் எந்தக் குறையையும் நிரப்புகிறது. F1 இரண்டையும் சமநிலைப்படுத்துகிறது. மென்மையான மதிப்பெண்கள் முழுமையற்ற உறுப்பினர்களுக்குப் பகுதி கிரெடிட்களை வழங்குகின்றன; கடினமான மதிப்பெண்கள் தேவையான முழு துணை மரமும் சரியான உறுப்பினர்களை மட்டுமே கணக்கிடுகின்றன. நோயறிதலுக்காக, WANDR ஒரு மீட்டெடுப்பு-மட்டுமே தீர்ப்பையும் தெரிவிக்கிறது, இது செல்லுபடியாகும் தன்மை மற்றும் சமர்ப்பிக்கப்பட்ட பகுப்பாய்வுகள் பற்றிய கடுமையான சோதனைகளைச் சேர்ப்பதற்கு முன்பு பெறப்பட்ட பக்கம் பணியைப் பூர்த்திசெய்கிறதா என்று கேட்கிறது.

இது தோல்விகளை விளக்கக்கூடியதாகவும் உள்ளூர்மயமாக்கக்கூடியதாகவும் ஆக்குகிறது. குறைந்த நினைவூட்டலுடன் கூடிய அதிக துல்லியம் என்பது அமைப்பு சில நல்ல உறுப்பினர்களைக் கண்டறிந்துள்ளது ஆனால் அவர்களில் போதுமானவர்களைக் கண்டறியவில்லை என்பதாகும். ஒரு பெரிய மென்மையான-இருந்து-கடினமான வீழ்ச்சி என்பது அது பகுதி முன்னேற்றத்தைச் செய்துள்ளது ஆனால் முழு கிரெடிட்டிற்குத் தேவையான ஒவ்வொரு கிளையும் எப்போதாவதுதான் முடித்துள்ளது என்பதைக் குறிக்கிறது. மதிப்பெண் மரம் கண்டுபிடிப்பு, செறிவூட்டல், அடையாள கையாளுதல், பக்க தகுதி அல்லது ஆதாரப் பிரித்தெடுத்தல் ஆகியவற்றுக்கு இழப்பை உள்ளூர்மயமாக்க முடியும்.

விரிவாக்கு

நாங்கள் கண்டறிந்தவை

நாங்கள் ஆறு தயாரிப்பு அமைப்புகளை ஒப்பிட்டோம்: ஹோஸ்ட் செய்யப்பட்ட பணி மற்றும் தேடல் APIகள், பொதுவான வலை-ஏஜென்ட் APIகள், ஆழமான ஆய்வு தயாரிப்பு, மற்றும் எங்களது நிரலாக்க தேடல்-ஆர்கெஸ்ட்ரேஷன் அமைப்பு, Search as Code (SaC). ஒவ்வொன்றும் ஒரு பின செய்யப்பட்ட உள்ளமைவின் கீழ் அனைத்து 500 பணிகளிலும் திட்டமிடப்பட்டன, பின்னர் அதே பெறுகின்ற, தீர்ப்பளிக்கின்ற, அடையாள-தீர்வு மற்றும் மதிப்பெண் பைப்லைன் வழியாகச் சென்றன.

Perplexity Search as Code 0.363 மென்மையான F1 மற்றும் 0.133 கடினமான F1 இல் முன்னணியில் உள்ளது. Anthropic 0.249 மற்றும் 0.072 இல் இரண்டாவதாக உள்ளது; மற்ற எல்லா அமைப்புகளும் 0.121 மென்மையான F1 மற்றும் 0.035 கடினமான F1 இல் உச்சத்தை எட்டுகின்றன. எந்த அமைப்பும் தரம் மற்றும் செயல்திறன் இரண்டிலும் ஆதிக்கம் செலுத்தவில்லை. Perplexity ஒரு பணிக்கு $5.20 என்ற செலவு வரம்பின் நடுவில் அமர்ந்திருக்கிறது, 14.9 நிமிட நடுத்தர தீர்வு நேரத்துடன் மற்றும் ஒரு பணிக்கு 3.82 மில்லியன் அறிக்கையிடப்பட்ட டோக்கன்களுடன். OpenAI மற்றும் Exa ஆகியவை வேகமானவை மற்றும் மலிவானவை ஆனால் மிகக் குறைந்த மதிப்பெண்களைப் பெறுகின்றன. Anthropic தரத்தில் மிக நெருக்கமாக வருகிறது, ஆனால் கணிசமாக அதிக நேரம், பணம் மற்றும் டோக்கன்களைப் பயன்படுத்துகிறது.

விரிவாக்கு

விரிவாக்கு

அதே 45-பணி துணைக்குழுவில் கிடைக்கும் ஒவ்வொரு முயற்சி அமைப்பையும் நாங்கள் மதிப்பீடு செய்தோம். அதிக முயற்சி ஒவ்வொரு அடியிலும் Perplexity, Gemini மற்றும் Exa ஆகியவற்றை மேம்படுத்துகிறது; Perplexity xhigh இல் 0.447 மென்மையான F1 மற்றும் 0.224 கடினமான F1 ஐ அடைகிறது. இருப்பினும், அதிக முயற்சி சீராக சிறந்தது அல்ல: OpenAI high இல் உச்சமடைகிறது, மற்றும் Parallel இன் கடினமான F1 ultra2x மற்றும் ultra4x இடையே சிறிது நழுவுகிறது. Exa low இன் பணிக்கு $0.03 முதல் Gemini max இன் $324.83 வரை செலவு நான்கு ஆர்டர் அளவுகளுக்கு மேல் பரவுகிறது.

விரிவாக்கு

விரிவாக்கு

நான்கு கண்டுபிடிப்புகள் தனித்து நிற்கின்றன.

பகுதி முன்னேற்றம் பொதுவானது; முழுமையான கவரேஜ் இல்லை. ஒவ்வொரு அமைப்புக்கும் மென்மையான நினைவூட்டல் மென்மையான துல்லியத்திற்குக் கீழே உள்ளது, அதாவது கோரப்பட்ட முழு அளவும் வகுபடும் போது செயல்திறன் குறைகிறது. Perplexity 0.389 துல்லியத்திலிருந்து 0.357 நினைவூட்டலைத் தக்க வைத்துக் கொள்கிறது, இது மிகக் சிறிய இடைவெளியாகும்; Anthropic 0.354 இலிருந்து 0.222 ஆகக் குறைகிறது. மென்மையானதிலிருந்து-கடினமான மாற்றம் இன்னும் கடுமையானது. Perplexity 0.363 மென்மையான F1 இலிருந்து 0.133 கடினமான F1 க்குக் குறைகிறது, மேலும் Anthropic 0.249 இலிருந்து 0.072 க்குக் குறைகிறது. சிறந்த கடினமான துல்லியம் 0.150 மற்றும் சிறந்த கடினமான நினைவூட்டல் 0.134 ஆகும்: தலைவர் கூட தான் சமர்ப்பிக்கும் ஏழு உறுப்பினர்களில் ஒருவருக்கு மட்டுமே மற்றும் பணி கேட்கும் ஏழு உறுப்பினர்களில் ஒருவருக்கு மட்டுமே முழு கிரெடிட்டைப் பெறுகிறார்.

அளவு பிரச்சினையை மேலும் மோசமாக்குகிறது. மிகச்சிறிய இலக்கு-அளவு bin-இலிருந்து மிகப்பெரியதுவரை, Perplexity-யின் hard precision 0.235 இலிருந்து 0.096 ஆகவும், hard recall 0.219 இலிருந்து 0.079 ஆகவும் குறைகிறது. Anthropic 0.205 இலிருந்து 0.113 ஆகவும், 0.127 இலிருந்து 0.042 ஆகவும் குறைகிறது; OpenAI 0.109 இலிருந்து 0.034 ஆகவும், 0.102 இலிருந்து 0.016 ஆகவும் குறைகிறது. பெரும்பாலும் recall, precision-ஐ விட வேகமாகக் குறைகிறது: ஒரு system கேட்கப்பட்ட தொகுப்பின் குறைவான பகுதியை மட்டுமே உள்ளடக்கியபோதும், முழுமையான உறுப்பினர்களின் ஒரு சிறிய பகுதியைத் தொடர்ந்து வைத்திருக்கலாம்.

ஆழமான படிநிலைகள் இன்னும் கடுமையானவை. இடைப்பட்ட விசைகள் இல்லாததிலிருந்து மூன்று அல்லது அதற்கு மேற்பட்டவற்றுக்குச் செல்லும்போது, Perplexity இன் கடினமான துல்லியம் 0.392 இலிருந்து 0.019 க்கும் கடினமான நினைவூட்டல் 0.378 இலிருந்து 0.017 க்கும் குறைகிறது; Anthropic 0.311 இலிருந்து 0.049 க்கும் மற்றும் 0.229 இலிருந்து 0.022 க்கும் குறைகிறது; OpenAI 0.136 இலிருந்து 0.012 க்கும் மற்றும் 0.120 இலிருந்து 0.011 க்கும் குறைகிறது. சேர்க்கப்பட்ட ஒவ்வொரு கிளையும் ஒரு உறுப்பினர் அனைத்தையும் அல்லது ஒன்றுமில்லாத கடினமான மதிப்பெண்ணைத் தவறவிடக்கூடிய மற்றொரு இடத்தை உருவாக்குகிறது. செலவு மற்றும் தாமதம் ஒரு பொதுவான மோனோடோனிக் வடிவத்தைப் பின்பற்றுவதில்லை.

விரிவாக்கு

தரம் குறித்து தீர்ப்பளிப்பதற்கு முன்பே, கண்டுபிடிப்பு முதல் கட்டமைப்புச் சிக்கலாகும். மூல, சரிவுக்கு முந்தைய எண்ணிக்கையை மட்டுமே பார்த்தால், சராசரி மேல் மட்ட கண்டுபிடிப்பு நிறைவு 0.611 முதல் 0.951 வரை இருக்கும். நிபந்தனை செறிவூட்டல் 0.767–0.967 இல் வலுவாக உள்ளது, மேலும் ஒரு உறுப்பினரும் அதன் செறிவூட்டல் பாதையும் இருக்கும்போது இறுதி ஆதார-ஸ்லாட் நிறைவு 0.979–0.994 ஐ அடைகிறது. Perplexity 0.951 இல் கண்டுபிடிப்பிலும் 0.967 இல் செறிவூட்டலிலும் முன்னணியில் உள்ளது, ஆனால் 0.991 உடன் ஒப்பிடும்போது 0.994 இல் இறுதி ஆதார ஸ்லாட்டுகளில் OpenAI சற்று அதிகமாக உள்ளது. ஆறு முழு ரன்களிலும் நகல் சரிவு எண்ணிக்கை இழப்பின் 0.017–0.205 சதவீத புள்ளிகளை மட்டுமே கொண்டுள்ளது, எனவே குறைவான விநியோகம், அடையாள இணைப்பு அல்ல, முக்கிய கூட்டு விளக்கமாகும். இறுதி URL இணைக்கப்படுவதற்கு முன்பே மிகப்பெரிய மூல கட்டமைப்பு இழப்புகள் ஏற்படுகின்றன.

விரிவாக்கு

பயன்படுத்தக்கூடிய பக்கத்தைக் கண்டுபிடிப்பது வழக்கமாக எளிதானது; முழுமையான ஆதாரத்தைக் கண்டுபிடிப்பது கடினம். ஐந்து அமைப்புகளுக்கு, சமர்ப்பிக்கப்பட்ட பக்கங்களில் 3.2%–8.9% மட்டுமே பயன்படுத்த முடியாதவை; OpenAI 23.1% வெளிநாட்டவர் ஆகும். தவறான அல்லது தவறு-வகை பதிவுகளும் 4.2%–17.4% இல் ஒப்பீட்டளவில் அரிதானவை. ஆதிக்கம் செலுத்தும் இழப்புகள் அடுத்ததாக வருகின்றன: சமர்ப்பிக்கப்பட்ட பக்கங்களில் 33.6%–68.3% குறைந்தது ஒரு அகநிலை பணித் தேவையில் தோல்வியடைகின்றன, மேலும் சமர்ப்பிக்கப்பட்ட பகுப்பாய்வுகளில் 57.5%–86.6% பதிவு கோரும் அனைத்தையும் ஆதரிக்கத் தவறிவிடுகின்றன. Perplexity இன் விகிதங்கள் 41.4% மற்றும் 57.5% ஆகும். பக்கமானது ஒவ்வொரு அகநிலை தேவையையும் பூர்த்திசெய்கிறதா என்பதை மட்டுமே கேட்கும் மீட்டெடுப்பு-மட்டுமே சரிபார்ப்பின் கீழ் அதன் மென்மையான F1 0.531 இலிருந்து, உலகளாவிய சோதனைகள், பணி-குறிப்பிட்ட செல்லுபடியாகும் தன்மை மற்றும் முழுமையான பகுப்பாய்வு ஆதரவு ஆகியவற்றைக் கோரும் முழு தீர்ப்பின் கீழ் 0.363 ஆகக் குறைகிறது. கடினமான F1 ஐ இதேபோல் 0.245 இலிருந்து 0.133 ஆகக் குறைகிறது. கடினமான பகுதி ஒரு நம்பகமான பக்கத்தை அடைவது மட்டுமல்ல; அந்த பக்கத்தை முழு உரிமைகோரலுக்கும் போதுமான ஆதாரமாக மாற்றுவதாகும்.

விரிவாக்கு

Search as Code இந்த பணி வடிவத்துடன் நன்றாகப் பொருந்துகிறது. ஒரு மாதிரி மீட்டெடுப்பு, வடிகட்டுதல், ஃபேன்-அவுட், ரெண்டரிங், இணைப்புகள், நீக்குதல் மற்றும் நிறுத்தும் லாஜிக்கை ஒரு நிரலாக வெளிப்படுத்த முடியும், அதே நேரத்தில் நிர்ணயிக்கப்பட்ட கணக்கீடு மாதிரி சூழலுக்கு வெளியே மீண்டும் மீண்டும் செய்யப்படும் செயல்பாடுகளைக் கையாளுகிறது. அந்த சுயவிவரம் Perplexity இன் வலுவான அகலத் தக்கவைப்பு மற்றும் பகுப்பாய்வு கட்டுமானத்துடன் ஒத்துப்போகிறது, இருப்பினும் இது ஒவ்வொரு அடுக்கிலும் முன்னணியில் இல்லை: Anthropic மிகக் குறைந்த பக்க-தேவை தோல்வி விகிதத்தைக் கொண்டுள்ளது.

அடுத்து என்ன

WANDR ஒரு ஒற்றை லீடர்போர்டு மதிப்பெண்ணை விட அதிகமாக வழங்குகிறது. அதன் பொதுவான பணி struktur மற்றும் அரை-தானியங்கி பைப்லைன் மாறுபட்ட, அதிக அளவு பணி உருவாக்கத்தை ஆதரிக்கின்றன, அதே நேரத்தில் பதிவு-வாரியான தீர்ப்புகள் மற்றும் படிநிலை-நிலை மதிப்பெண்கள் ஒரு ரன் எங்கு தோல்வியடைகிறது என்பதைக் காட்டுகின்றன: கண்டுபிடிப்பு, செறிவூட்டல், அடையாள கையாளுதல், சொற்பொருள் தகுதி அல்லது ஆதார உருவாக்கம். வெளியிடப்பட்ட பணிகள், சரிபார்ப்பு மற்றும் கட்டமைப்பு கண்டறிதல்கள் விரிவான தேடல் அமைப்புகளை மேம்படுத்துவதற்கும் அந்த லாபங்கள் அளவில் நிலைத்திருக்கிறதா என்பதைச் சோதிப்பதற்கும் அடிப்படையை வழங்குகின்றன.

அதே கட்டமைப்பு WANDR ஐ வலுவூட்டல் கற்றலுக்கும் பயனுள்ளதாக மாற்றக்கூடும். ஒரு ஒற்றை sparse terminal reward ஐ நம்புவதற்குப் பதிலாக, ஒரு பயிற்றுவிப்பாளர் பதிவு- மற்றும் கிளை-நிலை தீர்ப்புகளைப் பயன்படுத்தலாம், கண்டுபிடிப்பு மற்றும் செறிவூட்டல் முன்னேற்றத்திற்கான பகுதி கிரெடிட்டை ஒதுக்கலாம், மற்றும் காலப்போக்கில் தேவையான எண்ணிக்கையை உயர்த்துவதன் மூலம் ஒரு பாடத்திட்டத்தை உருவாக்கலாம். தங்க பதில்களை எண்ணாமல் டொமைன்கள், படிநிலை வடிவங்கள், ஆதார விதிகள் மற்றும் அகல-ஆழ அமைப்புகள் முழுவதும் held-out சகோதர பணிகளை பைப்லைன் உருவாக்க முடியும். இது ஏஜென்டுகளுக்கு சரியான உண்மைகளைக் கண்டறிய மட்டுமல்லாமல், கவரேஜைத் திட்டமிடவும், காணாமல் போன கிளைகளைக் கண்டறியவும், நிறுத்துவதற்கு முன்பு மீண்டு வரவும் பயிற்சி அளிப்பதற்கான ஒரு பாதையை உருவாக்குகிறது.

பெஞ்ச்மார்க் பணிகள், மதிப்பீட்டு ஹார்னஸ் மற்றும் முழு தொழில்நுட்ப அறிக்கை ஆகியவை GitHub இல் கிடைக்கின்றன.

மேற்கோள்

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}