WANDR ബെഞ്ച്മാർക്ക്: വിശാലവും ആഴത്തിലുള്ളതുമായ തിരയൽ നടത്തുന്ന ഗവേഷണ ഏജന്റുകളെ വിലയിരുത്തുന്നു

ഇന്ന്, ഞങ്ങൾ WANDR (Wide ANd Deep Research) പുറത്തിറക്കുന്നു, ഇത് വിജ്ഞാന ജോലികൾക്കായുള്ള 500 റിയലിസ്റ്റിക്, വെല്ലുവിളി നിറഞ്ഞ ഡാറ്റാ ശേഖരണ ടാസ്‌ക്കുകൾക്ക് ചുറ്റും നിർമ്മിച്ച ഒരു ഓപ്പൺ ബെഞ്ച്മാർക്കും മൂല്യനിർണ്ണയ ഹാർനെസുമാണ്. ഞങ്ങളുടെ ഡീപ് റിസർച്ചിനായുള്ള DRACO ബെഞ്ച്മാർക്കിന്റെ വിശാലമായ സഹോദരനാണ് WANDR. ഒരു ഏജന്റിന് കൃത്യവും സമ്പൂർണ്ണവും വസ്തുനിഷ്ഠവുമായ നീണ്ട രൂപത്തിലുള്ള റിപ്പോർട്ട് നിർമ്മിക്കാൻ കഴിയുമോ എന്ന് DRACO ചോദിക്കുന്നു; WANDR ചോദിക്കുന്നത് അതിന് ഒരു വലിയ ശേഖരം നിർമ്മിക്കാനും ഓരോ അംഗത്തെയും നിർദ്ദിഷ്ട തെളിവുകൾ സഹിതം ബാക്ക് അപ്പ് ചെയ്യാനും കഴിയുമോ എന്നാണ്.

മത്സര മാപ്പിംഗ്, ഡ്യൂ ഡിലിജൻസ്, സാഹിത്യ അവലോകനം, വിപണി വിശകലനം, ഉൽപ്പന്ന താരതമ്യം, ടാലന്റ് സോഴ്സിംഗ് എന്നിവയും അതിലേറെയും പോലുള്ള ഗവേഷണ ഏജന്റുകൾക്ക് ആളുകൾ ഇതിനകം കൈമാറുന്ന ജോലികളാണിവ. ടാസ്‌ക്കുകൾ ഡസൻ കണക്കിന് മുതൽ ആയിരക്കണക്കിന് സ്വതന്ത്രമായി പരിശോധിക്കാവുന്ന റെക്കോർഡുകൾ വരെയാണ്. ഉയർന്ന ശ്രമ ക്രമീകരണത്തിൽ പോലും, ഞങ്ങളുടെ മൂല്യനിർണ്ണയത്തിലെ ഏറ്റവും ശക്തമായ സിസ്റ്റം 0.363 സോഫ്റ്റ് F1 ഉം 0.133 ഹാർഡ് F1 ഉം മാത്രമാണ് എത്തിച്ചേരുന്നത്. വൈഡ്-ആൻഡ്-ഡീപ് ഗവേഷണം പരിഹരിക്കപ്പെടാൻ ഇനിയും ഒരുപാട് ദൂരമുണ്ട്.

വലുതാക്കുക

എന്തുകൊണ്ടാണ് വൈഡ്-ആൻഡ്-ഡീപ് ഗവേഷണം പ്രധാനമാകുന്നത്

ഒരു ഏജന്റ് ഒരു ഉത്തരം കണ്ടെത്തുമ്പോൾ ഉപയോഗപ്രദമായ പല ഗവേഷണ ജോലികളും അവസാനിക്കുന്നില്ല. ഒരു മാർക്കറ്റ് അനലിസ്റ്റിന് യോഗ്യതയുള്ള എല്ലാ എതിരാളികളെയും ഓരോന്നിനും ഒരേ തെളിവുകളോടെ ആവശ്യമായി വന്നേക്കാം. ഒരു ഡ്യൂ ഡിലിജൻസ് ടീമിന് ഡസൻ കണക്കിന് കമ്പനികളും തുടർന്ന് അവരെയെല്ലാം ഉടമസ്ഥാവകാശം, എക്സിക്യൂട്ടീവുകൾ, ധനസഹായം, റെഗുലേറ്ററി സ്റ്റാറ്റസ് എന്നിവ ആവശ്യമായി വന്നേക്കാം. അത് രണ്ട് വ്യത്യസ്ത ആവശ്യകതകൾ സൃഷ്ടിക്കുന്നു:

വൈഡ്: യോഗ്യതയുള്ള എന്റിറ്റികളുടെ വലുതും പലപ്പോഴും തുറന്നതുമായ ഒരു വലിയ സെറ്റ് കണ്ടെത്തുക.

ആഴത്തിൽ: ഓരോ അഭ്യർത്ഥിച്ച അവകാശവാദത്തിനും തെളിവ് നൽകാൻ കഴിയുന്ന വിധം ഓരോ ഘടകവും മതിയായ ആഴത്തിൽ അന്വേഷിക്കുക.

രണ്ടും സംയോജിപ്പിക്കുന്നത് പ്രശ്നത്തെ മാറ്റുന്നു. കുറച്ച് ശ്രദ്ധേയമായ ഉദാഹരണങ്ങൾ മാത്രം പോരാ, അപൂർണ്ണമായ ഗവേഷണത്തിൽ നിർമ്മിച്ച മിനുക്കിയ ആഖ്യാനവും പോരാ. ഒരു റെക്കോർഡിൽ നിന്ന് മറ്റൊന്നിലേക്ക് വസ്തുതാപരമായ ഗുണനിലവാരം ബലിയർപ്പിക്കാതെ ഏജന്റ് വിശാലമായ കണ്ടെത്തൽ നിലനിർത്തണം.

WANDR ആ ഘടനയെ സുഷിരവും സംയോജിപ്പിക്കാവുന്നതുമായ യോഗ്യത കീ ശ്രേണിക്രമം ഉപയോഗിച്ച് പിടിച്ചെടുക്കുന്നു. ഒരു പ്രവർത്തി ചോദിക്കാം

company(n) → employee(m) → url(k)

ഇതിനർത്ഥം n യോഗ്യതയുള്ള കമ്പനികളെയും, ഓരോ കമ്പനിയിലും m യോഗ്യതയുള്ള ജീവനക്കാരെയും, ഓരോ ജീവനക്കാരനും k പിന്തുണയ്ക്കുന്ന പേജുകളും കണ്ടെത്തുക എന്നതാണ്. ട്രീയിലൂടെയുള്ള എല്ലാ സമ്പൂർണ്ണ പാതയും സ്വതന്ത്രമായി സാധുതയുള്ളതാക്കാം. അതേ അടിസ്ഥാന ഘടനയ്ക്ക് ഒരു ഫ്ലാറ്റ് ലിസ്റ്റ്, ഒരു നെസ്റ്റഡ് തിരയൽ, ഒരു മാട്രിക്സ്, അല്ലെങ്കിൽ ഒന്നിലധികം തെളിവുകൾ ഉള്ള ഒരു ടാസ്‌ക് എന്നിവയെ പ്രതിനിധീകരിക്കാൻ കഴിയും. ഈ പാറ്റേണുകൾ സംയോജിപ്പിക്കാനും കഴിയും, ഇത് വിശാലമായ യഥാർത്ഥ ലോക ഉപയോഗ കേസുകൾ ഉൾക്കൊള്ളാൻ ഒരു പ്രതിനിധാനത്തെ അനുവദിക്കുന്നു.

വലുതാക്കുക

പുറത്തിറക്കിയ ഒരു ടാസ്‌ക് പ്രായോഗികമായി ഈ ഘടനയെ ചിത്രീകരിക്കുന്നു.

ceo_cfo_appointments

പ്രധാന ദൗത്യം. 2026 മാർച്ച് 1 മുതൽ ഏപ്രിൽ 30 വരെ ആദ്യമായി പ്രഖ്യാപിക്കപ്പെട്ട CEO അല്ലെങ്കിൽ CFO നിയമനമുള്ള കുറഞ്ഞത് 70 യുഎസ്-ആസ്ഥാനമായ കമ്പനികളെ കണ്ടെത്തുക. ഓരോ കമ്പനിക്കുമായി, കമ്പനിയും നിയമിതനും തിരിച്ചറിയുന്ന, പദവിയും പ്രഖ്യാപന തീയതിയും സ്ഥാപിക്കുന്ന, പുറപ്പെടുവിക്കുന്ന സ്ഥാപനത്തിൽ നിന്നോ, ഒരു ഫയലിംഗിൽ നിന്നോ, ഒരു ന്യൂസ്വയറിൽ നിന്നോ, അല്ലെങ്കിൽ നേരിട്ട് ആരോപിക്കപ്പെട്ട ഒന്നാം-കൈ ബിസിനസ് പത്രപ്രവർത്തനത്തിൽ നിന്നോ വരുന്ന ഒരു ഔദ്യോഗിക നിയമന പേജ് നൽകുക.

പ്രാഥമിക ഹൈരാർക്കി. company(70) → company_appointee(1) → url(1).

കമ്പനി-ലിസ്റ്റിംഗ് സബ്‌ടാസ്‌ക്. ഒരേ കമ്പനികൾക്കായി, യുഎസ് നാഷണൽ സെക്യൂരിറ്റീസ് എക്സ്ചേഞ്ചിലെ ലിസ്റ്റിംഗ് അല്ലെങ്കിൽ യുഎസ്-ഡൊമിസൈൽഡ് എസ്ഇസി (SEC) എക്സ്ചേഞ്ച് ആക്ട് റിപ്പോർട്ടിംഗ് ഇഷ്യൂവർ എന്ന നിലയിലുള്ള പദവി കാണിക്കുന്ന അംഗീകൃത ലിസ്റ്റിംഗ്- അതോറിറ്റി പേജ് നൽകുക.

സബ്‌ടാസ്‌ക് ഹൈരാർക്കി. company(70) → url(1).

ആവശ്യമായ റെക്കോർഡുകൾ. 140: 70 നിയമന റെക്കോർഡുകളും 70 ലിസ്റ്റിംഗ് റെക്കോർഡുകളും.

ഓരോ പാതയും ഒരു പേജിലും ഗ്രേഡർക്ക് വീണ്ടും പരിശോധിക്കാൻ കഴിയുന്ന എക്‌സ്‌കോര്‍പുകളിലും അവസാനിക്കുന്നു. പങ്കിട്ട കമ്പനി കീ നിയമനത്തെയും ലിസ്റ്റിംഗ് ബ്രാഞ്ചുകളെയും അണിനിരത്തുന്നു, അതിനാൽ ലിസ്റ്റിംഗ് സ്റ്റാറ്റസിന്റെ പ്രത്യേക തെളിവുകളില്ലാത്ത ഒരു നിയമനം ആ കമ്പനിയെ അപൂർണ്ണമായി അവശേഷിപ്പിക്കുന്നു.

റിയലിസ്റ്റിക് ടാസ്‌ക്കുകൾ, സ്കെയിലിൽ ജനറേറ്റുചെയ്‌തു

സിന്തറ്റിക് പ്രോംപ്റ്റുകളേക്കാൾ ഉൽപ്പാദന ഉപയോഗത്തിൽ നിരീക്ഷിക്കപ്പെട്ട തിരിച്ചറിയാത്ത പാറ്റേണുകളിൽ നിന്നാണ് WANDR ആരംഭിക്കുന്നത്. ഇത് ബെഞ്ച്മാർക്കിനെ ആളുകൾ യഥാർത്ഥത്തിൽ ഡെലിഗേറ്റ് ചെയ്യുന്ന ജോലിയോട് അടുപ്പിച്ച് നിർത്തുന്നു: ഓപ്പൺ എൻഡഡ് ഡിസ്കവറി, ആവർത്തിച്ചുള്ള എൻറിച്ച്മെന്റ്, ക്രോസ്-സോഴ്സ് ചെക്കുകൾ, പ്രൊഫഷണൽ സ്കെയിലിലുള്ള ഘടനാപരമായ താരതമ്യങ്ങൾ. ഒരു അർദ്ധ-ഓട്ടോമേറ്റഡ് പൈപ്പ്ലൈൻ ആ പാറ്റേണുകളെ ടാസ്‌ക്കുകളാക്കി മാറ്റുന്നു, സമഗ്രമായ ഉത്തര അടയാളപ്പെടുത്തലിന് പകരം ഗുണനിലവാര നിയന്ത്രണത്തിനായി മനുഷ്യന്റെ പരിശ്രമം കരുതിവയ്ക്കുന്നു.

പൈപ്പ്ലൈന് നാല് ഘട്ടങ്ങളുണ്ട്. സീഡിംഗ് വീണ്ടും ഉപയോഗിക്കാവുന്ന വൈഡ്-റിസർച്ച് പാറ്റേണിനായി തിരിച്ചറിയാത്ത ഉൽപ്പന്ന അഭ്യർത്ഥനകൾ മൈൻഡ് ചെയ്യുന്നു. ഓതറിംഗ് ഒരു ഇന്റർലീവ്ഡ് ഓതർ-ക്രിട്ടിക് ലൂപ്പ് പ്രവർത്തിപ്പിക്കുന്നു: ഏജന്റുകൾ ഡിസൈൻ സ്കെച്ച് ചെയ്യുകയും സ്ട്രെസ്-ടെസ്റ്റ് ചെയ്യുകയും ചെയ്യുന്നു, ടാസ്‌ക് സ്പെസിഫിക്കേഷനും ജഡ്ജിയും എഴുതുന്നു, ഫിക്ചർ റെക്കോർഡുകൾ സൃഷ്ടിക്കുന്നു, കൂടാതെ എല്ലാം വിന്യസിച്ച് നിലനിർത്താൻ ഒരു മെക്കാനിക്കൽ ലിന്റർ ഉപയോഗിക്കുന്നു. അഡ്മിഷൻ 10-12 ഓതറിംഗ് റോളൗട്ടുകൾ ലയിപ്പിച്ചുകൊണ്ട് ടേർഗെറ്റ് വോളിയം എത്തിച്ചേരാനാകുമെന്ന് പരിശോധിക്കുന്നു, ടാസ്‌ക്-നിർദ്ദിഷ്ട ജഡ്ജിയെ ഓഡിറ്റ് ചെയ്യുന്നു, കൂടാതെ ഓപ്ഷണൽ ആയി മനുഷ്യന്റെ സൈൻ-ഓഫ് ചേർക്കുന്നു. ക്യൂറേഷൻ അംഗീകൃത ടാസ്‌ക്കുകൾ ലേബൽ ചെയ്യുകയും വിഷയങ്ങൾ, സ്കെയിൽ, ടോപ്പോളജി, ബുദ്ധിമുട്ട് എന്നിവയിലുടനീളം ഒരു സമതുലിതമായ അന്തിമ സെറ്റ് തിരഞ്ഞെടുക്കുകയും ചെയ്യുന്നു.

വലുതാക്കുക

മീഡിയൻ ടാസ്‌ക് 50 അംഗങ്ങളെയും അംഗത്തിന് നാല് റെക്കോർഡുകളെയും മൊത്തത്തിൽ 245 റെക്കോർഡുകളെയും ആവശ്യപ്പെടുന്നു. ഒരുമിച്ച് എടുത്താൽ, 500 ടാസ്‌ക്കുകൾക്ക് 170,495 സോഴ്സ്-ബാക്ക്ഡ് റെക്കോർഡുകൾ ആവശ്യമാണ്. ചരിത്രപരമായ ഡിസൈൻ-സ്റ്റേജ് റോളൗട്ടുകളിൽ നിന്ന് ഞങ്ങൾ ബുദ്ധിമുട്ട് കാലിബ്രേറ്റ് ചെയ്യുന്നു, തുടർന്ന് റാങ്ക് അനുസരിച്ച് ടാസ്‌ക്കുകളെ 167 കുറഞ്ഞ, 166 ഇടത്തരം, 167 ഉയർന്ന ബുദ്ധിമുട്ടുള്ള ഉദാഹരണങ്ങളായി വിഭജിക്കുന്നു. സ്കെയിൽ മാത്രം കൊണ്ടല്ല ബുദ്ധിമുട്ട് നിർണ്ണയിക്കപ്പെടുന്നതെന്ന് താഴെയുള്ള പ്ലോട്ട് കാണിക്കുന്നു; ഓരോ റെക്കോർഡിനും ആവശ്യമായ ജോലിയെയും ഇത് ആശ്രയിച്ചിരിക്കുന്നു.

വലുതാക്കുക

റഫറൻസ്-ഫ്രീ, തെളിവ്-പരിശോധിച്ച ഗ്രേഡിംഗ്

ഓപ്പൺ എൻഡഡ് ഗവേഷണത്തിന് സ്ഥിരമായ ഉത്തര കീ മോശമായി യോജിക്കുന്നു. ഇത് നിർമ്മിക്കാൻ ചെലവേറിയതാണ്, പെട്ടെന്ന് പഴയതായിത്തീരുന്നു, കൂടാതെ ഉത്തരങ്ങൾ കാലക്രമേണ മാറുന്ന ചോദ്യങ്ങളെ മോശമായി പ്രതിനിധീകരിക്കുന്നു. ഏജന്റ് ഉദ്ധരിക്കുന്ന തെളിവുകൾക്ക് എതിരായി സമർപ്പിച്ച ഓരോ ക്ലെയിമും WANDR പകരം ഗ്രേഡ് ചെയ്യുന്നു.

ഓരോ റെക്കോർഡിലും ഒരു ഇനം, ഒരു URL, തിരഞ്ഞെടുത്ത എക്‌സ്‌കോര്‍പുകൾ, ഒരു ഉത്തരം എന്നിവ അടങ്ങിയിരിക്കുന്നു. ഗ്രേഡർ പേജ് വീണ്ടും ഫെച്ച് ചെയ്യുകയും അത് ഉപയോഗയോഗ്യമാണോ, ക്ലെയിം വ്യക്തവും സ്കോപ്പിനുള്ളിലാണോ, എക്‌സ്‌കോര്‍പുകൾ പേജിൽ വിശ്വസ്തമായി പ്രത്യക്ഷപ്പെടുന്നുണ്ടോ, പേജും എക്‌സ്‌കോര്‍പുകളും എല്ലാ ആവശ്യകതകളെയും പിന്തുണയ്ക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുകയും ചെയ്യുന്നു.

ഈ ബൈനറി രേഖാ വിധികൾ ശ്രേണിക്രമത്തിലൂടെ ഏകീകരിക്കുന്നു. പ്രിസിഷൻ സിസ്റ്റം സമർപ്പിച്ചതിന്റെ ഗുണമേന്മ അളക്കുന്നു. റിക്കോൾ അഭ്യർത്ഥിച്ച അളവിനെതിരെ ഗുണമേന്മ ക്രമീകരിച്ച പൂർത്തീകരണം അളക്കുന്നു, ഏതെങ്കിലും കുറവ് ശൂന്യങ്ങളാൽ നിറയ്ക്കുന്നു. F1 ഈ രണ്ടിനും തമ്മിൽ സമതുലനം നൽകുന്നു. സോഫ്റ്റ് സ്കോറുകൾ അപൂർണ്ണ അംഗങ്ങൾക്ക് ഭാഗിക ക്രെഡിറ്റ് നൽകുന്നു; ഹാർഡ് സ്കോറുകൾ അവരുടെ മുഴുവൻ ആവശ്യമായ ഉപവൃക്ഷവും ശരിയായ അംഗങ്ങളെ മാത്രം എണ്ണുന്നു. നിർണയത്തിനായി, സമർപ്പിച്ച ഭാഗങ്ങളുടെ സാധുതയും പിന്നീട് വരുന്ന കർശന പരിശോധനകളും ചേർക്കുന്നതിന് മുമ്പ്, ലഭിച്ച പേജ് ദൗത്യം നിറവേറ്റുന്നുണ്ടോ എന്ന് ചോദിക്കുന്ന ഒരു retrieval-only വിധിയും WANDR റിപ്പോർട്ട് ചെയ്യുന്നു.

ഇത് പരാജയങ്ങളെ വ്യാഖ്യാനിക്കാവുന്നതും പ്രാദേശികവൽക്കരിക്കാവുന്നതുമാക്കുന്നു. കുറഞ്ഞ റീകോളിനൊപ്പം ഉയർന്ന പ്രിസിഷൻ സാധാരണയായി സിസ്റ്റം ചില നല്ല അംഗങ്ങളെ കണ്ടെത്തി എന്നാൽ അവയിൽ മതിയായവ കണ്ടെത്തിയില്ല എന്നാണ് അർത്ഥമാക്കുന്നത്. വലിയ സോഫ്റ്റ്-ടു-ഹാർഡ് ഡ്രോപ്പ് അർത്ഥമാക്കുന്നത് ഇത് ഭാഗിക പുരോഗതി ഉണ്ടാക്കി എന്നാൽ പൂർണ്ണ ക്രെഡിറ്റിന് ആവശ്യമായ എല്ലാ ബ്രാഞ്ചും അപൂർൂണ്ണമായി പൂർത്തിയാക്കി എന്നാണ്. സ്കോർ ട്രീക്ക് കണ്ടെത്തൽ, എൻറിച്ച്മെന്റ്, ഐഡന്റിറ്റി ഹാൻഡ്‌ലിംഗ്, പേജ് ക്വാളിഫിക്കേഷൻ അല്ലെങ്കിൽ എവിഡൻസ് എക്സ്ട്രാക്ഷൻ എന്നിവയിലേക്ക് നഷ്ടം പ്രാദേശികവൽക്കരിക്കാൻ കഴിയും.

വലുതാക്കുക

ഞങ്ങൾ കണ്ടെത്തിയത്

ഞങ്ങൾ ആറ് പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങൾ താരതമ്യം ചെയ്തു: ഹോസ്റ്റഡ് ടാസ്‌കും സെർച്ച് API-കളും, ജനറൽ വെബ്-ഏജന്റ് API-കൾ, ഒരു ഡീപ്-റിസർച്ച് ഉൽപ്പന്നം, ഞങ്ങളുടെ പ്രോഗ്രാമാറ്റിക് സെർച്ച്-ഓർക്കസ്ട്രേഷൻ സിസ്റ്റം, Search as Code (SaC). ഓരോന്നും പിൻ ചെയ്ത കോൺഫിഗറേഷനു കീഴിൽ എല്ലാ 500 ടാസ്‌ക്കുകളിലും ഷെഡ്യൂൾ ചെയ്യപ്പെട്ടു, തുടർന്ന് അതേ ഫെച്ച്, ജഡ്ജി, ഐഡന്റിറ്റി-റെസലൂഷൻ, സ്കോറിംഗ് പൈപ്പ്‌ലൈൻ എന്നിവയിലൂടെ കടന്നുപോയി.

Perplexity Search as Code 0.363 സോഫ്റ്റ് F1 ഉം 0.133 ഹാർഡ് F1 ഉം മുൻപന്തിയിലാണ്. ആന്ത്രോപിക് 0.249 ഉം 0.072 ഉം ഉപയോഗിച്ച് രണ്ടാമതാണ്; മറ്റെല്ലാ സിസ്റ്റങ്ങളും 0.121 സോഫ്റ്റ് F1 ലും 0.035 ഹാർഡ് F1 ലും അവസാനിക്കുന്നു. ഗുണനിലവാരവും കാര്യക്ഷമതയും ഒരു സിസ്റ്റവും ആധിപത്യം പുലർത്തുന്നില്ല. ടാസ്‌കിന് $5.20 നിരക്കിൽ പെർപ്ലെക്സിറ്റി കോസ്റ്റ് പരിധിയുടെ മധ്യത്തിലാണ്, 14.9 മിനിറ്റ് മീഡിയൻ സോൾവ് സമയവും ടാസ്‌കിന് 3.82 ദശലക്ഷം റിപ്പോർട്ട് ചെയ്ത ടോക്കണുകളും ഉണ്ട്. OpenAI ഉം Exa ഉം വേഗതയേറിയതും വിലകുറഞ്ഞതുമാണ് എന്നാൽ വളരെ കുറഞ്ഞ സ്കോറാണ് നേടുന്നത്. ആന്ത്രോപിക് ഗുണനിലവാരത്തിൽ ഏറ്റവും അടുത്താണ്, എന്നാൽ ഗണ്യമായി കൂടുതൽ സമയവും പണവും ടോക്കണുകളും ഉപയോഗിക്കുന്നു.

വലുതാക്കുക

വലുതാക്കുക

പൊരുത്തപ്പെടുന്ന 45-ടാസ്‌ക് ഉപസെറ്റിൽ ലഭ്യമായ എല്ലാ ശ്രമ ക്രമീകരണങ്ങളും ഞങ്ങൾ വിലയിരുത്തി. കൂടുതൽ ശ്രമങ്ങൾ ഓരോ ഘട്ടത്തിലും Perplexity, Gemini, Exa എന്നിവ മെച്ചപ്പെടുത്തുന്നു; xhigh ൽ പെർപ്ലെക്സിറ്റി 0.447 സോഫ്റ്റ് F1 ഉം 0.224 ഹാർഡ് F1 ഉം എത്തുന്നു. എന്നിരുന്നാലും, ഉയർന്ന ശ്രമം ഏകീകൃതമായി മികച്ചതല്ല: OpenAI high ൽ എത്തുമ്പോൾ, Parallel ന്റെ ഹാർഡ് F1 ultra2x നും ultra4x നും ഇടയിൽ ചെറുതായി കുറയുന്നു. Exa low ന് ടാസ്‌കിന് $0.03 മുതൽ Gemini max ന് $324.83 വരെ, ചെലവ് നാല് ഓർഡറിലധികം അളവുകൾ വ്യാപിക്കുന്നു.

വലുതാക്കുക

വലുതാക്കുക

നാല് കണ്ടെത്തലുകൾ വേറിട്ടുനിൽക്കുന്നു.

ഭാഗിക പുരോഗതി സാധാരണമാണ്; സമ്പൂർണ്ണ കവറേജ് അല്ല. എല്ലാ സിസ്റ്റത്തിനും സോഫ്റ്റ് റീകോൾ സോഫ്റ്റ് പ്രിസിഷനേക്കാൾ താഴെയാണ്, അതായത് അഭ്യർത്ഥിച്ച മുഴുവൻ വോള്യവും ഡിനോമിനേറ്ററിലേക്ക് പ്രവേശിക്കുമ്പോൾ പ്രകടനം കുറയുന്നു. പെർപ്ലെക്സിറ്റി 0.389 പ്രിസിഷനിൽ നിന്ന് 0.357 റീകോൾ നിലനിർത്തുന്നു, ഇത് ഏറ്റവും ചെറിയ വിടവാണ്; ആന്ത്രോപിക് 0.354 ൽ നിന്ന് 0.222 ആയി കുറയുന്നു. സോഫ്റ്റ്-ടു-ഹാർഡ് പരിവർത്തനം കൂടുതൽ കഠിനമാണ്. പെർപ്ലെക്സിറ്റി 0.363 സോഫ്റ്റ് F1 ൽ നിന്ന് 0.133 ഹാർഡ് F1 ലേക്കും, ആന്ത്രോപിക് 0.249 ൽ നിന്ന് 0.072 ലേക്കും കുറയുന്നു. ഏറ്റവും മികച്ച ഹാർഡ് പ്രിസിഷൻ 0.150 ഉം മികച്ച ഹാർഡ് റീകോൾ 0.134 ഉം ആണ്: നേതാവ് പോലും താൻ സമർപ്പിക്കുന്ന ഏഴ് അംഗങ്ങളിൽ ഒരാൾക്കും ടാസ്‌ക് ആവശ്യപ്പെടുന്ന ഏഴ് അംഗങ്ങളിൽ ഒരാൾക്കും മാത്രമേ മുഴുവൻ ക്രെഡിറ്റും നേടൂ.

സ്കെയിൽ പ്രശ്നത്തെ സങ്കീർണ്ണമാക്കുന്നു. ഏറ്റവും ചെറിയ ടാർഗെറ്റ്-വോളിയം ബിൻ മുതൽ ഏറ്റവും വലിയത് വരെ, പെർപ്ലെക്സിറ്റിയുടെ ഹാർഡ് പ്രിസിഷൻ 0.235 ൽ നിന്ന് 0.096 ആയും അതിന്റെ ഹാർഡ് റീകോൾ 0.219 ൽ നിന്ന് 0.079 ആയും കുറയുന്നു. ആന്ത്രോപിക് 0.205 ൽ നിന്ന് 0.113 ആയും 0.127 ൽ നിന്ന് 0.042 ആയും കുറയുന്നു; OpenAI 0.109 ൽ നിന്ന് 0.034 ആയും 0.102 ൽ നിന്ന് 0.016 ആയും കുറയുന്നു. റീകോൾ സാധാരണയായി പ്രിസിഷനേക്കാൾ വേഗത്തിൽ കുറയുന്നു: അഭ്യർത്ഥിച്ച സെറ്റിന്റെ കുറഞ്ഞ ഭാഗം കവർ ചെയ്യുമ്പോൾ ഒരു സിസ്റ്റത്തിന് പൂർണ്ണ അംഗങ്ങളുടെ ഒരു ചെറിയ പോക്കറ്റ് സൂക്ഷിക്കാൻ കഴിഞ്ഞേക്കും.

ആഴത്തിലുള്ള ഹൈരാർക്കികൾ കൂടുതൽ കഠിനമാണ്. ഇടനില കീ ഇല്ലാത്തതിൽ നിന്ന് മൂന്നോ അതിലധികമോ ആയി മാറുമ്പോൾ, പെർപ്ലെക്സിറ്റിയുടെ ഹാർഡ് പ്രിസിഷൻ 0.392 ൽ നിന്ന് 0.019 ആയും ഹാർഡ് റീകോൾ 0.378 ൽ നിന്ന് 0.017 ആയും കുറയുന്നു; ആന്ത്രോപിക് 0.311 ൽ നിന്ന് 0.049 ആയും 0.229 ൽ നിന്ന് 0.022 ആയും കുറയുന്നു; OpenAI 0.136 ൽ നിന്ന് 0.012 ആയും 0.120 ൽ നിന്ന് 0.011 ആയും കുറയുന്നു. ചേർക്കുന്ന ഓരോ ബ്രാഞ്ചും ഒരു അംഗത്തിന് ഓൾ-ഓർ-നതിങ് ഹാർഡ് സ്കോർ നഷ്‌ടപ്പെടുത്താൻ കഴിയുന്ന മറ്റൊരു സ്ഥലം സൃഷ്ടിക്കുന്നു. ചെലവും ലേറ്റൻസിയും പൊതുവായ മോണോടോണിക് പാറ്റേൺ പിന്തുടരുന്നില്ല.

വലുതാക്കുക

ഗുണനിലവാരം വിലയിരുത്തുന്നതിന് മുമ്പ് പോലും, കണ്ടെത്തൽ ആദ്യത്തെ ഘടനാപരമായ തടസ്സമാണ്. റോ, പ്രീ-കൊലാപ്സ് കൗണ്ടുകൾ മാത്രം നോക്കുമ്പോൾ, ശരാശരി ടോപ്പ്-ലെവൽ ഡിസ്കവറി പൂർത്തീകരണം 0.611 മുതൽ 0.951 വരെയാണ്. സോപാധികമായ എൻറിച്ച്മെന്റ് 0.767-0.967 ൽ ശക്തമാണ്, കൂടാതെ ഒരു അംഗവും അതിന്റെ എൻറിച്ച്മെന്റ് പാതയും നിലവിൽ വന്നുകഴിഞ്ഞാൽ ടെർമിനൽ എവിഡൻസ്-സ്ലോട്ട് പൂർത്തീകരണം 0.979-0.994 എത്തും. പെർപ്ലെക്സിറ്റി 0.951 ൽ ഡിസ്കവറിയെയും 0.967 ൽ എൻറിച്ച്മെന്റിനെയും നയിക്കുന്നു, എന്നാൽ 0.991 ന് എതിരായി 0.994 ൽ ടെർമിനൽ എവിഡൻസ് സ്ലോട്ടുകളിൽ OpenAI ചെറുതായി കൂടുതലാണ്. ആറ് പൂർണ്ണ റണ്ണുകളിലുടനീളം ഡ്യൂപ്ലിക്കേറ്റ് കൊലാപ്സ് കൗണ്ട് നഷ്ടത്തിന്റെ 0.017-0.205 ശതമാനം പോയിന്റുകൾ മാത്രമാണ് കണക്കാക്കുന്നത്, അതിനാൽ അണ്ടർ-ഡെലിവറി ആണ്, ഐഡന്റിറ്റി മെർജിംഗ് അല്ല, പ്രധാന മൊത്തത്തിലുള്ള വിശദീകരണം. അന്തിമ URL ഘടിപ്പിക്കുന്നതിന് മുമ്പാണ് ഏറ്റവും വലിയ റോ ഘടനാപരമായ നഷ്ടങ്ങൾ ഉണ്ടാകുന്നത്.

വലുതാക്കുക

ഉപയോഗയോഗ്യമായ ഒരു പേജ് കണ്ടെത്തുന്നത് സാധാരണയായി എളുപ്പമാണ്; സമ്പൂർണ്ണ തെളിവുകൾ കണ്ടെത്തുന്നത് ബുദ്ധിമുട്ടാണ്. അഞ്ച് സിസ്റ്റങ്ങൾക്ക്, സമർപ്പിച്ച പേജുകളിൽ 3.2%-8.9% മാത്രമേ ഉപയോഗയോഗ്യമല്ലാത്തതുള്ളൂ; OpenAI 23.1% ഔട്ട്‌ലിയർ ആണ്. അസാധുവായ അല്ലെങ്കിൽ തെറ്റായ തരം റെക്കോർഡുകളും 4.2%-17.4% ൽ താരതമ്യേന അപൂർവ്വമാണ്. ആധിപത്യമുള്ള നഷ്ടങ്ങൾ അടുത്തതായി വരുന്നു: സമർപ്പിച്ച പേജുകളിൽ 33.6%-68.3% എണ്ണവും സബ്‌സ്റ്റാൻ്റിവ് ടാസ്‌ക് ആവശ്യകതകളിൽ കുറഞ്ഞത് ഒന്നെങ്കിലും പരാജയപ്പെടുന്നു, കൂടാതെ റെക്കോർഡ് ക്ലെയിം ചെയ്യുന്ന എല്ലാറ്റിനെയും പിന്തുണയ്ക്കുന്നതിൽ സമർപ്പിച്ച എക്‌സ്‌കോര്‍പുകളിൽ 57.5%-86.6% പരാജയപ്പെടുന്നു. പെർപ്ലെക്സിറ്റിയുടെ നിരക്കുകൾ 41.4 ഉം 57.5 ഉം ആണ്. പേജ് എല്ലാ സബ്‌സ്റ്റാൻ്റിവ് ആവശ്യകതകളും നിറവേറ്റുന്നുണ്ടോ എന്ന് മാത്രം ചോദിക്കുന്ന റിട്രീവൽ-ഒൺലി പരിശോധനയ്ക്ക് കീഴിൽ അതിന്റെ സോഫ്റ്റ് F1 0.531 ൽ നിന്ന്, സാർവത്രിക പരിശോധനകളും ടാസ്‌ക്-നിർദ്ദിഷ്ട സാധുതയും സമ്പൂർണ്ണ എക്‌സ്‌കോർപ് പിന്തുണയും ആവശ്യപ്പെടുന്ന മുഴുവൻ വെർഡിക്റ്റിന് കീഴിൽ 0.363 ആയി കുറയുന്നു. ഹാർഡ് F1 ഉം സമാനമായി 0.245 ൽ നിന്ന് 0.133 ആയി കുറയുന്നു. കഠിനമായ ഭാഗം ഒരു സാധ്യതയുള്ള പേജിൽ എത്തിച്ചേരുന്നത് മാത്രമല്ല; ആ പേജിനെ മുഴുവൻ ക്ലെയിമിനുമുള്ള പര്യാപ്തമായ തെളിവുകളാക്കി മാറ്റുക എന്നതാണ്.

വലുതാക്കുക

Search as Code ഈ ടാസ്‌ക് രൂപവുമായി നന്നായി പൊരുത്തപ്പെടുന്നു. ഒരു മോഡലിന് റിട്രീവൽ, ഫിൽട്ടറിംഗ്, ഫാൻ-ഔട്ട്, റെണ്ടറിംഗ്, ജോയിൻസ്, ഡിഡ്യൂപ്ലിക്കേഷൻ, സ്റ്റോപ്പിംഗ് ലോജിക് എന്നിവ ഒരു പ്രോഗ്രാമായി പ്രകടിപ്പിക്കാൻ കഴിയും, അതേസമയം മോഡൽ സന്ദർധാനത്തിന് പുറത്തുള്ള ആവർത്തിച്ചുള്ള പ്രവർത്തനങ്ങൾ ഡിറ്റർമിനിസ്റ്റിക് കമ്പ്യൂട്ട് കൈകാര്യം ചെയ്യുന്നു. പെർപ്ലെക്സിറ്റിയുടെ ശക്തമായ ബ്രെഡ്ത് റിട്ടൻഷനും എക്‌സ്‌കോർപ് നിർമ്മാണവുമായി ആ പ്രൊഫൈൽ സ്ഥിരത പുലർത്തുന്നു, എന്നിരുന്നാലും ഇത് എല്ലാ പാളികളിലും നയിക്കുന്നില്ല: ആന്റ്രോപിക്കിന് ഏറ്റവും കുറഞ്ഞ പേജ്-ആവശ്യകത പരാജയ നിരക്ക് ഉണ്ട്.

അടുത്തത് എന്താണ്

WANDR ഒ ഒറ്റ ലീഡർബോർഡ് സ്കോറിനേക്കാൾ കൂടുതൽ നൽകുന്നു. ഇതിന്റെ പൊതുവായ ടാസ്‌ക് ഘടനയും അർദ്ധ-ഓട്ടോമേറ്റഡ് പൈപ്പ്‌ലൈനും വൈവിധ്യമാർന്നതും ഉയർന്ന വോള്യവുമുള്ള ടാസ്‌ക് ജനറേഷനെ പിന്തുണയ്ക്കുന്നു, അതേസമയം പെർ-റെക്കോർഡ് വെർഡിക്റ്റുകളും ഹൈരാർക്കി-ലെവൽ സ്കോറുകളും ഒരു റൺ എവിടെ പരാജയപ്പെടുന്നുവെന്ന് കാണിക്കുന്നു: ഡിസ്കവറി, എൻറിച്ച്മെന്റ്, ഐഡന്റിറ്റി ഹാൻഡ്‌ലിംഗ്, സെമാന്റിക് ക്വാളിഫിക്കേഷൻ അല്ലെങ്കിൽ എവിഡൻസ് കൺസ്ട്രക്ഷൻ. പുറത്തിറക്കിയ ടാസ്‌ക്കുകൾ, വെരിഫയർ, ഘടനാപരമായ ഡയഗ്നോസ്റ്റിക്സ് എന്നിവ സമഗ്രമായ തിരയൽ സിസ്റ്റങ്ങൾ മെച്ചപ്പെടുത്തുന്നതിനും ആ നേട്ടങ്ങൾ സ്കെയിലിൽ നിലനിൽക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുന്നതിനുമുള്ള അടിസ്ഥാനം നൽകുന്നു.

ഒന്നിലധികം റിൻഫോഴ്സ്മെന്റ് ലേണിംഗിനും WANDR ഉപയോഗപ്രദമാക്കിയേക്കാം. ഒറ്റ സ്പേഴ്സ് ടെർമിനൽ റിവാർഡിനെ ആശ്രയിക്കുന്നതിന് പകരം, ഒരു ട്രെയിനർക്ക് റെക്കോർഡ്-, ബ്രാഞ്ച്-ലെവൽ ജഡ്ജ്മെന്റുകൾ ഉപയോഗിക്കാം, ഡിസ്കവറിക്കും എൻറിച്ച്മെന്റ് പുരോഗതിക്കും ഭാഗിക ക്രെഡിറ്റ് നൽകാം, കൂടാതെ കാലക്രമേണ ആവശ്യമായ കൗണ്ടുകൾ ഉയർത്തി ഒരു കരിക്കുലം നിർമ്മിക്കാം. ഗോൾ ഉത്തരങ്ങൾ എണ്ണാതെ തന്നെ ഡൊമെയ്‌നുകൾ, ഹൈരാർക്കി ആകൃതികൾ, തെളിവ് നിയമങ്ങൾ, ബ്രെഡ്ത്-ഡെപ്ത് ക്രമീകരണങ്ങൾ എന്നിവയിലുടനീളം പൈപ്പ്‌ലൈന് ഹെൽഡ്-ഔട്ട് സിബ്ലിംഗ് ടാസ്‌ക്കുകൾ ജനറേറ്റുചെയ്യാൻ കഴിയും. ശരിയായ വസ്തുതകൾ കണ്ടെത്താൻ മാത്രമല്ല, കവറേജിനായി ആസൂത്രണം ചെയ്യാനും നഷ്ടപ്പെട്ട ബ്രാഞ്ചുകൾ കണ്ടെത്താനും നിർത്തുന്നതിന് മുമ്പ് വീണ്ടെടുക്കാനും ഏജന്റുകളെ പരിശീലിപ്പിക്കുന്നതിനുള്ള ഒരു വഴി ഇത് സൃഷ്ടിക്കുന്നു.

ബെഞ്ച്മാർക്ക് ടാസ്‌ക്കുകളും മൂല്യനിർണ്ണയ ഹാർനെസും പൂർണ്ണ സാങ്കേതിക റിപ്പോർട്ടും GitHub-ൽ ലഭ്യമാണ്.

ഉദ്ധരണി

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}