DRACO ബെഞ്ച്മാർക്ക് ഉപയോഗിച്ച് വൈൽഡിൽ ഗുരുതരം ശോധനം പ്രകടനം വിലയിരുത്തുന്നു

ഇന്ന്, ഉപയോക്താക്കൾ സങ്കീർണ്ണമായ ഗവേഷണ ജോലികൾക്കായി AI യഥാർത്ഥത്തിൽ എങ്ങനെ ഉപയോഗിക്കുന്നു എന്നതിനെ അടിസ്ഥാനമാക്കി തയ്യാറാക്കിയ ഒരു ഓപ്പൺ ബെഞ്ച്മാർക്കായ, ഡീപ് റിസർച്ച് അക്യുറസി, കംപ്ലീറ്റ്‌നസ്, ആൻഡ് ഒബ്ജക്റ്റിവിറ്റി (DRACO) ബെഞ്ച്മാർക്ക് ഞങ്ങൾ പുറത്തിറക്കുന്നു. DRACO ഓപ്പൺ സോഴ്‌സ് ചെയ്യുന്നതിലൂടെ, യഥാർത്ഥ ഉപയോക്തൃ ആവശ്യങ്ങൾ മികച്ച രീതിയിൽ നിറവേറ്റുന്ന ഗവേഷണ ഉപകരണങ്ങൾ നിർമ്മിക്കാൻ വിശാലമായ AI കമ്മ്യൂണിറ്റിയെ സഹായിക്കാൻ ഞങ്ങൾ ലക്ഷ്യമിടുന്നു.

സിന്തറ്റിക് ടാസ്കുകൾ പരിഹരിക്കുന്നതും യഥാർത്ഥ ഗവേഷണ ആവശ്യങ്ങൾ നിറവേറ്റുന്നതും തമ്മിലുള്ള അന്തരം DRACO എടുത്തുകാണിക്കുന്നു. മൂല്യനിർണ്ണയ സംവിധാനം മോഡൽ അജ്ഞാതമാണ്: കൂടുതൽ ശക്തമായ ഏജന്റ് LLM-കൾ ഉയർന്നുവരുമ്പോൾ, ഞങ്ങൾ മൂല്യനിർണ്ണയങ്ങൾ വീണ്ടും നടത്തി അപ്ഡേറ്റ് ചെയ്ത ഫലങ്ങൾ പ്രസിദ്ധീകരിക്കും. Perplexity.ai-ലെ ഗുരുതരം ശോധനം-ലേക്ക് ഞങ്ങൾ മെച്ചപ്പെടുത്തലുകൾ വരുത്തുമ്പോൾ, ഉപയോക്താക്കൾക്ക് ആ നേട്ടങ്ങൾ ഉൽപ്പന്ന പ്രകടനത്തിലും ബെഞ്ച്മാർക്ക് സ്കോറുകളിലും പ്രതിഫലിക്കുന്നത് കാണാനാകും.

അത്യാധുനിക ഗുരുതരം ശോധനം

Google DeepMind-ന്റെ DeepSearchQA, Scale AI-യുടെ ResearchRubrics എന്നിവയുൾപ്പെടെയുള്ള പ്രമുഖ ബാഹ്യ ബെഞ്ച്മാർക്കുകളിൽ Perplexity ഗുരുതരം ശോധനം അത്യാധുനിക പ്രകടനം കൈവരിക്കുന്നു.

വലുതാക്കുക

വലുതാക്കുക

ലഭ്യമായ ഏറ്റവും മികച്ച മോഡലുകളെ Perplexity-യുടെ പ്രത്യേകമായി നിർമ്മിച്ച ഏജന്റ് ശേഷികളുമായി സംയോജിപ്പിച്ചാണ് ഈ ഫലങ്ങൾ ലഭിക്കുന്നത്: പ്രൊപ്രൈറ്ററി തിരയൽ ഉപകരണങ്ങൾ, ഉച്ചകോടി അടിസ്ഥാന സൗകര്യങ്ങൾ, കോഡ് എക്സിക്യൂഷൻ. ഇവയെല്ലാം ചേർന്ന്, യഥാർത്ഥ ലോക വിവരങ്ങൾ വീണ്ടെടുക്കുന്നതിനും സംയോജിപ്പിക്കുന്നതിനും അവലോകനം ചെയ്യുന്നതിനും എൻഡ്-ടൂ-എൻഡ് ഒപ്റ്റിമൈസ് ചെയ്ത ഒരു സിസ്റ്റം രൂപീകരിക്കുന്നു.

ഈ ഉൽപ്പന്നം നിർമ്മിക്കുന്ന പ്രക്രിയയിൽ, മോഡലുകളെ താരതമ്യം ചെയ്യാൻ ഉപയോഗപ്രദമാണെങ്കിലും, ബാഹ്യ ബെഞ്ച്മാർക്കുകൾ പലപ്പോഴും യഥാർത്ഥ ഉപയോക്താക്കൾ എല്ലാ ദിവസവും ആവശ്യപ്പെടുന്ന ബഹുമുഖ ചോദ്യങ്ങളും സംയോജന ആവശ്യങ്ങളും ഉൾക്കൊള്ളുന്നില്ലെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി. പത്ത് ഡൊമേനുകളിലുടനീളമുള്ള ദശലക്ഷക്കണക്കിന് പ്രൊഡക്ഷൻ ടാസ്കുകളാൽ പ്രചോദനം ഉൾക്കൊണ്ട്, ആളുകൾ ഗുരുതരം ശോധനം യഥാർത്ഥത്തിൽ എങ്ങനെ ഉപയോഗിക്കുന്നു എന്നതിനെ അടിസ്ഥാനമാക്കി തയ്യാറാക്കിയ ഒരു ബെഞ്ച്മാർക്കായ DRACO ബെഞ്ച്മാർക്ക് ഞങ്ങൾ ഇന്ന് ഓപ്പൺ സോഴ്സ് ചെയ്യുന്നു.

വലുതാക്കുക

പ്രൊഡക്ഷൻ-അടിസ്ഥാനമാക്കിയുള്ള മൂല്യനിർണ്ണയം പ്രധാനമായിരിക്കുന്നത് কেন

നിലവിലുള്ള ബെഞ്ച്മാർക്കുകൾ പലപ്പോഴും സങ്കുചിതമായ നൈപുണ്യം വെവ്വേറെ പരിശോധിക്കുന്നു: ഒരു വസ്തുത വീണ്ടെടുക്കുക, ഒരു ചോദ്യത്തിന് ഉത്തരം നൽകുക, അല്ലെങ്കിൽ നന്നായി നിർവചിക്കപ്പെട്ട പ്രശ്നം പരിഹരിക്കുക. എന്നാൽ യഥാർത്ഥ ഗവേഷണ ചോദ്യങ്ങൾക്ക് ഉറവിടങ്ങളിലുടനീളമുള്ള സംയോജനം, സൂക്ഷ്മമായ വിശകലനം, പ്രവർത്തനക്ഷമമായ മാർഗ്ഗനിർദ്ദേശം എന്നിവ ആവശ്യമാണ്, അതേസമയം വസ്തുതാപരമായ കൃത്യതയും ശരിയായ ഉദ്ധരണിയും നിലനിർത്തുകയും വേണം.

അക്കാദമിക്, ഫിനാൻസ്, നിയമം, വൈദ്യശാസ്ത്രം, സാങ്കേതികവിദ്യ, പൊതുവിജ്ഞാനം, യുഎക്സ് ഡിസൈൻ, വ്യക്തിഗത അസിസ്റ്റന്റ്, ഷോപ്പിംഗ്/ഉൽപ്പന്ന താരതമ്യം, നീഡിൽ ഇൻ എ ഹേസ്റ്റാക്ക് എന്നിവ ഉൾക്കൊള്ളുന്ന 100 ശ്രദ്ധാപൂർവ്വം ക്യൂറേറ്റ് ചെയ്ത ടാസ്കുകൾ DRACO ബെഞ്ച്മാർക്കിൽ അടങ്ങിയിരിക്കുന്നു, ഓരോന്നും ശരാശരി ~40 മൂല്യനിർണ്ണയ മാനദണ്ഡങ്ങളുള്ള വിദഗ്ദ്ധർ തയ്യാറാക്കിയ റൂബ്രിക്കുകളുമായി ജോടിയാക്കിയിരിക്കുന്നു.

ഈ ടാസ്കുകൾ Perplexity ഗുരുതരം ശോധനം-ലെ യഥാർത്ഥ ഉപയോക്തൃ അഭ്യർത്ഥനകളിൽ നിന്നാണ് ഉത്ഭവിക്കുന്നത്, ദശലക്ഷക്കണക്കിന് പ്രൊഡക്ഷൻ അഭ്യർത്ഥനകളിൽ നിന്ന് സാമ്പിൾ ചെയ്യുകയും തുടർന്ന് വ്യവസ്ഥാപിതമായി പുനഃക്രമീകരിക്കുകയും വർദ്ധിപ്പിക്കുകയും അഞ്ച് ഘട്ടങ്ങളുള്ള പൈപ്പ്‌ലൈൻ വഴി ഫിൽട്ടർ ചെയ്യുകയും ചെയ്യുന്നു: വ്യക്തിപരമായി തിരിച്ചറിയാൻ കഴിയുന്ന വിവരങ്ങൾ ഞങ്ങൾ നീക്കംചെയ്യുന്നു, സന്ദർശവും വ്യാപ്തിയും ചേർക്കുന്നു, വസ്തുനിഷ്ഠതയും ബുദ്ധിമുട്ടും ഫിൽട്ടർ ചെയ്യുന്നു, കൂടാതെ ഡൊമെയ്ൻ വിദഗ്ദ്ധരുടെ അന്തിമ അവലോകനം നടത്തുകയും ചെയ്യുന്നു. സിന്തറ്റിക് വ്യായാമങ്ങളോ വിദഗ്ദ്ധർ ക്യൂറേറ്റ് ചെയ്ത ടാസ്കുകളോ അല്ല, മറിച്ച് യഥാർത്ഥ ഉപയോക്തൃ ആവശ്യങ്ങളെ പ്രതിഫലിപ്പിക്കുന്ന ഒരു ബെഞ്ച്മാർക്ക് ആണ് ഇതിന്റെ ഫലം.

DRACO ബെഞ്ച്മാർക്ക് എങ്ങനെ പ്രവർത്തിക്കുന്നു

വലുതാക്കുക

ബെഞ്ച്മാർക്കിലെ ഓരോ ടാസ്കും കർശനമായ റൂബിക് വികസന പ്രക്രിയയിലൂടെ കടന്നുപോയി. സെറ്റിനായുള്ള മൂല്യനിർണ്ണയ റൂബ്രിക്കുകൾ വികസിപ്പിക്കുന്നതിനും പ്രഷർ-ടെസ്റ്റ് ചെയ്യുന്നതിനും വേണ്ടി Perplexity ഒരു ഡാറ്റ ജനറേഷൻ പങ്കാളിയായ The LLM Data Company-യുമായി സഹകരിച്ചു. LLM ടൂളുകളുടെ സഹായത്തോടെ വിഷയം സംബന്ധിച്ച വിദഗ്ദ്ധർ പ്രാരംഭ റൂബ്രിക്കുകൾ തയ്യാറാക്കുകയും തുടർന്ന് പിയർ റിവ്യൂവിലൂടെയും കാലിബ്രേഷനിലൂടെയും ആവർത്തിക്കുകയും ചെയ്തു. കൃത്യതയില്ലാത്തതും അമിതമായി ലളിതമായതുമായ റൂബ്രിക്കുകൾ തിരുത്തലിനായി തിരികെ നൽകി, ഈ പ്രക്രിയയിലൂടെ ഏകദേശം 45% റൂബ്രിക്കുകളും കുറഞ്ഞത് ഒരു തവണയെങ്കിലും പരിഷ്കരിച്ചു. സിസ്റ്റം ശേഷികളെ യഥാർത്ഥത്തിൽ വേർതിരിച്ചറിയുന്ന മൂല്യനിർണ്ണയ മാനദണ്ഡങ്ങളാണ് ഇതിന്റെ ഫലം.

റൂബ്രിക്കുകൾ നാല് അളവുകോലുകൾ വിലയിരുത്തുന്നു: വസ്തുതാപരമായ കൃത്യത (എല്ലാ മാനദണ്ഡങ്ങളുടെയും പകുതിയോളം), വിശകലനത്തിന്റെ വ്യാപ്തിയും ആഴവും, അവതരണ നിലവാരം, പ്രാഥമിക ഉറവിടങ്ങളുടെ ഉദ്ധരണി. ഓരോ മാനദണ്ഡത്തിനും അതിന്റെ പ്രാധാന്യത്തെ പ്രതിഫലിപ്പിക്കുന്ന ഒരു ഭാരം ലഭിക്കുന്നു, കൂടാതെ ചില മാനദണ്ഡങ്ങൾ നെഗറ്റീവ് ആണ്, ഇത് ഹാലുസിനേഷനുകൾ അല്ലെങ്കിൽ പിന്തുണയില്ലാത്ത അവകാശവാദങ്ങൾ പോലുള്ള പിഴവുകൾക്ക് പെനാൽറ്റി നൽകുന്നു.

ഒരു LLM-ആസ്-ജഡ്ജ് പ്രോട്ടോക്കോൾ ഉപയോഗിച്ചാണ് പ്രതികരണങ്ങൾ ഗ്രേഡ് ചെയ്യുന്നത്, ഇവിടെ ഓരോ മാനദണ്ഡത്തിനും ഒരു ബൈനറി വിധി ലഭിക്കുന്നു. വസ്തുതാപരമായ കൃത്യത മൂല്യനിർണ്ണയത്തിന് ഈ സമീപനം വളരെ അനുയോജ്യമാണ്, കാരണം തിരയൽ ഫലങ്ങളിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ യഥാർത്ഥ ലോക ഡാറ്റയിൽ റൂബ്രിക്കുകൾ ജഡ്ജിയെ വേരൂന്നുന്നു, ഇത് ആത്മനിഷ്ഠമായ വിലയിരുത്തലിനെ പരിശോധിക്കാവുന്ന വസ്തുത പരിശോധനയാക്കി മാറ്റുന്നു. മൂന്ന് ജഡ്ജ് മോഡലുകളിലുടനീളമുള്ള വിശ്വാസ്യത ഞങ്ങൾ പരിശോധിച്ചു এবং കേവല സ്കോറുകൾ വ്യത്യാസപ്പെടുമ്പോഴും ആപേക്ഷിക സിസ്റ്റം റാങ്കിംഗുകൾ സ്ഥിരമായി തുടരുന്നതായി ഞങ്ങൾ കണ്ടെത്തി.

വലുതാക്കുക

ടൂൾസെറ്റും മൂല്യനിർണ്ണയ പരിസ്ഥിതിയും

ഒരു കോഡ് എക്സിക്യൂഷൻ സാൻഡ്‌ബോക്സും ബ്രൗസർ ശേഷികളും ഉൾപ്പെടെയുള്ള മുഴുവൻ ഗവേഷണ ടൂൾസെറ്റിലേക്കും ആക്‌സസ് ഉള്ള ഏജന്റുകളെ വിലയിരുത്താനാണ് ബെഞ്ച്മാർക്ക് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്.

ഞങ്ങൾ കണ്ടെത്തിയത്

ഡൊമെയ്ൻ അനുസരിച്ചുള്ള പ്രകടനം. പാസ് നിരക്കുകൾ (പൂർത്തീകരിച്ച മൂല്യനിർണ്ണയ മാനദണ്ഡങ്ങളുടെ ശതമാനം) അളന്നുകൊണ്ട് ഞങ്ങൾ 10 വിജ്ഞാന ഡൊമെയ്‌നുകളിലുടനീളം നാല് ഗുരുതരം ശോധനം സിസ്റ്റങ്ങളെ വിലയിരുത്തി. നിയമം (89.4%), അക്കാദമിക് (82.4%) എന്നിവയിൽ പ്രത്യേകിച്ച് ശക്തമായ പ്രകടനത്തോടെ, എല്ലാ ഡൊമെയ്‌നുകളിലും ഗുരുതരം ശോധനം ഏറ്റവും ഉയർന്ന പാസ് നിരക്കുകൾ കൈവരിച്ചു.

വലുതാക്കുക

ഉപയോക്താക്കളെ സംബന്ധിച്ചിടത്തോളം, നിങ്ങൾ ഒരു നിയമപരമായ ബ്രീഫ് തയ്യാറാക്കുകയാണെങ്കിലും, സാഹിത്യ അവലോകനം നടത്തുകയാണെങ്കിലും, അല്ലെങ്കിൽ മെഡിക്കൽ ചികിത്സാ ഓപ്ഷനുകൾ താരതമ്യം ചെയ്യുകയാണെങ്കിലും ഇതിനർത്ഥം കൂടുതൽ വിശ്വസനീയമായ ഉത്തരങ്ങൾ എന്നാണ്. സങ്കീർണ്ണമായ യുക്തിപരമായ ജോലികളിൽ പ്രകടന അന്തരം ഗണ്യമായി വർദ്ധിച്ചു: വ്യക്തിഗത അസിസ്റ്റന്റ്, നീഡിൽ ഇൻ എ ഹേസ്റ്റാക്ക് സാഹചര്യങ്ങളിൽ, ഏറ്റവും കുറഞ്ഞ സ്കോർ നേടിയ സിസ്റ്റത്തേക്കാൾ 20 ശതമാനത്തിലധികം പോയിന്റുകൾക്ക് Perplexity മികച്ച പ്രകടനം കാഴ്ചവച്ചു. വ്യക്തിഗതമാക്കിയ ശുപാർശകളും വലിയ രേഖകളിൽ പൊതിഞ്ഞ പ്രത്യേക വസ്തുതകൾ കണ്ടെത്തുന്നതും പോലുള്ള യഥാർത്ഥ ഉപയോക്തൃ ആവശ്യങ്ങളെ ഈ ഡൊമെയ്‌നുകൾ പ്രതിഫലിപ്പിക്കുന്നു.

വലുതാക്കുക

മൂല്യനിർണയ വശപ്രകാരം പ്രകടനം. നാല് പ്രധാന മൂല്യനിർണയ മാനങ്ങളിലാകെ, Deep Research മൂന്നിൽ മുന്നിൽ നിന്നു: വസ്തുനിഷ്ഠ കൃത്യത, വിശകലനത്തിന്റെ വ്യാപ്തിയും ആഴവും, ഉദ്ധരണി ഗുണമേന്മ. യഥാർത്ഥ തീരുമാനങ്ങൾക്കായി നിങ്ങളുടെ ഗവേഷണത്തെ വിശ്വസിക്കേണ്ടിവരുമ്പോൾ ഏറ്റവും കൂടുതൽ പ്രാധാന്യമുള്ള മാനങ്ങളിവയാണ് — ഒരു ക്ലയന്റിന് ഉപദേശം നൽകുകയായാലും, ഒരു നിക്ഷേപം നടത്തുകയായാലും, അല്ലെങ്കിൽ നിങ്ങളുടെ പേരിലുള്ള ഒരു റിപ്പോർട്ട് എഴുതുകയായാലും. Presentation Quality-ൽ Perplexity Deep Research-നോട് താരതമ്യപ്പെടുത്താവുന്ന പ്രകടനം കാണിച്ചത് മറ്റൊരു സിസ്റ്റം മാത്രമായിരുന്നു; ആഴത്തിലുള്ള ഗവേഷണത്തിലെ കഠിനമായ പ്രശ്നങ്ങൾ ഫോർമാറ്റിംഗിനെക്കുറിച്ചല്ല, വസ്തുതകൾ ശരിയായി ലഭിക്കുന്നതിനെയും വിശകലനം പൂർണ്ണമാക്കുന്നതിനെയും കുറിച്ചാണെന്ന് ഇത് സൂചിപ്പിക്കുന്നു.

വലുതാക്കുക

ഗുണനിലവാരവും കാര്യക്ഷമതയും. പ്രത്യേകിച്ചും, മികച്ച പ്രകടനം കാഴ്ചവെച്ച സിസ്റ്റം ഏറ്റവും കുറഞ്ഞ ലേറ്റൻസിയും കൈവരിച്ചു (প্রতিযোগীদের জন্য 592 முதல் 1808 வினாடிகள் என்பதற்கு எதிராக 459.6 வினாடிகள்). ഉപയോക്താക്കളെ സംബന്ധിച്ചിടത്തോളം, ഇതിനർത്ഥം സമഗ്രമായ ഗവേഷണവും വേഗത്തിൽ ഉത്തരം നേടുന്നതും തമ്മിൽ നിങ്ങൾ തിരഞ്ഞെടുക്കേണ്ടതില്ല എന്നാണ്. ഇത് ലംബമായി സംയോജിപ്പിച്ച, എൻഡ്-ടു-എൻഡ് ഇൻഫ്രാസ്ട്രക്ചറിന്റെ നേട്ടത്തെ പ്രതിഫലിപ്പിക്കുന്നു: മികച്ച തിരയൽ¹ [எங்கள் தேடல் ஏபிஐக்கான அடிக்குறிப்பு இணைப்பு] കൂടാതെ ഒപ്റ്റിമൈസ് ചെയ്ത എക്സിക്യൂഷൻ എൻവയോൺമെന്റുകളുള്ള ബ്രൗസർ സംയോജനം വേഗതയേറിയതും കൂടുതൽ കൃത്യവുമായ ഗവേഷണത്തിലേക്ക് നേരിട്ട് വിവർത്തനം ചെയ്യുന്നു.

അടുത്തത് എന്താണ്

Perplexity-യുടെ ഗുരുതരം ശോധനം ഹാർനസ് മോഡൽ അജ്ഞാതമാണ്: ശക്തമായ ഏജന്റ് LLM-കൾ ഉയർന്നുവരുമ്പോൾ, ഞങ്ങൾ മൂല്യനിർണ്ണയങ്ങൾ വീണ്ടും നടത്തി അപ്ഡേറ്റ് ചെയ്ത ഫലങ്ങൾ പ്രസിദ്ധീകരിക്കും. Perplexity.ai-ലെ ഗുരുതരം ശോധനം-ലേക്ക് ഞങ്ങൾ മെച്ചപ്പെടുത്തലുകൾ വരുത്തുമ്പോൾ, ഉപയോക്താക്കൾക്ക് ആ നേട്ടങ്ങൾ ഉൽപ്പന്ന പ്രകടനത്തിലും ബെഞ്ച്മാർക്ക് സ്കോറുകളിലും പ്രതിഫലിക്കുന്നത് കാണാനാകും.

ബെഞ്ച്മാർക്ക് നിലവിൽ പത്ത് ഡൊമെയ്‌നുകളിലുടനീളമുള്ള ഇംഗ്ലീഷ് മാത്രം, സിംഗ്ല്‍ ടേൺ ഇടപെടലുകൾ വിലയിരുത്തുന്നു. ഭാവിയിലെ ആവർത്തനങ്ങൾ ഭാഷാപരമായ വൈവിധ്യം വിപുലീകരിക്കുകയും, മൾട്ടി ടേൺ മൂല്യനിർണ്ണയം ചേർക്കുകയും, ഡൊമെയ്ൻ കവറേജ് വിശാലമാക്കുകയും ചെയ്യും.

DRACO ബെഞ്ച്മാർക്ക് ഉപയോഗിച്ച് മികച്ച ഗവേഷണ ഏജന്റുകളെ നിർമ്മിക്കുക

DRACO ബെഞ്ച്മാർക്ക് ഇപ്പോൾ പൂർണ്ണമായും ഓപ്പൺ സോഴ്സ് ആണ്. ഗുരുതരം ശോധനം സിസ്റ്റങ്ങൾ നിർമ്മിക്കുന്ന ഏതൊരു ടീമിനും സിന്തറ്റിക് അക്കാദമിക് പസിലുകൾക്ക് പകരം യഥാർത്ഥ ലോക ഗവേഷണ ടാസ്കുകൾക്കെതിരെ അവരുടെ മോഡലുകൾ വിലയിരുത്താൻ കഴിയും. സമ്പൂർണ്ണ ബെഞ്ച്മാർക്കും എല്ലാ റൂബ്രിക്കുകളും ജഡ്ജ് പ്രോംപ്റ്റും ഞങ്ങൾ പുറത്തിറക്കുന്നു.

രീതിശാസ്ത്രത്തെയും വിശദമായ ഫലങ്ങളെയും കുറിച്ച് കൂടുതലറിയാൻ, മുഴുവൻ സാങ്കേതിക റിപ്പോർട്ടും വായിക്കുക: DRACO benchmark കൂടാതെ Hugging Face-ൽ ഡാറ്റാസെറ്റ് പര്യവേക്ഷണം ചെയ്യുക.

ഉദ്ധരണി

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}