WANDR бенчмаркы: Кең әрі тең іздеуі тиіс зерттеу агенттерін бағалау

Жоғары көлемді, дәлелдерге бай зияткерлік жұмысқа арналған бенчмарк.

АвторларPerplexity Research

Бүгін біз зияткерлік жұмысқа арналған 500 шынайы әрі күрделі деректерді жинау тапсырмасына негізделген ашық бенчмарк пен бағалау құралы WANDR (Wide ANd Deep Research) жүйесін көпшілік назарына ұсынамыз. WANDR — біздің терең зерттеуге арналған DRACO бенчмаркының кеңейтілген әпкесі. DRACO агенттің дәл, толық және обьектілі ұзақ форматындағы есепті жасай алатынын тексерсе, WANDR агенттің үлкен жинақ құра алатынын және әрбір элементті нақты дәлелдермен қамтамасыз ете алатынын сұрайды.

Бұл — адамдар зерттеу агенттеріне тапсыратын жұмыс түрлері: бәсекелестік картасын жасау, тиісті тексеру, әдебиеттерге шолу, нарықты талдау, өнімді салыстыру, таланттарды іздеу және т.б. Тапсырмалар ондағаннан мыңдағанға дейінгі тәуелсіз тексерілетін жазбаларды қамтиды. Тіпті жоғары жұмыс режимінің өзінде біздің бағалауымыздағы ең күшті жүйе тек 0,363 жұмсақ F1 және 0,133 қатты F1 көрсеткішіне жетеді. Кең әрі тең зерттеу әлі де толық шешілуден алыс.

WANDR эталоны шкаласы және осы бағалауда хабарланған ең жоғары жұмсақ F1 және қатты F1 ұпайлары.

Кең әрі тең зерттеу не үшін маңызды?

Пайдалы зерттеу жұмыстарының көбі агент бір жауап тапқан кезде аяқталмайды. Нарық сарапшысына әрқайсысы үшін бірдей дәлелдері бар барлық сәйкес келетін бәсекелестер қажет болуы мүмкін. Тиісті тексеру тобына ондаған компания, содан кейін олардың әрқайсысы үшін иелік ету, басшылар, қаржыландыру және реттеуші мәртебесі қажет болуы мүмкін. Бұл екі бөлек талапты тудырады:

Кең: сәйкес келетін нысандардың үлкен және көбінесе ашық жиынтығын табу.

Терең: сұралған әрбір талапты дәлелмен растау үшін әр нысанды жеткілікті түрде зерттеу.

Екеуін біріктіру мәселені өзгертеді. Бірнеше сенімді мысал жеткіліксіз, ал толық емес зерттеуге негізделген жылтыр баянда да жеткіліксіз. Агент бір жазбадан екіншісіне өткенде нақты сапаны жоғалтпай, кеңінен ізденісті сақтауы тиіс.

WANDR бұл құрылымды икемді, құрамдас біліктілік кілтінің иерархиясы арқылы қамтиды. Тапсырма мынаны сұрауы мүмкін:

company(n) → employee(m) → url(k)

Бұл n сәйкес келетін компанияны, әр компаниядан m сәйкес келетін қызметкерді және әр қызметкер үшін k қолдау көрсететін бетті табуды білдіреді. Тармақ арқылы әрбір толық жол тәуелсіз түрде тексеріле алады. Дәл осындай негізгі құрылым тегіс тізімді, кірістірілген іздеуді, матрицаны немесе бірнеше дәлелді тармақтары бар тапсырманы білдіре алады. Бұл үлгілерді біріктіруге де болады, бұл бір көрініске нақты әлемдегі пайдалану жағдайларының кең ауқымын қамтуға мүмкіндік береді.

Алты жалпы иерархия үлгісі. Боялған шеңберлер — нысандар, үзілген шеңберлер — бекітілген белгілер, ал шаршылар — URL жапырақтары. Матрицада қайталанатын бала белгілері әртүрлі ата-аналар астындағы бірдей бала мәндерін көрсетеді.

Шығарылған бір тапсырма бұл құрылымды іс жүзінде көрсетеді.

ceo_cfo_appointments

Негізгі тапсырма. 2026 жылдың 1 наурызы мен 30 сәуірі аралығында алғаш рет хабарланған бас директор немесе қаржы директоры тағайындалуы бар АҚШ-та орналасқан кемінде 70 компанияны табыңыз. Әрбір компания үшін компания мен тағайындалған тұлғаны анықтайтын, рөлі мен хабарландыру күнін белгілейтін және эмитенттен, өтінімнен, жаңалықтар лентасынан немесе тікелей бірінші қолдан жасалған бизнес журналистикасынан алынған сенімді тағайындау бетін ұсыныңыз.

Негізгі иерархия. company(70) → company_appointee(1) → url(1).

Компанияны тізімге енгізу бойынша қосалқы тапсырма. Сол компаниялар үшін АҚШ ұлттық бағалы қағаздар биржасында листингті немесе АҚШ-та орналасқан SEC Exchange Act есеп беретін эмитент мәртебесін көрсететін мойындалған листинг органының бетін ұсыныңыз.

Қосалқы тапсырма иерархиясы. company(70) → url(1).

Қажетті жазбалар. 140: 70 тағайындау жазбасы плюс 70 листинг жазбасы.

Әрбір жол бағалаушы қайта тексере алатын бетпен және үзінділермен аяқталады. Ортақ компания кілті тағайындау және листинг тармақтарын сәйкестендіреді, сондықтан листинг мәртебесінің жеке дәлелі жоқ тағайындау сол компанияны әлі де толық емес етіп қалдырады.

Шынайы тапсырмалар, ауқымда жасалған

WANDR синтетикалық сұраулардың орнына өндірісте пайдалану кезінде байқалған жеке басы анықталмаған үлгілерден басталады. Бұл бенчмаркты адамдар шынымен де беретін жұмысқа жақын ұстайды: ашық ізденіс, қайталанатын байыту, көздер арасындағы тексерулер және кәсіби деңгейдегі құрылымдық салыстырулар. Жартылай автоматтандырылған конвейер бұл үлгерлерді тапсырмаларға айналдырады және толық жауапты аннотациялаудың орнына сапаны бақылау үшін адам күшін сақтайды.

Конвейердің төрт кезеңі бар. Себу қайта пайдалануға болатын кең зерттеу үлгісі үшін жеке басы анықталмаған өнім сұрауларын өндіреді. Авторлық автор-сыншы кезекті циклін орындайды: агенттер дизайнды жобалайды және сынақтан өткізеді, тапсырманың спецификациясы мен судьясын жазады, құрылғы жазбаларын жасайды және барлығын сәйкестендіру үшін механикалық линтерді пайдаланады. Қабылдау 10–12 авторлық шығарылымды біріктіру арқылы мақсатты көлемге жетуге болатынын тексереді, тапсырмаға тән судьяны тексереді және қосымша адамның мақұлдауын қосады. Кураторлық қабылданған тапсырмаларды белгілейді және тақырыптар, ауқым, топология және қиындық бойынша теңгерілген соңғы жиынтықты таңдайды.

Тапсырма құрастыру құбыры төрт кезеңнен тұрады. Seeding шынайы сұранысты анықтайды; authoring оны автор–сыншы циклі және механикалық тексерулер арқылы дербес тапсырмаға айналдырады; admission орындылығын және бағалаушы сапасын тексереді; ал curation теңгерімді шығарылымды таңдайды. Нәтижесінде 500 көпшілікке ашық тапсырма пакеті шығады.

Орташа тапсырма 50 мүшені, әр мүше үшін төрт жазбаны және жалпы алғанда 245 жазбаны сұрайды. Біріктірілген 500 тапсырма көзбен расталған 170 495 жазбаны талап етеді. Біз тарихи дизайн кезеңіндегі шығарылымдардан қиындықты калибрлейміз, содан кейін тапсырмаларды ранг бойынша 167 төмен, 166 орташа және 167 жоғары қиындық мысалдарына бөлеміз. Төмендегі график қиындықтың тек ауқыммен ғана анықталмайтынын көрсетеді; ол әрбір жазба үшін қажетті жұмысқа да байланысты.

Ені мен тереңдігі жазықтығындағы жалпы тапсырманың қиындығы (log-log; 500 бенчмарк тапсырмасы). Ені — қажетті мүшелер саны; тереңдігі — қажетті жазбалар санын сол мүшелер санына бөлгендегі мән. Нүкте түсі жалпы қиындық белгісін білдіреді. Үзілген нұсқаулар орташа енді (50 мүше) және орташа тереңдікті (әр мүшеге 4,00 жазба) белгілейді.

Анықтамасыз, дәлелденген бағалау

Бекітілген жауап кілті ашық зерттеу үшін нашар сәйкес келеді. Оны жасау қымбат тұрады, тез ескіреді және жауаптары уақыт өзгеретін сұрақтарды нашар көрсетеді. WANDR мұның орнына ұсынылған әрбір талапты агент келтірген дәлелдерге қарсы бағалайды.

Әрбір жазба элементті, URL мекенжайын, таңдалған үзінділерді және жауапты қамтиды. Бағалаушы бетті қайта жүктейді және оның пайдалануға жарамды екенін, талаптың анық екенін және ауқымға сай екенін, үзінділердің бетте шынайы түрде пайда болатынын және бет пен үзінділердің әрбір талапты қолдайтынын тексереді.

Бұл екілік жазба үкімдері иерархия арқылы өседі. Дәлдік жүйе ұсынған нәрсенің сапасын өлшейді. Толықтық сұралған көлемге қарсы сапаға бейімделген аяқталуын өлшейді, кез келген жетіспеушілікті нөлдермен толтырады. F1 екеуін теңестіреді. Жұмсақ ұпайлар толық емес мүшелерге ішінара кредиттер береді; қатты ұпайлар тек толық талап етілген ішкі ағашы дұрыс мүшелерді ғана есептейді. Диагностика үшін WANDR сонымен қатар жарамдылық пен ұсынылған үзінділерге қатысты қатаң тексерулерді қосу алдында алынған беттің тапсырманы қанағаттандыратынын сұрайтын тек іздеу үкімін хабарлайды.

Бұл ақаулықтарды түсіндіруге және локализациялауға мүмкіндік береді. Төмен толықтығы бар жоғары дәлдік жүйенің кейбір жақсы мүшелерді тапқанын, бірақ олардың жеткіліксіз екенін білдіреді. Жұмсақтан қаттыға дейінгі үлкен құлдырау оның ішінара прогреске қол жеткізгенін, бірақ толық кредиттер үшін қажетті әрбір тармақты сирек аяқтағанын білдіреді. Ұпайлар ағашы шығынды іздеуге, байытуға, сәйкестікті өңдеуге, бетті біліктілікке немесе дәлелдерді алуға локализациялай алады.

Бағалау конвейері. Шешу әрбір жүйенің шығысын қалыпқа келтіреді; алу әрбір келтірілген бетті алады және браузерде бұзылған алынғандарды қайталап көреді; судья сәйкестіктерді шешеді және әрбір жазбаны бағалайды; ал ұпай шығару үкімдерді тапсырма деңгейіндегі дәлдікке, толықтыққа және F1-ге айналдырады.

Біз не таптық

Біз алты өндірістік жүйені салыстырдық: хостингтелген тапсырма және іздеу API интерфейстері, жалпы веб-агент API интерфейстері, тең зерттеу өнімі және біздің бағдарламалық іздеуді ұйымдастыру жүйеміз, Search as Code (SaC). Олардың әрқайсысы бекітілген конфигурация бойынша барлық 500 тапсырмаға жоспарланды, содан кейін бірдей алу, судья, сәйкестікті шешу және ұпай жинау конвейерінен өтті.

Perplexity Search as Code 0,363 жұмсақ F1 және 0,133 қатты F1 көрсеткішімен көш бастап тұр. Anthropic 0,249 және 0,072 көрсеткішімен екінші орында; басқа кез келген жүйе 0,121 жұмсақ F1 және 0,035 қатты F1 көрсеткішімен шектеледі. Ешқандай жүйе сапа мен тиімділікті де бірдей басым емес. Perplexity тапсырма үшін $5,20 құнымен, 14,9 минуттық орташа шешу уақытымен және тапсырма үшін хабарланған 3,82 миллион токенмен шығындар диапазонының ортасында тұр. OpenAI және Exa жылдамырақ және арзанырақ, бірақ әлдеқайда төмен ұпай жинайды. Anthropic сапа жағынан ең жақын келеді, бірақ айтарлықтай көбірек уақыт, ақша және токендерді пайдаланады.

WANDR бойынша шығынға, медианалық кідіріс уақытына және хабарланған токен пайдалануына қатысты жұмсақ және қатты дәлдік пен толықтық.
Құнына, орташа шешу кешігуіне және хабарланған токенді пайдалануға қарсы жұмсақ және қатты дәлдік пен толықтық (жоғарыда) және жұмсақ пен қатты F1 (төменде). Жоғарырақ және сол жаққа қарай жақсырақ. Exa пен Parallel токен көріністерінде жоқ, өйткені олар токен санын ашпайды.

Біз сондай-ақ сәйкестендірілген 45 тапсырма ішкі жиынтығындағы әрбір қолжетімді жұмыс параметрін бағаладық. Көбірек жұмыс Perplexity, Gemini және Exa жүйелерін әр қадам сайын жақсартады; Perplexity xhigh деңгейінде 0,447 жұмсақ F1 және 0,224 қатты F1 мәніне жетеді. Дегенмен, жоғарырақ жұмыс бірдей жақсы емес: OpenAI high деңгейінде шыңына жетеді, ал Parallel жүйесінің қатты F1 мәні ultra2x пен ultra4x арасында аздап төмендейді. Құны төрт реттік шамадан асады: Exa low үшін тапсырмасына $0,03-тен Gemini max үшін $324,83-ке дейін.

45 тапсырмадан тұратын WANDR ішкі жиынындағы әртүрлі effort параметрлерінде шығынға, медианалық кідіріс уақытына және хабарланған токен пайдалануына қатысты жұмсақ F1.
Сәйкестендірілген 45 тапсырма ішкі жиынтығындағы барлық қолжетімді жұмыс параметрлері бойынша жұмсақ F1 (жоғарыда) және қатты F1 (төменде). Қою жолдар жоғарырақ жұмысты білдіреді.

Төрт қорытынды ерекше көзге түседі.

Ішінара прогресс жиі кездеседі; толық қамту жоқ. Жұмсақ толықтық әрбір жүйе үшін жұмсақ дәлдіктен төмен, бұл толық сұралған көлем бөлімге кіргеннен кейін өнімділіктің төмендейтінін білдіреді. Perplexity 0,389 дәлдіктен 0,357 толықтықты сақтайды, бұл ең кішкентай алшақтық; Anthropic 0,354-тен 0,222-ге дейін төмендейді. Жұмсақтан қаттыға түрлендіру одан да қатал. Perplexity 0,363 жұмсақ F1 мәнінен 0,133 қатты F1 мәніне дейін, ал Anthropic 0,249-дан 0,072-ге дейін төмендейді. Ең жақсы қатты дәлдік — 0,150, ал ең жақсы қатты толықтық — 0,134: тіпті көшбасшының өзі ол ұсынған шамамен әрбір жеті мүшенің біреуіне және тапсырма сұраған әрбір жеті мүшенің біреуіне ғана толық кредит алады.

Ауқым бұл мәселені күшейтеді. Ең кішкентайдан ең үлкен мақсатты көлем биніне дейін Perplexity жүйесінің қатты дәлдігі 0,235-тен 0,096-ға дейін және оның қатты толықтығы 0,219-дан 0,079-ға дейін төмендейді. Anthropic 0,205-тен 0,113-ке және 0,127-ден 0,042-ге дейін төмендейді; OpenAI 0,109-дан 0,034-ке және 0,102-ден 0,016-ға дейін төмендейді. Толықтық әдетте дәлдікке қарағанда тезірек төмендейді: жүйе сұралған жиынтықты аз және аз қамту кезінде толық мүшелердің шағын қалтасын сақтай алады.

Тереңірек иерархиялар одан да қатал. Аралық кілтсізден үш немесе одан да көп кілтке өткенде, Perplexity жүйесінің қатты дәлдігі 0,392-ден 0,019-ға дейін және қатты толықтығы 0,378-ден 0,017-ге дейін төмендейді; Anthropic 0,311-ден 0,049-ға және 0,229-дан 0,022-ге дейін төмендейді; OpenAI 0,136-дан 0,012-ге және 0,120-дан 0,011-ге дейін төмендейді. Әрбір қосылған тармақ мүше бәрін немесе ештеңені қамтымайтын қатты ұпайды жіберіп алуы мүмкін басқа орынды жасайды. Құны мен кешігу жиі монотонды үлгіге сәйкес келмейді.

Қатты дәлдік, қатты толықтық, орташа шешу кешігуі және мақсатты жазба көлемі (жоғарыда) пен аралық иерархия тереңдігі (төменде) бойынша орташа құн. Әрбір жол бір бекітілген негізгі іске қосу конфигурациясын білдіреді. Жолдар оқылымдылық үшін тапсырма бинінің жиынтықтарын қосады және ауқымның немесе құрылымның себеп-салдарлық әсерін білдірмейді.

Сапаны бағалауға дейін де ізденіс бірінші құрылымдық кедергі болып табылады. Тек шикі, құлағанға дейінгі сандарды қарастырғанда, орташа жоғары деңгейдегі ізденістің аяқталуы 0,611 мен 0,951 аралығында болады. Шартты байыту 0,767–0,967 деңгейінде күштірек, ал мүше мен оның байыту жолы болғаннан кейін соңғы дәлел слоттарының аяқталуы 0,979–0,994 мәніне жетеді. Perplexity ізденіс бойынша 0,951 және байыту бойынша 0,967 көрсеткішімен көш бастап тұр, бірақ OpenAI соңғы дәлел слоттарында 0,994 және 0,991 көрсеткішімен аздап жоғары. Дубликаттардың құлауы барлық алты толық іске қосу кезінде санау шығынының тек 0,017–0,205 пайыздық тармағын құрайды, сондықтан жеткіліксіз жеткізу, сәйкестікті біріктіру емес, негізгі жиынтық түсіндірме болып табылады. Ең үлкен шикі құрылымдық шығындар соңғы URL тіркелгенге дейін орын алады.

Верификатор ағаштарынан алынған орташа тапсырма деңгейіндегі шикі құрылымдық аяқталу. Ізденіс — ең жоғарғы кілт, байыту аралық кілттерді қамтиды, ал дәлел — соңғы кілт. Мәндтер құлағанға дейін берілген сандарды пайдаланады, сондықтан көрсеткіш жазба сапасы бағаланғанға дейін ұсынылған көлемнің қай жерде жоқ екенін оқшаулайды.

Пайдалануға жарамды бетті табу әдетте оңай; толық дәлелді табу қиын. Бес жүйе үшін ұсынылған беттердің тек 3,2%–8,9%-ы пайдалануға жарамсыз; OpenAI 23,1%-бен ерекшеленеді. Жарамсыз немесе дұрыс емес түрдегі жазбалар да 4,2%–17,4% деңгейінде салыстырмалы түрде сирек кездеседі. Басым шығындар келесідей орын алады: ұсынылған беттердің 33,6%–68.3%-ы кем дегенде бір маңызды тапсырма талабын орындай алмайды, ал ұсынылған үзінділердің 57,5%–86,6%-ы жазба талап ететін барлық нәрсені қолдай алмайды. Perplexity көрсеткіштері 41,4% және 57,5% құрайды. Оның жұмсақ F1 мәні тек беттің әрбір маңызды талапқа сай келетінін ғана сұрайтын тек іздеу тексеруі бойынша 0,531-ден, сонымен қатар әмбебап тексерулерді, тапсырмаға тән жарамдылықты және толық үзінді қолдауын талап ететін толық үкім бойынша 0,363-ке дейін төмендейді. Қатты F1 де осылайша 0,245-тен 0,133-ке дейін төмендейді. Қиын бөлігі тек ықтимал бетке жету емес; бұл бетті бүкіл талап үшін жеткілікті дәлелге айналдыру.

Қолжетімді верификатор мәліметтерінен өлшенген жазба деңгейіндегі қателерді зондтау, пайызбен; төменірек болғаны жақсырақ. Бет пен үзінді талаптарындағы қателер пайдалануға жарамсыз бет немесе жарамсыз жазба қателеріне қарағанда әлдеқайда жиі кездеседі. Parallel 350 тапсырма үшін диагностикалық мәліметтерге ие, ал басқа жолдар 490–500 тапсырманы қамтиды.

Search as Code бұл тапсырма пішініне жақсы сәйкес келеді. Модель ізденісті, сүзуді, таратуды, көрсетуді, қосылуды, дубликатты жоюды және тоқтату логикасын бағдарлама ретінде көрсете алады, ал детерминистік есептеу модель контекстінен тыс қайталанатын операцияларды өңдейді. Бұл профиль Perplexity жүйесінің кеңірек сақталуына және үзінділерді құруына сәйкес келеді, бірақ ол әр қабатта көш бастамайды: Anthropic ең төмен бет талабы қателік жиілігіне ие.

Келесі не?

WANDR бір көшбасшылар тақтасының ұпайынан көбірек нәрсені қамтамасыз етеді. Оның ортақ тапсырма құрылымы мен жартылай автоматтандырылған конвейері әртүрлі, жоғары көлемді тапсырмаларды генерациялауды қолдайды, ал жазба бойынша үкімдер мен иерархия деңгейіндегі ұпайлар іске қосудың қай жерде сәтсіз аяқталғанын көрсетеді: ізденіс, байыту, сәйкестікті өңдеу, семантикалық біліктілік немесе дәлелдерді құру. Шығарылған тапсырмалар, верификатор және құрылымдық диагностика жан-жақты іздеу жүйелерін жақсарту және бұл жетістіктердің ауқымда сақталатынын тексеру үшін негіз береді.

Дәл осы құрылым WANDR-ды күшейтпелі оқыту үшін де пайдалы етуі мүмкін. Бір ғана сирек кездесетін соңғы сыйақыға сүйенудің орнына, жаттықтырушы жазба және тармақ деңгейіндегі бағалауларды қолдана алады, ашу мен толықтыру барысы үшін ішінара ұпай бере алады және уақыт өте талап етілетін санды арттыру арқылы оқу жоспарын құра алады. Бұл құбырлық процесс алтын жауаптарды тізбелемей-ақ, домендер, иерархия пішіндері, дәлел ережелері және ендік–тереңдік параметрлері бойынша ұсталып қалатын бауырлас тапсырмаларды жасай алады. Бұл агенттерді тек дұрыс деректерді табуға ғана емес, сондай-ақ қамтуға жоспар құруға, жетіспейтін тармақтарды анықтауға және тоқтар алдында қалпына келуге үйретудің жолын ашады.

Бенчмарк тапсырмалары, бағалау құралы және толық техникалық есеп GitHub желісінде қолжетімді.

Дәйексөз

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}