Q2D-Web: Ауқымдағы бірінші кезеңдегі іздеушілерді бағалау

70 мың агент сұрауы, 190 миллион веб-құжат және өзектіліктің үш бағалау жиынтығы бар бенчмарк пен көшбасшылар тақтасы.

АвторларPerplexity Research

Бүгін біз агенттік RAG жүйелеріндегі іздеуді бағалауға арналған жеке бенчмарк және қоғамдық көшбасшылар тақтасы Q2D-Web (Query2Doc-Web) жүйесін таныстырамыз. Q2D-Web біздің бастапқы Q2D бенчмаркымызды ірі ауқымды корпусқа, үлкенірек сұраулар жиынтығына және тереңірек бағалау аннотацияларына дейін кеңейтеді.

Q2D-Web ірі ауқымды веб іздеуде көрсеткіш модельдерін бағалау үшін жасалған. Ол 190 миллион веб-құжаттан және тоғыз айлық PII-ден таза өндірістік іздеу трафигінен іріктелген он тілдегі 69 721 агент қайта өңделген сұраудан тұрады.

Бұл ауқымда сұрау мен құжат деңгейіндегі өзектілік сигналы сөзсіз сирек болады. Бір дереккөзді негізгі шындық ретінде қарастырудың орнына, біз агент дәйексөздерінен, өндірістік веб-рейтингтерден және бұрын бағаланбаған жұптар үшін қосымша LLM бағалауларынан алынған үш өзектілік-бағалау жиынтығын ұсынамыз. Бірнеше дереккөз кез келген бір таңбалау құбырынан болатын біржақтылықты шектейді, ал тереңірек аннотация жалған теріс нәтижелерді азайтады.

Біздің көшбасшылар тақтасы сәйкес индекстеу, іздеу және ұпай жинау құбырын қолдана отырып, бенчмаркқа қарсы тікелей бағаланған, көпшілікке шығарылған іздеу модельдері үшін нәтижелерді хабарлайды. Бағалауды біздің сұраныс пішіні арқылы жіберуге болады.

Іздеуді шынайы бағалаудың қиындығы

Әрбір сұрау үшін өндірістік ауқымдағы іздеу жүйесі миллиардтаған веб-беттерден тұратын корпуста іздеу жүргізеді және мыңдаған кандидат құжаттарды қайтарады. Бұл кандидаттар төменгі ағынды жүйелердің қандай дереккөздерді көре алатынын анықтайды және агент үшін қолжетімді дәлелдерді тікелей қалыптастырады.

Сондықтан бұл бірінші кезеңді шынайы бағалау үш өлшем бойынша ауқымды болатын бенчмарктарды талап етеді: корпустағы құжаттар саны, бағаланған сұраулар саны және әр сұрау үшін өзектілікті бағалау саны.

Үлкенірек корпустар сұрауға семантикалық тұрғыдан ұқсас, бірақ сұралған ақпаратты бермейтін қиын теріс нәтижелерді (қатты теріс нәтижелерді) енгізу арқылы бенчмаркты көбірек айырмашылық жасайтын ете алады. Іздеушілер бұл орынды сәйкестіктерді тиісті құжаттардан ажыратуы керек. Белгілі тиісті құжаттарды сақтай отырып, корпусты кішірейту бұл алаңдатушыларды жоюы және төмендегі қосалқы іріктеу эксперименттеріміз көрсеткендей, еске түсіруді арттыруы мүмкін.

Бағаланған сұраулардың көбірек болуы өнімділік бағалауларын сенімдірек етеді. Шағын сұраулар жиынтығымен бенчмарк нәтижелері қандай сұраулардың іріктелгеніне қатты тәуелді болады, бұл әр модельдің өнімділігін дәл бағалауды және модельдерді сенімді түрде ажыратуды қиындатады.

Тереңірек бағалаулар бағалау кезінде жалған теріс нәтижелерді азайтады. Сирек белгілермен іздеу құралы бағаланбаған және сондықтан дұрыс емес түрде өзекті емес деп есептелетін тиісті құжаттарды көрсете алады. Бұл бағалауды сенімсіз етеді. MS MARCO ақпаратты іздеудегі негізгі ірі ауқымды ашық деректер жиынтығы болып табылады және нейрондық іздеу модельдерінің дамуын қалыптастырды. Онда қолмен тексерілген ең жоғары ізделген, бірақ таңбаланбаған үзінділердің 70%-ы шын мәнінде өзекті болды.

Бар бенчмарктар осы өлшемдердің тек біреуінде немесе екеуінде ауқымды болуға бейім: веб-ауқымдағы жиынтықтардың жиі салыстырмалы түрде аз бағаланған сұраулары болады, ал көп сұраулары бар бенчмарктар әдетте әлдеқайда кішірек корпустар мен сирек белгілерді пайдаланады. Сонымен қатар, бенчмарктардың көпшілігі адам жазған сұрауларды пайдаланады, ал агенттік RAG жүйелері сөздерінде, құрылымында және ерекшелігінде ерекшеленуі мүмкін агент қайта өңделген сұраулармен іздейді.

Q2D-Web барлық үш өлшем бойынша ауқымды. Онда 190 миллион веб-құжат, 69 721 агент қайта өңделген сұрау және біріктірілген бағалау жиынтығында әр сұрау үшін орта есеппен 99,6 оң өзектілік бағалауы бар. Ең жақын қоғамдық салыстыру – MS MARCO Web Search, бұл MS MARCO веб-ауқымдағы нұсқасы. Онда 100,9 миллион құжат, 9 374 сынақ сұрауы және әр сұрау үшін бір шертуден алынған оң белгі бар.

Біз Q2D-Web қалай жасадық

Q2D-Web құрылысы: құпиялылық бойынша сүзгіден өткен сұраныстарды іріктеу, корпус құрастыру және дубликаттарды жою, өзектілікті белгілеу және қосалқы корпусты іріктеу.

Сұраулар

Q2D-Web тоғыз айлық кезең ішінде жиналған он тілдегі және ондаған домендердегі жеке куәландыратын деректерден (PII) таза 23 000 өндірістік іздеу негізінде жасалған.

Іздеу агентара пайдаланушы хабарламасына жауап ретінде орындайтын барлық веб-іздеу құралын шақырулардан тұрады. Әрбір құралды шақыру бір немесе бірнеше сұрауды қамтиды. Әрбір сұрау пайдаланушының сұранысынан, алдыңғы әңгімеден және қажет жағдайда сол іздеу барысында бұрынырақ алынған құжаттардан қайта өңделеді. Әрбір өндірістік іздеу пайдаланушының ақпараттық қажеттілігін қайталайтын бір бастапқы сұрауды және баламалы тұжырымдарды, контекстік ақпаратты немесе қатысты нысандарды зерттейтін нөл немесе одан да көп қолдау сұрауларын қамтиды. Олар бірдей кеңірек сұранысқа қатысты болғанымен, әртүрлі құжаттарды талап етуі мүмкін, сондықтан Q2D-Web әрбір сұрауды өзінің өзектілік бағалауларымен дербес бағалайды.

Q2D-Web жүйесінің 69 721 сұранысының ұзындығы мен тілдік таралуы. Ұзындығы таңбалармен өлшенеді; бағандар әр санаттағы сұраныстардың үлесін көрсетеді.
Q2D-Web сұраныстарының пәндік салалар бойынша таралуы. Бағандар әр саланың сұраныстар жиынтығындағы үлесін көрсетеді; "Басқа" санаты қосымша он бес саланы біріктіреді.


Барлық қосылған сұраулар үшін біз қатаң құпиялылық сүзгісін қолданамыз. Сұраулар өз деректерін пайдалануға рұқсат берген пайдаланушылардан келуі керек, ал perplexity-ai/pplx-pii-masking көмегімен PII анықтау жеке ақпаратты қамтитын сұрауларды шығарып тастайды. Біз сондай-ақ дәл дубликаттарды, өте қысқа сұрауларды және site: немесе тырнақшаға алынған тіркестер сияқты іздеу операторларын қамтитын сұрауларды жоямыз.

Бенчмарк он тілді қамтиды. Ағылшын тілі сұраулардың 65,8%-ын құрайды, одан кейін испан, орыс, неміс, француз, португал, итальян, корей, жапон және қытай тілдері тұр. Сұраулардың таралуы сонымен қатар тұтыну тауарлары, бағдарламалау, заң, денсаулық сақтау, бизнес, ғылым, білім, технология, қаржы, саяхат, ойын-сауық, саясат, жергілікті ақпарат және жаңалықтар сияқты домендердің кең жиынтығын қамтиды.

Корпус

Әрбір сұрау үшін біз өндірістік іздеу жүйесі арқылы ең жақсы 5000 құжатты аламыз және бұл нәтиже жиынтықтарының бірігуін аламыз. Содан кейін біз 5 токендік жиынтықтары кемінде 0,975 Jaccard ұқсастығына ие құжаттарды топтастыра отырып, MinHash–LSH көмегімен корпустың дубликаттарын жоямыз.

Жинақ әдейі кездейсоқ веб-үлгі емес емес. Әрбір құжат ең болмағанда бір көрсеткіш (бенчмарк) сұрауы үшін орынды нәтиже ретінде қарастырылды. Бұл күрделі алаңдатушылардың тығыз жиынтығын жасайды: сұраудың тақырыбына немесе тіліне сәйкес келетін, бірақ қажетті күнді, нысанды, нұсқаны, мөлшерді немесе аспектіні өткізіп алуы мүмкін беттер.

Шамамен 190 миллион құжаттан тұратын корпустағы құжаттардың ұзындығы мен тілдік таралуы. Ұзындығы таңбалармен өлшенеді; бағандар әр санаттағы құжаттардың үлесін көрсетеді.

Бағалаулар

Өзектілік белгілері үлкен ауқымда табиғатынан толық емес. Әрбір мүмкін сұрау-құжат жұбын таңбалау мүмкін емес және бағалаулардың әрбір дереккөзі әртүрлі біржақтылықты тасымалдайды.

Q2D-Web бір дереккөзді негізгі шындық ретінде қарастырудың орнына, жалғыз біржақтылықтан зардап шекпей аннотация тереңдігін арттыру үшін үш өзектілік жиынтығын пайдаланады.

Дәйексөз агент жауапта құжатқа сілтеме жасаған кезде оны өзекті деп белгілейді. Бұл төменгі ағынды пайдалануға ең жақын сигнал: агент құжатты шағымға дәлел ретінде таңдады. Бірақ дәйексөз құрылымы бойынша жоғары дәлдік пен төмен еске түсіруге ие. Агент жеткілікті қолдау тапқаннан кейін, ол әрбір басқа тиісті бетке сілтеме жасауға аз себеп береді.

Веб-рейтинг бірінші кезеңде BM25 және тығыз іздеуді қолданатын ішкі іздеу стегі арқылы анықталған, содан кейін кросс-энкодерлік қайта рейтинг жүргізілетін, әр сұрау үшін 50-ге дейін құжаттан (орта есеппен 43,1) тұрады. Бұл пайдалы, бірақ дәйексөз келтірілмеген құжаттарды түсіреді.

Біріктірілген + LLM бағалаған Дәйексөз пен Веб-рейтингтің бірігуін алады, содан кейін жалған теріс нәтижелер санын азайту мақсатымен бұрын бағаланбаған кандидаттар үшін LLM бағалауларын қосады. Біз BM25, ColBERTv2 және 2025 жылдың 1 қаңтарына дейін шығарылған жеті тығыз іздеу құралының нәтижелерін біріктіреміз, олардың рейтингтерін өзара рейтингті біріктіру (RRF) арқылы біріктіреміз, ең жақсы 500 бағаланбаған құжатты таңдаймыз және DeepSeek-V4-Flash көмегімен қатаң бинарлық өзектілік бағалаушысын қолданамыз.

Бұл үш жиын модель өнімділігінің өзектіліктің қалай анықталатынына байланысты екенін сұрауға мүмкіндік береді. Олар сондай-ақ белгілерді жасау үшін пайдаланылған жүйеге ұқсас іздеу құралдарын қолдауы мүмкін жалғыз таңбалау стегіне тәуелділікті азайтады.

Логарифмдік шкала бойынша сұранысқа сай тиісті құжаттардың таралуы. Біріктірілген белгілер дәйәкөздерді, веб-рейтингтерді және қосымша LLM бағалауларын біріктіреді.

Қосалқы іріктеу: үлкен ауқымда тиімді бағалау

Толық корпусты бағалау қымбат әрі баяу. pplx-embed-v1-4b көмегімен Q2D-Web жүйесіндегі жалғыз бағалау 4608 H200 GPU сағатын қажет етеді, ал EmbeddingGemma-300M сияқты шағын модельдің өзі шамамен 200 H200 GPU сағатын қажет етеді.

Бағалауды практикалық етіп сақтау үшін біз корпустың қосалқы іріктелген нұсқасын саламыз.

Толық корпус әрекетін көрсететін кішірек қосалқы корпусты құру үшін біз іріктеу стратегиялары бойынша кең көлемді абляция жүргіздік. Әрбір стратегия оң бағаланған барлық құжаттарды сақтайды және тек бағаланбаған алаңдатушылардың қалай таңдалатыны бойынша өзгереді. Маңызды алаңдатушылар – іздеу құралы тиісті құжаттан жоғарырақ рейтингке ие болуы ықтимал алаңдатушылар, өйткені олар модельдің ұпайын және рейтингтегі орнын өзгертеді.

Біз біркелкі кездейсоқ таңдаманы, іздеу құралдарын жасаудағы тұрақты тереңдікке біріктіруді және әртүрлі тереңдіктер бойынша сұрауларға арналған RRF әдісін салыстырдық. RRF негізіндегі таңдама толық корпустағы құжаттардың тек 31.7%-ын пайдаланады. Ол кездейсоқ таңдама үшін 12.8 тармаққа артумен салыстырғанда, абсолютті мәндерге жақын бола отырып, Біріктірілген бағалаулар аясында толық корпустағы модельдердің рейтингін сақтайды және Recall@1000 орташа мәнін 5.2 тармаққа арттырады.

Таңдама стратегиялары бойынша Біріктірілген бағалаулар аясындағы орташа Recall@1000 және толық корпустағы модель рейтингтерімен сәйкестік. Өзара рангті біріктіру (RRF) кездейсоқ таңдамаға қарағанда рекалл көрсеткішінің аз артуымен, корпус өлшемінің 31.7%-ын пайдалана отырып бағаланған модельдердің рейтингін сақтайды.

Бұл бағалау құнын толық корпус құнының шамамен үштен біріне дейін азайтады. RRF негізіндегі қосалқы корпусты пайдалана отырып, pplx-embed-v1-4b шамамен 1500 H200 GPU сағатын және EmbeddingGemma-300M 70-тен азын қажет етеді.

Әрбір тапсырыс бірінші кезекте іріктелген қосалқы корпус нұсқасында бағаланады. Тапсырыстар параметрлердің жалпы саны бойынша екі топқа бөлінеді: 1B дейін және 1B-ден жоғары. Іріктелген қосалқы корпуста өз тобының алғашқы ондығына жеткен модель содан кейін толық корпуста бағаланады. Өз тобында алғашқы 10-дыққа кірмеген модельдер тек іріктелген қосалқы корпус көшбасшылар тақтасында жарияланады.

Бағалау нәтижелері

Бағаланған модельдер арқылы Q2D-Web өзінің 3 әртүрлі өзектілік жиынтығы арқылы веб ауқымындағы іздеу өнімділігінің тұрақты көрінісін қамтамасыз етеді. Көшбасшылар тақтасы бұл толықтырушы көріністерді қатар ұсынады, бұл пайдаланушыларға тар дәйексөз негізіндегі белгілер мен кеңірек өзектілік бағалаулары бойынша модельдердің қалай жұмыс істейтінін тексеруге мүмкіндік береді.

Біз Recall@1000 көрсеткішін негізгі көрсеткіш ретінде қарастырамыз, өйткені бірінші кезеңдегі іздеуші тиісті құжаттарды үміткерлер қорына орналастыруы керек, ал кейінгі қайта рейтинг олардың соңғы ретін анықтайды.

Модельдер отбасы бойынша топтастырылған он үш іздеу жүйесі үшін Біріктірілген Recall@1000 және Біріктірілген nDCG@10 көрсеткіштері. Ең жоғары ұпай жинаған модель екі метрика арасында ерекшеленеді.

1-кесте. Дәйексөз, Вебті іздеу және Біріктірілген маңыздылық жиынтықтары бойынша он үш іздеу құралының толық корпустағы Recall@1000 және nDCG@10 мәндері. Жоғары ұпайлар жақсырақ екенін білдіреді.

Модель

Recall@1000: Дәйексөз

Recall@1000: Веб-рейтинг

Recall@1000: Біріктірілген

nDCG@10: Дәйексөз

nDCG@10: Веб-рейтинг

nDCG@10: Біріктірілген

BM25-tantivy

60.84

42,50

45.25

7.30

11,45

29.27

EmbeddingGemma-300M

80.10

58,93

66.24

12.21

17,30

41.95

mDenseOn

73.72

52,56

60.09

10.08

15,06

38.87

Nemotron-3-Embed-1B

75.64

54,37

62.44

9.69

14,83

38.84

Nemotron-3-Embed-8B

83.14

61,73

69.33

13.17

18,69

45.65

pplx-embed-v1-0.6b

81.85

62,15

67.91

12.52

19,76

42.73

pplx-embed-v1-4b

85.03

65,73

70.00

14.18

21,29

44.12

Qwen3-Embedding-0.6B

71.19

51,82

58.68

8.53

14,11

36.19

Qwen3-Embedding-4B

76.49

55,60

62.78

9.91

14,97

38.82

Qwen3-Embedding-8B

79.26

58,34

65.32

10.75

16,27

41.20

voyage-4-nano

69.55

50,14

57.42

6.96

11,77

30.59

mLateOn

74.16

53,12

61.77

10.94

15,51

41.61

pplx-embed-v1-late-0.6b

78.64

58,14

64.20

11.88

17,25

41.77

pplx-embed-v1-4b моделінің көрсеткіші барлық үш бағалау жиынтығындағы ең жоғары Recall@1000 мәніне ие: Дәйексөз (85.03), Вебті іздеу (65.73) және Біріктірілген (70.00). Біріктірілген Recall@100 және nDCG@10 көрсеткіштері бойынша Nemotron-3-Embed-8B (30.32 және 45.65) pplx-embed-v1-4b (30.17 және 44.12) моделінен жоғары нәтиже көрсетеді.

Бір отбасы шеңберінде үлкенірек модельдер Біріктірілген Recall@1000 бойынша жоғарырақ ұпай жинайды. Qwen3-Embedding көрсеткіші 58.68 (0.6B) деңгейінен 65.32 (8B) деңгейіне дейін, Nemotron-3-Embed 62.44 (1B) деңгейінен 69.33 (8B) деңгейіне дейін, ал pplx-embed-v1 67.91 (0.6B) деңгейінен 70.00 (4B) деңгейіне дейін өседі.

Perplexity модельдері барлық басқа жіберілген модельдер сияқты бірдей құбыр арқылы бағаланады. Дегенмен, Q2D-Web Perplexity өндірістік трафигінен алынғандықтан, бұл модельдер үлестірілім ішіндегі артықшылыққа ие болуы мүмкін. Бенчмарктің бағалау сұраулары мен корпусы модельді оқытудан шығарылып тасталғанымен, нәтижелер осы ықтимал артықшылықты ескере отырып түсіндірілуі тиіс.

Көшбасшылар тақтасына қалай қатысуға болады

Бағалауды сұрау үшін біздің бағалау сұранысы пішіні арқылы көпшілікке қолжетімді Hugging Face моделін жіберіңіз.

Біз модельге арналған қорытынды параметрлері үшін ұсынылған сұрау мен құжат нұсқауларын немесе префикстерді, пулингті, қалыптастыруды және ұқсастық функциясын қоса алғанда, жіберілген репозиторийдегі модель картасын орындаймыз. Барлық сұраулар мен құжаттар нұсқауларды, префикстерді және арнайы таңбаларды қоса алғанда, модельдің өзінің токенызаторы арқылы 512 токенге дейін қысқартылады, сондықтан ұзағырақ қолдау көрсетілетін контекст ешқандай артықшылық бермейді. Модель картасы қарастырылған іздеу орнатуын қайта шығару үшін толық, анық емес нұсқауларды қамтамасыз ететініне көз жеткізіңіз.

Жарамды модельдер стандартты transformers немесе sentence-transformers API интерфейстері арқылы жүктелуі тиіс. trust_remote_code=False параметрімен жұмыс істемейтін модельдер бағалау алдында арнайы кодты және тапсырушыны қолмен шолуды талап етеді, бұл айтарлықтай ұзағырақ уақыт алады. Жеке немесе шектелген репозиторийлер қабылданбайды.

Әдістеме мен нәтижелер туралы көбірек білу үшін техникалық есебімізді оқыңыз.

Дәйексөз

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}