Q2D-Web: Оценка на първоетапни извличащи машини в мащаб

Бенчмарк и класация със 70 хиляди агентни заявки, 190 милиона уеб документа и три набора от оценки за релевантност.

АвториPerplexity Research

Днес представяме Q2D-Web (Query2Doc-Web), частен бенчмарк и публична класация за оценка на извличането в агентни RAG системи. Q2D-Web разширява нашия оригинален Q2D бенчмарк до мащабен корпус, по-голям набор от заявки и по-дълбоки анотации с оценки.

Q2D-Web е изграден за оценка на ембединг модели при мащабно уеб търсене. Той се състои от 190 милиона уеб документа и 69 721 преформулирани от агенти заявки на десет езика, събрани в рамките на девет месеца производствен трафик на търсене без лични данни (PII).

При този мащаб сигналът за релевантност на ниво заявка-документ неизбежно е рядък. Вместо да третираме един източник като еталон (ground truth), ние предоставяме три набора с оценки за релевантност, получени от цитирания на агенти, производствени уеб ранкирания и допълнителни оценки от LLM за предварително неоценени двойки. Множеството източници ограничават отклонението от който и да е единствен конвейер за етикетиране, докато по-дълбоката анотация намалява фалшивите отрицателни резултати.

Нашата класация отчита резултатите за публично пуснати модели за извличане, оценени директно спрямо бенчмарка с помощта на консистентен конвейер за индексиране, извличане и оценяване. Оценка може да бъде изпратена чрез нашия формуляр за заявка.

Предизвикателството на реалистичната оценка на извличането

За всяка заявка производна система за извличане в мащаб търси в корпус от милиарди уеб страници и връща хиляди документи кандидати. Тези кандидати определят кои източници могат да видят downstream системите, като директно оформя доказателствата, достъпни за агента.

Поради това реалистичната оценка на този първи етап изисква бенчмаркове, които се мащабират в три измерения: броя на документите в корпуса, броя на оценените заявки и броя на оценките за релевантност на заявка.

По-големите корпуси могат да направят бенчмарка по-дискриминативен чрез въвеждане на трудни негативи – документи, които са семантично сходни със заявката, но не предоставят поисканата информация. Извличащите машини трябва да разграничават тези правдоподобни съвпадения от релевантните документи. Свиването на корпуса, докато се запазват известните релевантни документи, може да премахне тези дистрактори и да надуе отговора (recall), както показват нашите експерименти със субсемплиране по-долу.

Повече оценени заявки правят оценките на производителността по-надеждни. С малък набор от заявки резултатите от бенчмарка зависят силно от това кои заявки са били подложени на субсемплиране, което затруднява точното оценяване на производителността на всеки модел и увереното разграничаване между моделите.

По-дълбоките оценки намаляват фалшивите отрицателни резултати при оценяването. При редки етикети извличащата машина може да извади на повърхността релевантни документи, които не са оценени и поради това погрешно се отчитат като нерелевантни. Това прави оценката по-малко надеждна. MS MARCO е основният мащабен отворен набор от данни за извличане на информация и оформя развитието на невронните модели за извличане. Там 70% от ръчно проверените най-добре извлечени, но неетикетирани пасажи всъщност бяха релевантни.

Съществуващите бенчмаркове са склонни да се мащабират в само едно или две от тези измерения: колекциите в уеб мащаб често имат сравнително малко оценени заявки, докато бенчмарковете с много заявки обикновено използват много по-малки корпуси и редки етикети. Освен това повечето бенчмаркове използват написани от хора заявки, докато агентните RAG системи търсят със заявки, преформулирани от агенти, които могат да се различават по формулировка, структура и специфичност.

Q2D-Web се мащабира във всички три измерения. Той съдържа 190 милиона уеб документа, 69 721 преформулирани от агенти заявки и средно 99.6 положителни оценки за релевантност на заявка в своя комбиниран набор от оценки. Най-близкото публично сравнение е MS MARCO Web Search, версията в уеб мащаб на MS MARCO. Тя има 100.9 милиона документа, 9374 тестови заявки и един положителен етикет на заявка, получен от кликвания.

Как създадохме Q2D-Web

Изграждане на Q2D-Web: филтрирано по поверителност вземане на проби от заявки, събиране и дедупликация на корпус, определяне на релевантност и вземане на проби от подкорпус.

Заявки

Q2D-Web е изграден върху 23 000 производствени търсения без лични данни (PII) на десет езика и десетки домейни, събрани за период от девет месеца.

Едно търсене се състои от всички извиквания на инструменти за уеб търсене, които агентът извършва в отговор на потребителско съобщение. Всяко извикване на инструмент съдържа една или повече заявки. Всяка заявка се преформулира въз основа на потребителския заявка, предишния разговор и, където е приложимо, документи, извлечени по-рано в същото търсене. Всяко производствено търсене съдържа една основна заявка, която изразява информационната нужда на потребителя, и нула или повече поддържащи заявки, които изследват алтернативни формулировки, фонова информация или свързани обекти. Въпреки че се отнасят до същата по-обща заявка, те могат да изискват различни документи, така че Q2D-Web оценява всяка заявка независимо със собствени оценки за релевантност.

Разпределение по дължина и език на 69 721-те заявки на Q2D-Web. Дължината се измерва в знаци; лентите показват дела на заявките във всяка категория.
Разпределение на заявките в Q2D-Web по предметни области. Лентите показват дела на всяка област от набора от заявки; „Други“ групира петнадесет допълнителни области.

Прилагаме стриктно филтриране за поверителност за всички включени заявки. Заявките трябва да идват от потребители, които са позволили използването на техните данни, а откриването на PII с помощта на perplexity-ai/pplx-pii-masking изключва заявки, съдържащи лична информация. Ние също така премахваме точни дубликати, много къси заявки и заявки, съдържащи оператори за търсене като site: или фрази в кавички.

Бенчмаркът обхваща десет езика. Английският представлява 58.8% от заявките, следван от испански, руски, немски, френски, португалски, италиански, корейски, японски и китайски. Разпределението на заявките обхваща и широк микс от домейни, включително потребителски стоки, програмиране, право, здравеопазване, бизнес, наука, образование, технологии, финанси, пътувания, забавления, политика, локална информация и новини.

Корпус

За всяка заявка извличаме топ 5000 документа с производствена система за извличане и взимаме обединението на тези набори от резултати. След това дедупликираме корпуса с помощта на MinHash–LSH, като групираме документи, чиито 5-грамови набори от токени имат Jaccard сходство от поне 0.975.

Колекцията умишлено не е случайна уеб извадка. Всеки документ е разгледан като правдоподобен резултат за поне една бенчмарк заявка. Това създава плътен набор от трудни дистрактори: страници, които съответстват на темата или езика на заявката, но могат да пропускат задължителна дата, обект, версия, количество или аспект.

Разпределение на дължината и езика на документите в корпуса от приблизително 190 милиона документа. Дължината се измерва в знаци; лентите показват дела на документите във всяка категория.

Оценки

Етикетите за релевантност са непълни по своята същност в голям мащаб. Етикетирането на всяка възможна двойка заявка-документ е неосъществимо и всеки източник на оценки носи различно отклонение.

Q2D-Web използва три набора за релевантност, вместо да третира един източник като еталон, за да увеличи дълбочината на анотацията, без да страда от едно единствено отклонение.

Цитирането (Citation) етикетира даден документ като релевантен, когато агент го е цитирал в отговор. Това е най-близкият сигнал до използването надолу по веригата: агентът е избрал документа като доказателство за твърдение. Но цитирането по своя дизайн е с висока прецизност и нисък отговор (recall). Щом агентът разполага с достатъчна подкрепа, той има малка причина да цитира всяка друга релевантна страница.

Уеб класирането (Web Ranking) се състои от до 50 документа на заявка (средно 43.1), идентифицирани от вътрешна извличаща структура, използваща BM25 и плътно извличане на първия етап, последвани от крос-енкодерно пренареждане. Това улавя документи, които са полезни, но не са цитирани.

Комбиниран + Оценен от LLM (Combined + LLM-Judged) взима обединението на Цитиране и Уеб класиране, след което добавя LLM оценки за предварително неоценени кандидати с цел намаляване на броя на фалшивите отрицателни резултати. Обединяваме резултати от BM25, ColBERTv2 и седем плътни извличащи машини, пуснати преди 1 януари 2025 г., сливаме техните класирания с помощта на reciprocal rank fusion (RRF), избираме топ 500 неоценени документа и прилагаме стриктна бинарна оценка за релевантност с помощта на DeepSeek-V4-Flash.

Трите набора ни позволяват да проверим дали представянето на моделите зависи от начина, по който е дефинирана релевантността. Те също така намаляват зависимостта от една единствена система за етикетиране, която иначе би могла да благоприятства извличащи машини, сходни с използваната за генериране на етикетите.

Разпределение на релевантните документи на заявка в логаритмична скала. Комбинираните етикети обединяват цитирания, уеб класации и допълнителни оценки от LLM.

Субсемплиране: ефективна оценка в мащаб

Оценката на целия корпус е скъпа и бавна. Една единствена оценка на Q2D-Web с pplx-embed-v1-4b изисква 4608 H200 GPU часа, докато дори малък модел като EmbeddingGemma-300M изисква близо 200 H200 GPU часа.

За да поддържаме оценката практична, изграждаме субсемплирана версия на корпуса.

Извършихме мащабна аблация върху стратегиите за семплиране, за да изградим по-малък подкорпус, който отразява поведението на пълния корпус. Всяка стратегия запазва всички положително оценени документи и варира само в начина, по който се избират неоценените дистрактори. Дистракторите, които имат значение, са тези, които дадена извличаща машина вероятно ще класира над релевантен документ, защото те променят резултата на модела и неговата позиция в класирането.

Сравнихме умереното случайно семплиране, обединяването до фиксирана дълбочина при извличащите модули и RRF по заявка при различни дълбочини. Базираното на RRF семплиране използва само 31,7% от документите в пълния корпус. То запазва класирането на моделите в целия корпус при оценяването на Combined, като същевременно се доближава до абсолютните резултати и повишава средния Recall@1000 с 5,2 пункта в сравнение с 12,8 пункта при случайното семплиране със същия обем.

Средна стойност на Recall@1000 и съответствие с класирането на моделите в пълния корпус при оценяването на Combined в различните стратегии за семплиране. Обединяването на реципрочни рангове (RRF) запазва класирането на оценените модели, като използва 31,7% от корпуса, при по-малко нарастване на припомнянето в сравнение със случайното семплиране.

Това намалява разходите за оценка до около една трета от разходите за пълния корпус. Използвайки подкорпуса на базата на RRF, pplx-embed-v1-4b изисква приблизително 1500 H200 GPU часа, а EmbeddingGemma-300M изисква под 70.

Всяко подаване се оценява първо върху версията на субсемплирания подкорпус. Подаванията се разделят на две групи по общ брой параметри: до 1B и над 1B. Модел, който достигне топ десет на своята група в субсемплирания подкорпус, след това се оценява върху пълния корпус. Моделите, класирани извън топ 10 в своята група, ще бъдат публикувани само в класацията за субсемплирания подкорпус.

Резултати от оценяването

В рамките на оценените модели Q2D-Web предоставя консистентен изглед на производителността на извличане в уеб мащаб през своите 3 различни набора от релевантност. Класацията прави тези допълващи се изгледи достъпни един до друг, което позволява на потребителите да проверяват как се представят моделите при по-тесни етикети, базирани на цитирания, и по-широки оценки за релевантност.

Фокусираме се върху Recall@1000 като основен метричен показател, тъй като извличащата машина от първи етап трябва единствено да постави релевантните документи в групата от кандидати, докато последващото пренареждане определя техния краен ред.

Combined Recall@1000 спрямо Combined nDCG@10 за тринадесет извличащи модела, групурани по семейство модели. Моделът с най-висок резултат се различава между двете метрики.

Таблица 1. Recall@1000 и nDCG@10 за пълния корпус за тринадесет извличащи модула в наборите от данни за релевантност Citation, Web Ranking и Combined. По-високите резултати са по-добри.

Модел

Recall@1000: Цитиране

Recall@1000: Уеб класиране

Recall@1000: Комбиниран

nDCG@10: Цитиране

nDCG@10: Уеб класиране

nDCG@10: Комбиниран

BM25-tantivy

60,84

42.50

45,25

7,30

11.45

29,27

EmbeddingGemma-300M

80,10

58.93

66,24

12,21

17.30

41,95

mDenseOn

73,72

52.56

60,09

10,08

15.06

38,87

Nemotron-3-Embed-1B

75,64

54.37

62,44

9,69

14.83

38,84

Nemotron-3-Embed-8B

83,14

61.73

69,33

13,17

18.69

45,65

pplx-embed-v1-0.6b

81,85

62.15

67,91

12,52

19.76

42,73

pplx-embed-v1-4b

85,03

65.73

70,00

14,18

21.29

44,12

Qwen3-Embedding-0.6B

71,19

51.82

58,68

8,53

14.11

36,19

Qwen3-Embedding-4B

76,49

55.60

62,78

9,91

14.97

38,82

Qwen3-Embedding-8B

79,26

58.34

65,32

10,75

16.27

41,20

voyage-4-nano

69,55

50.14

57,42

6,96

11.77

30,59

mLateOn

74,16

53.12

61,77

10,94

15.51

41,61

pplx-embed-v1-late-0.6b

78,64

58.14

64,20

11,88

17.25

41,77

pplx-embed-v1-4b има най-високи стойности на Recall@1000 и за трите набора с оценки: Citation (85,03), Web Ranking (65,73) и Combined (70,00). При Combined Recall@100 и nDCG@10, Nemotron-3-Embed-8B (30,32 и 45,65) постига по-висок резултат от pplx-embed-v1-4b (30,17 и 44,12).

В рамките на едно семейство по-големите модели постигат по-високи резултати по отношение на Combined Recall@1000. Qwen3-Embedding нараства от 58,68 (0,6B) до 65,32 (8B), Nemotron-3-Embed – от 62,44 (1B) до 69,33 (8B), а pplx-embed-v1 – от 67,91 (0,6B) до 70,00 (4B).

Моделите Perplexity се оценяват с помощта на същия конвейер като всички останали подадени модели. Въпреки това, тъй като Q2D-Web е производна на производствения трафик на Perplexity, тези модели могат да се възползват от предимство в рамките на разпределението. Въпреки че заявките за оценка и корпусът на бенчмарка бяха изключени от обучението на моделите, резултатите трябва да се тълкуват с оглед на това потенциално предимство.

Как да изпратите за класацията

За да заявите оценка, изпратете публично достъпен модел от Hugging Face чрез нашия формуляр за заявка за оценка.

Ние следваме картата на модела (model card) в подаденото хранилище за специфични за модела настройки за инференция, включително препоръчани инструкции или префикси за заявки и документи, обединяване (pooling), нормализация и функция за сходство. Всички заявки и документи се съкращават до 512 токена с токенизатора на самия модел, включително инструкции, префикси и специални токени, така че по-дългият поддържан контекст не носи предимство. Моля, уверете се, че картата на модела предоставя пълни, недвусмислени инструкции за възпроизвеждане на желаната настройка за извличане.

Допустимите модели трябва да се зареждат през стандартни интерфейси (API) на transformers или sentence-transformers. Моделите, които не се изпълняват с trust_remote_code=False, изискват ръчен преглед на потребителския код и на подаващия преди оценката, което отнема значително повече време. Частните или защитените хранилища не са допустими.

Прочетете нашия технически доклад, за да научите повече за методологията и констатациите.

Цитат

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}