Q2D-Web: Оценка ретриверов первого этапа в большом масштабе

Бенчмарк и таблица лидеров с 70 тысячами запросов агентов, 190 миллионами веб-документов и тремя наборами оценок релевантности.

АвторыPerplexity Research

Сегодня мы представляем Q2D-Web (Query2Doc-Web), частный бенчмарк и публичную таблицу лидеров для оценки извлечения в агентных RAG-системах. Q2D-Web расширяет наш оригинальный бенчмарк Q2D до крупномасштабного корпуса, большего набора запросов и более глубоких аннотаций оценок.

Q2D-Web создан для оценки эмбеддинговых моделей в крупномасштабном веб-поиске. Он состоит из 190 миллионов веб-документов и 69 721 запроса, переформулированного агентом, на десяти языках, собранных за девять месяцев производственного поискового трафика без PII.

В таком масштабе сигнал релевантности на уровне «запрос-документ» неизбежно является разреженным. Вместо того чтобы рассматривать один источник в качестве эталона (ground truth), мы предоставляем три набора оценок релевантности, полученных из цитирований агентов, поисковых рейтингов в рабочей среде и дополнительных оценок LLM для ранее неоцененных пар. Множественность источников ограничивает предвзятость любого отдельного конвейера разметки, в то время как более глубокая аннотация уменьшает количество ложноотрицательных результатов.

Наша таблица лидеров содержит результаты для публично выпущенных моделей извлечения, оцененных непосредственно по бенчмарку с использованием согласованного конвейера индексации, извлечения и подсчета очков. Оценку можно отправить через нашу форму запроса.

Проблема реалистичной оценки извлечения

Для каждого запроса поисковая система рабочего масштаба ищет по корпусу из миллиардов веб-страниц и возвращает тысячи документов-кандидатов. Эти кандидаты определяют, какие источники могут видеть нисходящие (downstream) системы, напрямую формируя доказательную базу, доступную агенту.

Таким образом, реалистичная оценка этого первого этапа требует бенчмарков, которые масштабируются по трем измерениям: количеству документов в корпусе, количеству оцененных запросов и количеству оценок релевантности на запрос.

Более крупные корпусы могут сделать бенчмарк более дискриминативным за счет добавления сложных негативов — документов, которые семантически похожи на запрос, но не содержат запрашиваемую информацию. Ретриверы должны отличать эти правдоподобные совпадения от релевантных документов. Уменьшение корпуса при сохранении известных релевантных документов может удалить эти дистракторы и завысить показатель полноты (recall), как показывают наши эксперименты с субдискретизацией ниже.

Большее количество оцененных запросов делает оценки производительности более надежными. При небольшом наборе запросов результаты бенчмарка сильно зависят от того, какие именно запросы попали в выборку, что усложняет точную оценку производительности каждой модели и уверенное различие между моделями.

Более глубокие оценки уменьшают количество ложноотрицательных результатов при оценке. При разреженной разметке ретривер может выводить релевантные документы, которые не оценены и поэтому ошибочно засчитываются как нерелевантные. Это снижает надежность оценки. MS MARCO — это главный крупномасштабный открытый набор данных в области информационного поиска, который сформировал развитие нейронных поисковых моделей. В нем 70% вручную проверенных, извлеченных в топ, но не размеченных фрагментов на самом деле были релевантными.

Существующие бенчмарки имеют тенденцию масштабироваться только по одному или двум из этих измерений: коллекции веб-масштаба часто имеют относительно немного оцененных запросов, в то время как бенчмарки со множеством запросов обычно используют гораздо меньшие корпусы и разреженную разметку. Более того, в большинстве бенчмарков используются запросы, написанные людьми, тогда как агентные RAG-системы выполняют поиск с помощью запросов, переформулированных агентом, которые могут отличаться по формулировке, структуре и специфичности.

Q2D-Web масштабируется по всем трем измерениям. Он содержит 190 миллионов веб-документов, 69 721 запрос, переформулированный агентом, и в среднем 99,6 положительных оценок релевантности на запрос в своем комбинированном наборе оценок. Ближайший публичный аналог — MS MARCO Web Search, веб-масштабная версия MS MARCO. В ней содержится 100,9 миллиона документов, 9374 тестовых запроса и одна положительная метка на запрос, полученная по кликам.

Как мы создавали Q2D-Web

Создание Q2D-Web: сэмплирование запросов с фильтрацией конфиденциальности, сбор и дедупликация корпуса, разметка релевантности и сэмплирование субкорпуса.

Запросы

Q2D-Web создан на основе 23 000 рабочих поисковых запросов без PII на десяти языках и в десятках доменов, собранных за девятимесячный период.

Поиск состоит из всех вызовов инструментов веб-поиска, которые агент выполняет в ответ на сообщение пользователя. Каждый вызов инструмента содержит один или несколько запросов. Каждый запрос переформулируется на основе запроса пользователя, предыдущего разговора и, при необходимости, документов, полученных ранее в ходе того же поиска. Каждый поисковый запрос в рабочей среде содержит один основной запрос, который отражает информационную потребность пользователя, и ноль или более вспомогательных запросов, которые изучают альтернативные формулировки, справочную информацию или связанные сущности. Несмотря на то, что они относятся к одному и тому же более широкому запросу, им могут потребоваться разные документы, поэтому Q2D-Web оценивает каждый запрос независимо с собственными оценками релевантности.

Распределение длины и языков 69 721 запроса в Q2D-Web. Длина измеряется в символах; на столбцах показана доля запросов в каждой категории.
Распределение запросов Q2D-Web по предметным областям. На столбцах показана доля каждой области в наборе запросов; категория «Другое» объединяет пятнадцать дополнительных областей.

Мы применяем строгую фильтрацию конфиденциальности для всех включенных запросов. Запросы должны поступать от пользователей, разрешивших использование своих данных, а обнаружение PII с помощью perplexity-ai/pplx-pii-masking исключает запросы, содержащие личную информацию. Мы также удаляем точные дубликаты, очень короткие запросы и запросы, содержащие поисковые операторы вроде site: или фразы в кавычках.

Бенчмарк охватывает десять языков. На английский язык приходится 65,8% запросов, за ним следуют испанский, русский, немецкий, французский, португальский, итальянский, корейский, японский и китайский. Распределение запросов также охватывает широкий спектр доменов, включая потребительские товары, программирование, право, здравоохранение, бизнес, науку, образование, технологии, финансы, путешествия, развлечения, политику, местную информацию и новости.

Корпус

Для каждого запроса мы извлекаем топ-5000 документов с помощью рабочей поисковой системы и берем объединение этих наборов результатов. Затем мы дедуплицируем корпус с помощью MinHash–LSH, объединяя в кластеры документы, чьи наборы из 5-граммов токенов имеют коэффициент Жаккара не менее 0,975.

Коллекция намеренно не является случайной выборкой веб-страниц. Каждый документ рассматривался как правдоподобный результат по крайней мере для одного эталонного запроса. Это создает плотный набор сложных дистракторов: страниц, которые соответствуют теме или языку запроса, но могут пропускать необходимую дату, сущность, версию, количество или аспект.

Распределение длины и языков документов в корпусе объемом примерно 190 миллионов документов. Длина измеряется в символах; на столбцах показана доля документов в каждой категории.

Оценки

Оценки релевантности по своей природе неполны в больших масштабах. Разметка каждой возможной пары «запрос-документ» невыполнима, и каждый источник оценок несет в себе разную предвзятость.

Q2D-Web использует три набора релевантности вместо того, чтобы рассматривать один источник в качестве эталона, чтобы увеличить глубину аннотирования без возникновения единой предвзятости.

Цитирование (Citation) помечает документ как релевантный, когда агент процитировал его в ответе. Это сигнал, наиболее близкий к практическому использованию: агент выбрал документ в качестве доказательства для утверждения. Но цитирование по своей конструкции обладает высокой точностью и низкой полнотой. Как только у агента появляется достаточно подтверждений, у него нет особых причин цитировать каждую другую релевантную страницу.

Веб-рейтинг (Web Ranking) состоит из не более чем 50 документов на запрос (в среднем 43,1), определенных внутренней поисковой системой с использованием BM25 и плотного извлечения на первом этапе, с последующим переранжированием с помощью кросс-энкодера. Это позволяет находить полезные, но не цитируемые документы.

Комбинированный + оценки LLM (Combined + LLM-Judged) берет объединение наборов «Цитирование» (Citation) и «Веб-рейтинг» (Web Ranking), а затем добавляет оценки LLM для ранее неоцененных кандидатов с целью уменьшения количества ложноотрицательных результатов. Мы объединяем результаты из BM25, ColBERTv2 и семи плотных ретриверов, выпущенных до 1 января 2025 года, объединяем их рейтинги с помощью слияния взаимных рангов (RRF), выбираем топ-500 неоцененных документов и применяем строгую бинарную оценку релевантности с использованием DeepSeek-V4-Flash.

Эти три набора позволяют нам выяснить, зависят ли характеристики моделей от того, как определяется релевантность. Они также снижают зависимость от единого стека разметки, который в противном случае мог бы отдавать предпочтение ретриверам, похожим на систему, использовавшуюся для генерации разметки.

Распределение релевантных документов по запросам в логарифмическом масштабе. Объединенные метки включают цитирования, веб-рейтинги и дополнительные экспертные оценки LLM.

Субдискретизация: эффективная оценка в большом масштабе

Оценка на полном корпусе стоит дорого и занимает много времени. Одиночная оценка на Q2D-Web с использованием модели pplx-embed-v1-4b требует 4608 часов работы графических процессоров H200, в то время как даже для небольшой модели вроде EmbeddingGemma-300M требуется почти 200 часов работы GPU H200.

Чтобы сделать оценку практичной, мы создаем субдискретизированную версию корпуса.

Мы провели обширное исследование абляции по стратегии выборки, чтобы построить меньший подкорпус, отражающий поведение полного корпуса. Каждая стратегия сохраняет все положительно оцененные документы и различается только тем, как выбираются неоцененные дистракторы. Важные дистракторы — это те, которые ретривер с высокой вероятностью поставит выше релевантного документа, поскольку они меняют оценку модели и ее позицию в рейтинге.

Мы сравнили случайную выборку с равномерным распределением, пулинг до фиксированной глубины по всем ретриверам генерации и позопросный RRF для разной глубины. Выборка на основе RRF использует лишь 31,7% документов из полного корпуса. Она сохраняет ранжирование моделей по полному корпусу для оценок Combined, оставаясь близкой к абсолютным значениям и увеличивая средний показатель Recall@1000 на 5,2 пункта по сравнению с 12,8 пунктами для случайной выборки того же размера.

Средний показатель Recall@1000 и соответствие ранжированию моделей по полному корпусу для оценок Combined при различных стратегиях выборки. Объединение обратных рангов (RRF) сохраняет ранжирование оцениваемых моделей, используя 31,7% корпуса, с меньшим завышением полноты (recall), чем случайная выборка.

Это снижает затраты на оценку примерно до трети от затрат на весь корпус. Используя подкорпус на основе RRF, pplx-embed-v1-4b требует около 1500 часов работы графических процессоров H200, а EmbeddingGemma-300M — менее 70.

Каждая отправленная модель сначала оценивается на версии с выборкой подкорпуса. Отправленные модели делятся на две группы по общему количеству параметров: до 1 млрд и выше 1 млрд. Модель, попавшая в топ-10 своей группы на выбранном подкорпусе, затем оценивается на полном корпусе. Модели, занявшие места ниже топ-10 в своей группе, будут опубликованы только в таблице лидеров по выбранному подкорпусу.

Результаты оценки

По всем оцениваемым моделям Q2D-Web обеспечивает согласованное представление производительности извлечения в веб-масштабе по трем различным наборам релевантности. Таблица лидеров делает эти взаимодополняющие представления доступными бок о бок, позволяя пользователям изучать, как модели работают при более узких метках на основе цитирований и более широких суждениях о релевантности.

Мы фокусируемся на Recall@1000 в качестве нашей основной метрики, потому что ретриверу первого этапа нужно лишь поместить релевантные документы в пул кандидатов, в то время как последующее ранжирование определяет их окончательный порядок.

Метрика Combined Recall@1000 против Combined nDCG@10 для тринадцати поисковых систем, сгруппированных по семействам моделей. Модель с наивысшим баллом различается для этих двух метрик.

Таблица 1. Показатели Recall@1000 и nDCG@10 по полному корпусу для тринадцати ретриверов по наборам релевантности Citation, Web Ranking и Combined. Более высокие значения соответствуют лучшим результатам.

Модель

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0.6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0.6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0.6b

78,64

58,14

64,20

11,88

17,25

41,77

pplx-embed-v1-4b показывает наивысший показатель Recall@1000 по всем трем наборам экспертных оценок: Citation (85,03), Web Ranking (65,73) и Combined (70,00). По метрикам Combined Recall@100 и nDCG@10 модель Nemotron-3-Embed-8B (30,32 и 45,65) превосходит pplx-embed-v1-4b (30,17 и 44,12).

В рамках одного семейства крупные модели показывают более высокие результаты по метрике Combined Recall@1000. У модели Qwen3-Embedding этот показатель возрастает с 58,68 (0,6B) до 65,32 (8B), у Nemotron-3-Embed — с 62,44 (1B) до 69,33 (8B), а у pplx-embed-v1 — с 67,91 (0,6B) до 70,00 (4B).

Модели Perplexity оцениваются с использованием того же конвейера, что и все остальные отправленные модели. Однако, поскольку Q2D-Web создан на основе рабочего трафика Perplexity, эти модели могут иметь преимущество за счет соответствия распределению (in-distribution advantage). Несмотря на то, что оценочные запросы и корпус бенчмарка были исключены из обучения моделей, результаты следует интерпретировать с учетом этого потенциального преимущества.

Как попасть в таблицу лидеров

Чтобы запросить оценку, отправьте общедоступную модель с Hugging Face через нашу форму запроса на оценку.

Мы следуем карточке модели в отправленном репозитории для настроек инференса, специфичных для модели, включая рекомендуемые инструкции или префиксы для запросов и документов, пулинг, нормализацию и функцию сходства. Все запросы и документы усекаются до 512 токенов с использованием собственного токенизатора модели, включая инструкции, префиксы и специальные токены, поэтому больший поддерживаемый контекст не дает никаких преимуществ. Пожалуйста, убедитесь, что карточка модели предоставляет полные, недвусмысленные инструкции для воспроизведения предполагаемой настройки извлечения.

Соответствующие требованиям модели должны загружаться через стандартные API transformers или sentence-transformers. Модели, которые не запускаются с параметром trust_remote_code=False, требуют ручной проверки пользовательского кода и отправителя перед оценкой, что занимает значительно больше времени. Частные или закрытые (gated) репозитории не допускаются.

Прочитайте наш технический отчёт, чтобы узнать больше о методологии и полученных результатах.

Цитирование

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}