Q2D-Web: Оцінювання пошукових систем першого етапу в масштабі

Бенчмарк і таблиця лідерів із 70 тисячами запитів агентів, 190 мільйонами вебдокументів та трьома наборами оцінок релевантності.

АвториPerplexity Research

Сьогодні ми представляємо Q2D-Web (Query2Doc-Web), приватний бенчмарк і публічну таблицю лідерів для оцінювання пошуку в агентних системах RAG. Q2D-Web розширює наш оригінальний бенчмарк Q2D до корпусу великого масштабу, більшого набору запитів та глибших анотацій оцінок.

Q2D-Web створено для оцінювання моделей вбудовування в масштабному вебпошуку. Він складається зі 190 мільйонів вебдокументів та 69 721 переформульованого агентом запиту десяти мовами, зібраних протягом дев'яти місяців виробничого пошукового трафіку без PII.

У такому масштабі сигнал релевантності на рівні «запит-документ» неминуче є розрідженим. Замість того щоб розглядати одне джерело як істинне, ми надаємо три набори оцінок релевантності, отримані з цитувань агента, веб-рейтингів продакшну та додаткових оцінок LLM для пар, які раніше не оцінювалися. Кілька джерел обмежують упередженість будь-якого окремого конвеєра розмітки, тоді як глибше анотування зменшує кількість хибнонегативних результатів.

Наша таблиця лідерів містить результати для загальнодоступних моделей пошуку, оцінених безпосередньо за бенчмарком за допомогою узгодженого конвеєра інндексації, пошуку та оцінювання. Оцінку можна надіслати через нашу форму запиту.

Проблема реалістичної оцінки пошуку

Для кожного запиту повномасштабна пошукова система шукає в корпусі з мільярдів вебсторінок і повертає тисячі документів-кандидатів. Ці кандидати визначають, які джерела можуть бачити спадкові системи, безпосередньо формуючи доказову базу, доступну агенту.

Реалістичне оцінювання цього першого етапу тому вимагає бенчмарків, які масштабуються за трьома вимірами: кількістю документів у корпусі, кількістю оцінених запитів та кількістю оцінок релевантності на запит.

Більші корпуси можуть зробити бенчмарк більш дискримінативним завдяки введенню складних негативних прикладів — документів, які є семантично схожими на запит, але не містять запитуваної інформації. Засоби пошуку повинні відрізняти ці правдоподібні збіги від релевантних документів. Зменшення корпусу зі збереженням відомих релевантних документів може видалити ці дистрактори та завищити повноту (recall), як показують наші експерименти із субдискретизацією нижче.

Більша кількість оцінених запитів робить оцінки продуктивності більш надійними. За невеликого набору запитів результати бенчмарку сильно залежать від того, які запити були вибірково відібрані, що ускладнює точне оцінювання продуктивності кожної моделі та впевнене розрізнення моделей.

Глибші оцінки зменшують кількість хибнонегативних результатів під час оцінювання. За наявності розріджених міток пошукова система може витягувати релевантні документи, які не оцінені й тому помилково зараховані як нерелевантні. Це робить оцінювання менш надійним. MS MARCO є основним великомасштабним відкритим набором даних для інформаційного пошуку та сформував розвиток нейронних пошукових моделей. Там 70% вручну перевірених найкращих, але не розмічених уривків насправді виявилися релевантними.

Існуючі бенчмарки зазвичай масштабуються лише за одним або двома з цих вимірів: колекції вебмасштабу часто мають відносно мало оцінених запитів, тоді як бенчмарки з великою кількістю запитів зазвичай використовують набагато менші корпуси та розріджені мітки. Крім того, більшість бенчмарків використовують написані людиною запити, тоді як агентні системи RAG шукають за допомогою переформульованих агентом запитів, які можуть відрізнятися за формулюванням, структурою та специфічністю.

Q2D-Web масштабується за всіма трьома вимірами. Він містить 190 мільйонів вебдокументів, 69 721 переформульований агентом запит та в середньому 99,6 позитивних оцінок релевантності на запит у своєму об'єднаному наборі оцінок. Найближчим публічним порівнянням є MS MARCO Web Search — версія MS MARCO у вебмасштабі. Вона має 100,9 мільйона документів, 9374 тестові запити та одну позитивну мітку на запит, отриману за кліками.

Як ми створили Q2D-Web

Створення Q2D-Web: вибірка запитів із фільтрацією конфіденційності, формування й дедуплікація корпусу, маркування релевантності та вибірка підкорпусу.

Запити

Q2D-Web створено на основі 23 000 виробничих пошукових запитів без PII десятьма мовами та в десятках доменів, зібраних протягом дев'яти місяців.

Пошуковий запит складається з усіх викликів інструментів вебпошуку, які агент виконує у відповідь на повідомлення користувача. Кожен виклик інструменту містить один або кілька запитів. Кожен запит переформульовується на основі запиту користувача, попередньої розмови та, де це доречно, документів, отриманих раніше в межах того самого пошуку. Кожен робочий пошуковий запит містить один первинний запит, який повторює інформаційну потребу користувача, і нуль або більше допоміжних запитів, які досліджують альтернативне формулювання, довідкову інформацію або пов'язані сутності. Попри те, що вони стосуються одного й того ж ширшого запиту, їм можуть знадобитися різні документи, тому Q2D-Web оцінює кожен запит незалежно за власними оцінками релевантності.

Розподіл довжини та мов 69 721 запитів Q2D-Web. Довжина вимірюється в символах; стовпчики показують частку запитів у кожній категорії.
Розподіл запитів Q2D-Web за предметними областями. Стовпчики показують частку кожного домену в наборі запитів; категорія «Інші» об'єднує п'ятнадцять додаткових доменів.

Ми застосовуємо сувору фільтрацію конфіденційності для всіх включених запитів. Запити мають надходити від користувачів, які дозволили використовувати свої дані, а виявлення PII за допомогою perplexity-ai/pplx-pii-masking виключає запити, що містять особисту інформацію. Ми також видаляємо точні дублікати, дуже короткі запити та запити, що містят оператори пошуку на кшталт site: або фрази в лапках.

Бенчмарк охоплює десять мов. На англійську припадає 65,8% запитів, за нею йдуть іспанська, російська, німецька, французька, португальська, італійська, корейська, японська та китайська. Розподіл запитів також охоплює широкий спектр доменів, зокрема споживчі товари, програмування, право, охорону здоров'я, бізнес, науку, освіту, технології, фінанси, подорожі, розваги, політику, локальну інформацію та новини.

Корпус

Для кожного запиту ми отримуємо перші 5000 документів за допомогою виробничої пошукової системи та беремо об'єднання цих наборів результатів. Потім ми видаляємо дублікати з корпусу за допомогою MinHash–LSH, групуючи документи, чиї набори з 5-грамів токенів мають коефіцієнт подібності Жаккара принаймні 0,975.

Колекція навмисно не є випадковою вебвибіркою. Кожен документ вважався правдоподібним результатом принаймні для одного еталонного запиту. Це створює щільний набір складних дистракторів: сторінок, які відповідають темі чи мові запиту, але можуть не містити потрібної дати, сутності, версії, кількості чи аспекту.

Розподіл довжини документів і мов у корпусі обсягом приблизно 190 мільйонів документів. Довжина вимірюється в символах; стовпчики показують частку документів у кожній категорії.

Оцінки

Мітки релевантності за своєю суттю є неповними у великому масштабі. Розмітка кожної можливої пари «запит-документ» є нездійсненною, і кожне джерело оцінок несе в собі різне упередження.

Q2D-Web використовує три набори релевантності замість того, щоб розглядати одне джерело як істинне, щоб збільшити глибину анотування без виникнення єдиного упередження.

Citation позначає документ як релевантний, коли агент процитував його у відповіді. Це найближчий сигнал до використання нижчого рівня: агент обрав документ як доказ для твердження. Але цитування за своєю суттю є високою точністю та низькою повнотою. Щойно агент отримує достатню підтримку, у нього мало причин цитувати кожну іншу релевантну сторінку.

Web Ranking містить до 50 документів на запит (у середньому 43,1), визначених внутрішнім пошуковим стеком з використанням BM25 та щільного пошуку на першому етапі з наступним ранжуванням крос-енкодером. Це дозволяє захопити корисні, але не процитовані документи.

Combined + LLM-Judged бере об'єднання Citation та Web Ranking, а потім додає оцінки LLM для раніше неоцінених кандидатів з метою зменшення кількості хибнонегативних результатів. Ми об'єднуємо результати з BM25, ColBERTv2 та семи щільних пошукових систем, випущених до 1 січня 2025 року, об'єднуємо їхні рейтинги за допомогою злиття взаємних рангів (RRF), вибираємо перші 500 неоцінених документів і застосовуємо суворий двійковий суддя релевантності за допомогою DeepSeek-V4-Flash.

Ці три набори дозволяють нам з'ясувати, чи залежить продуктивність моделі від того, як визначається релевантність. Вони також зменшують залежність від єдиного набору розмітки, який інакше міг би надавати перевагу засобам пошуку, подібним до системи, що використовувалася для створення міток.

Розподіл відповідних документів за запитами в логарифмічній шкалі. Комбіновані мітки об'єднують цитування, веб-рейтинги та додаткові оцінки LLM.

Субдискретизація: ефективне оцінювання у великих масштабах

Оцінювання всього корпусу є дорогим і повільним. Одне оцінювання на Q2D-Web з pplx-embed-v1-4b вимагає 4608 годин GPU H200, тоді як навіть така мала модель, як EmbeddingGemma-300M, вимагає майже 200 годин GPU H200.

Щоб оцінювання залишалося практичним, ми створюємо субдискретизовану версію корпусу.

Ми провели масштабне абляційне дослідження стратегій вибірки, щоб створити менший субкорпус, який відображає поведінку всього корпусу. Кожна стратегія зберігає всі документи з позитивною оцінкою і відрізняється лише тим, як обираються неоцінені дистрактори. Важливими є ті дистрактори, які пошукова система, імовірно, поставить вище за релевантний документ, оскільки вони змінюють бал моделі та її позицію в рейтингу.

Ми порівняли рівномірну випадкову вибірку, об’єднання в пули до фіксованої глибини для всіх пошукових систем (retrievers) та метод RRF на основі окремих запитів для різної глибини. Вибірка на основі RRF використовує лише 31,7% документів із повного корпусу. Вона зберігає рейтинг моделей для повного корпусу за оцінками Combined, залишаючись близькою до абсолютних балів і збільшуючи середній Recall@1000 на 5,2 пункти проти 12,8 пунктів для випадкової вибірки такого ж розміру.

Середній Recall@1000 та узгодженість із рейтингами моделей для повного корпусу за оцінками Combined для різних стратегій вибірки. Метод злиття взаємних рангів (RRF) зберігає рейтинг оцінюваних моделей, використовуючи 31,7% корпусу, із меншим завищенням повноти (recall), ніж випадкова вибірка.

Це знижує витрати на оцінювання приблизно до однієї третини від витрат на повний корпус. Використовуючи субкорпус на основі RRF, pplx-embed-v1-4b вимагає приблизно 1500 годин GPU H200, а EmbeddingGemma-300M — менш ніж 70.

Кожна заявка спочатку оцінюється на версії вибіркового субкорпусу. Заявки поділяються на дві групи за загальною кількістю параметрів: до 1B та понад 1B. Модель, яка потрапляє до першої десятки своєї групи на вибірковому субкорпусі, потім оцінюється на всьому корпусі. Моделі, які не увійшли до топ-10 у своїй групі, будуть опубліковані лише в таблиці лідерів за вибірковим субкорпусом.

Результати оцінювання

Для всіх оцінених моделей Q2D-Web забезпечує узгоджене уявлення про продуктивність пошуку в масштабах інтернету за допомогою 3 різних наборів релевантності. Таблиця лідерів робить ці додаткові подання доступними пліч-о-пліч, дозволяючи користувачам перевіряти, як моделі працюють за вужчими мітками на основі цитування та ширшими оцінками релевантності.

Ми зосереджуємося на Recall@1000 як на нашому основному метричному критерії, оскільки засіб пошуку першого етапу повинен лише помістити релевантні документи в пул кандидатів, тоді як наступне ранжування визначає їхній кінцевий порядок.

Комбінований Recall@1000 проти комбінованого nDCG@10 для тринадцяти пошукових систем, згрупованих за сімейством моделей. Модель із найвищим балом відрізняється залежно від обох метрик.

Таблиця 1. Recall@1000 та nDCG@10 для повного корпусу для тринадцяти пошукових систем у наборах релевантності Citation, Web Ranking і Combined. Вищі бали є кращими.

Модель

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60,84

42.50

45,25

7,30

11.45

29,27

EmbeddingGemma-300M

80,10

58.93

66,24

12,21

17.30

41,95

mDenseOn

73,72

52.56

60,09

10,08

15.06

38,87

Nemotron-3-Embed-1B

75,64

54.37

62,44

9,69

14.83

38,84

Nemotron-3-Embed-8B

83,14

61.73

69,33

13,17

18.69

45,65

pplx-embed-v1-0.6b

81,85

62.15

67,91

12,52

19.76

42,73

pplx-embed-v1-4b

85,03

65.73

70,00

14,18

21.29

44,12

Qwen3-Embedding-0.6B

71,19

51.82

58,68

8,53

14.11

36,19

Qwen3-Embedding-4B

76,49

55.60

62,78

9,91

14.97

38,82

Qwen3-Embedding-8B

79,26

58.34

65,32

10,75

16.27

41,20

voyage-4-nano

69,55

50.14

57,42

6,96

11.77

30,59

mLateOn

74,16

53.12

61,77

10,94

15.51

41,61

pplx-embed-v1-late-0.6b

78,64

58.14

64,20

11,88

17.25

41,77

pplx-embed-v1-4b має найвищий показник Recall@1000 на всіх трьох наборах оцінювання: Citation (85,03), Web Ranking (65,73) та Combined (70,00). За показниками Combined Recall@100 та nDCG@10 модель Nemotron-3-Embed-8B (30,32 та 45,65) перевершує pplx-embed-v1-4b (30,17 та 44,12).

У межах однієї сімейства моделі більшого розміру отримують вищі бали за Combined Recall@1000. Qwen3-Embedding зростає з 58,68 (0,6B) до 65,32 (8B), Nemotron-3-Embed — з 62,44 (1B) до 69,33 (8B), а pplx-embed-v1 — з 67,91 (0,6B) до 70,00 (4B).

Моделі Perplexity оцінюються за допомогою того ж конвеєра, що й усі інші надіслані моделі. Однак, оскільки Q2D-Web походить від виробничого трафіку Perplexity, ці моделі можуть мати перевагу в межах розподілу. Попри те, що оціночні запити та корпус бенчмарку були виключені з навчання моделі, результати слід інтерпретувати з урахуванням цієї потенційної переваги.

Як надіслати роботу до таблиці лідерів

Щоб надіслати запит на оцінювання, надішліть загальнодоступну модель Hugging Face через нашу форму запиту на оцінювання.

Ми дотримуємося картки моделі в надісланому репозиторії щодо налаштувань виведення для конкретної моделі, зокрема рекомендованих інструкцій чи префіксів для запитів і документів, об'єднання в пули, нормалізації та функції подібності. Усі запити та документи обрізаються до 512 токенів за допомогою власного токенізатора моделі, зокрема інструкції, префікси та спеціальні токени, тому більший підтримуваний контекст не дає жодних переваг. Будь ласка, переконайтеся, що картка моделі містить повні, однозначні інструкції щодо відтворення потрібного налаштування пошуку.

Придатні моделі повинні завантажуватися через стандартні API transformers або sentence-transformers. Моделі, які не працюють з trust_remote_code=False, вимагають ручної перевірки спеціального коду та відправника перед оцінюванням, що триває значно довше. Приватні або захищені репозиторії не допускаються.

Прочитайте наш технічний звіт, щоб дізнатися більше про методологію та висновки.

Цитата

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}