Q2D-Web: Ocena modułów wyszukiwania pierwszego stopnia na dużą skalę

Dzisiaj przedstawiamy Q2D-Web (Query2Doc-Web), prywatny benchmark i publiczny ranking do oceny wyszukiwania w agentowych systemach RAG. Q2D-Web rozszerza nasz oryginalny benchmark Q2D o korpus na skalę internetową, większy zestaw zapytań i głębsze adnotacje ocen.

Q2D-Web został stworzony do oceny modeli embeddingowych w wyszukiwaniu internetowym na dużą skalę. Składa się z 190 milionów dokumentów internetowych oraz 69 721 zapytań przekształconych przez agenta w dziesięciu językach, zebranych z dziewięciu miesięcy produkcyjnego ruchu wyszukiwania wolnego od PII.

Na tej skali sygnał trafności na poziomie zapytania i dokumentu jest nieuchronnie rzadki. Zamiast traktować jedno źródło jako prawdę bazową, udostępniamy trzy zestawy ocen trafności, pochodzące z cytowań agenta, rankingów sieciowych oraz dodatkowych ocen LLM dla wcześniej nieocenionych par. Wiele źródeł ogranicza stronniczość wynikającą z pojedynczego potoku etykietowania, podczas gdy głębsza adnotacja zmniejsza liczbę fałszywych wyników negatywnych.

Nasz ranking zawiera wyniki dla publicznie wydanych modeli wyszukiwania, ocenianych bezpośrednio względem benchmarku przy użyciu spójnego potoku indeksowania, wyszukiwania i punktacji. Ocenę można zgłosić za pomocą naszego formularza zgłoszeniowego.

Wyzwanie polegające na realistycznej ocenie pobierania danych

Dla każdego zapytania system wyszukiwania na skalę produkcyjną przeszukuje korpus miliardów stron internetowych i zwraca tysiące dokumentów będących kandydatami. Kandydaci ci decydują, które źródła mogą zobaczyć systemy niższego szczebla, bezpośrednio kształtując dowody dostępne dla agenta.

Realistyczna ocena tego pierwszego etapu wymaga zatem benchmarków skalowalnych w trzech wymiarach: liczby dokumentów w korpusie, liczby ocenianych zapytań oraz liczby ocen trafności na zapytanie.

Większe korpusy mogą zwiększyć dyskryminacyjną moc benchmarku poprzez wprowadzenie trudnych negatywów – dokumentów, które są semantycznie podobne do zapytania, ale nie dostarczają żądanych informacji. Moduły wyszukiwania muszą odróżnić te wiarygodne dopasowania od istotnych dokumentów. Zmniejszenie korpusu przy jednoczesnym zachowaniu znanych istotnych dokumentów może usunąć te dystraktory i sztucznie zwiększyć wskaźnik odzyskiwania, co pokazują nasze poniższe eksperymenty z podpróbkowaniem.

Większa liczba ocenianych zapytań sprawia, że szacunki wydajności są bardziej wiarygodne. W przypadku małego zestawu zapytań wyniki benchmarku silnie zależą od tego, które zapytania zostały pobrane w ramach próbki, co utrudnia precyzyjne oszacowanie wydajności każdego modelu i pewne odróżnienie modeli od siebie.

Głębsze oceny zmniejszają liczbę fałszywie negatywnych wyników w ewaluacji. W przypadku rzadkich etykiet moduł wyszukiwania może wyświetlać istotne dokumenty, które nie zostały ocenione, przez co są one niesłusznie liczone jako nieistotne. Czyni to ewaluację mniej niezawodną. MS MARCO to główny duży, otwarty zestaw danych w dziedzinie wyszukiwania informacji, który ukształtował rozwój nerwowych modeli wyszukiwania. W tym przypadku 70% ręcznie sprawdzonych, najlepiej pobranych, ale nieoznakowanych fragmentów było w rzeczywistości istotnych.

Istniejące benchmarki mają tendencję do skalowania się tylko w jednym lub dwóch z tych wymiarów: kolekcje na skalę internetową często mają stosunkowo niewiele ocenianych zapytań, podczas gdy benchmarki z wieloma zapytaniami zazwyczaj korzystają ze znacznie mniejszych korpusów i rzadkich etykiet. Co więcej, większość benchmarków używa zapytań sformułowanych przez ludzi, podczas gdy systemy agentowego RAG wyszukują informacje za pomocą zapytań przekształconych przez agenta, które mogą różnić się sformułowaniem, strukturą i specyfikościa.

Q2D-Web skaluje się we wszystkich trzech wymiarach. Zawiera 190 milionów dokumentów internetowych, 69 721 zapytań przekształconych przez agenta oraz średnio 99.6 pozytywnych ocen trafności na zapytanie w połączonym zestawie ocen. Najbliższym publicznym punktem odniesienia jest MS MARCO Web Search, czyli wersja MS MARCO na skalę internetową. Zawiera ona 100.9 miliona dokumentów, 9 374 zapytania testowe oraz jedną pozytywną etykietę uzyskaną na podstawie kliknięć na zapytanie.

Jak stworzyliśmy Q2D-Web

Powiększ

Zapytania

Q2D-Web opiera się na 23 000 produkcyjnych wyszukiwań wolnych od PII w dziesięciu językach i dziesiątkach domen zebranych w okresie dziewięciu miesięcy.

Wyszukiwanie składa się ze wszystkich wywołań narzędzi wyszukiwania internetowego, które agent wykonuje w odpowiedzi na wiadomość użytkownika. Każde wywołanie narzędzia zawiera co najmniej jedno zapytanie. Każde zapytanie jest przekształcane na podstawie żądania użytkownika, poprzedniej konwersji oraz, w stosownych przypadkach, dokumentów pobranym wcześniej w ramach tego samego wyszukiwania. Każde wyszukiwanie produkcyjne zawiera jedno zapytanie główne, które odzwierciedla potrzebę informacyjną użytkownika, oraz zero lub więcej zapytań pomocniczych, które badają alternatywne sformułowania, informacje w tle lub powiązane encje. Chociaż dotyczą one tego samego szerszego żądania, mogą wymagać różnych dokumentów, dlatego Q2D-Web ocenia każde zapytanie niezależnie, stosując własne oceny trafności.

Powiększ

Powiększ

Stosujemy ścisłe filtrowanie prywatności dla wszystkich uwzględnionych zapytań. Zapytania muszą pochodzić od użytkowników, którzy wyrażili zgodę na wykorzystanie swoich danych, a wykrywanie PII przy użyciu perplexity-ai/pplx-pii-masking wyklucza zapytania zawierające dane osobowe. Usuwamy również dokładne duplikaty, bardzo krótkie zapytania oraz zapytania zawierające operatory wyszukiwania, takie jak site: lub frazy w cudzysłowie.

Benchmark obejmuje dziesięć języków. Język angielski stanowi 65.8% zapytań, a po nim plasują się hiszpański, rosyjski, niemiecki, francuski, portugalski, włoski, koreański, japoński i chiński. Rozkład zapytań obejmuje również szeroki wachlarz domen, w tym dobra konsumpcyjne, programowanie, prawo, zdrowie, biznes, naukę, edukację, technologię, finanse, podróże, rozrywkę, politykę, informacje lokalne oraz wiadomości.

Korpus

Dla każdego zapytania pobieramy 5000 najlepszych dokumentów za pomocą produkcyjnego systemu wyszukiwania i bierzemy sumę tych zestawów wyników. Następnie usuwamy duplikaty z korpusu za pomocą algorytmu MinHash–LSH, grupując dokumenty, których zestawy 5-gramów tokenów mają podobieństwo Jaccarda na poziomie co najmniej 0.975.

Kolekcja celowo nie jest losową próbką internetową. Każdy dokument został uznany za wiarygodny wynik dla co najmniej jednego zapytania benchmarkowego. Tworzy to gęsty zbiór trudnych dystraktorów: stron pasujących do tematu lub języka zapytania, ale mogących pomijać wymaganą datę, encję, wersję, ilość lub aspekt.

Powiększ

Oceny

Etykiety trafności są ze swej natury niekompletne na dużą skalę. Ocenienie każdej możliwej pary zapytanie-dokument jest niewykonalne, a każde źródło ocen niesie ze sobą inną stronniczość.

Q2D-Web używa trzech zestawów trafności zamiast traktować jedno źródło jako prawdę bazową, aby zwiększyć głębokość adnotacji bez obciążenia pojedynczą stronniczością.

Cytowanie oznacza dokument jako istotny, gdy agent zacytował go w odpowiedzi. Jest to sygnał najbliższy zastosowaniu w systemach niższego szczebla: agent wybrał dokument jako dowód na poparcie twierdzenia. Jednak z założenia cytowanie charakteryzuje się wysoką precyzją i niskim wskaźnikiem odzyskiwania. Gdy agent dysponuje wystarczającym poparciem, ma niewielki powód, aby cytować każdą inną istotną stronę.

Web Ranking składa się z maksymalnie 50 dokumentów na zapytanie (średnio 43.1), zidentyfikowanych przez wewnętrzny stos wyszukiwania wykorzystujący BM25 i wyszukiwanie gęste w pierwszym etapie, po którym następuje ponowne uszeregowanie za pomocą cross-encodera. Pozwala to uchwycić dokumenty, które są przydatne, ale nie zostały zacytowane.

Combined + LLM-Judged bierze sumę zestawów Citation i Web Ranking, a następnie dodaje oceny LLM dla wcześniej nieocenionych kandydatów w celu zmniejszenia liczby fałszywie negatywnych wyników. Łączymy wyniki z BM25, ColBERTv2 oraz siedmiu gęstych modeli wyszukiwania wydanych przed 1 stycznia 2025 r., scalamy ich rankingi za pomocą reciprocal rank fusion (RRF), wybieramy 500 najlepszych nieocenionych dokumentów i stosujemy rygorystyczny binarny sędzia trafności przy użyciu modelu DeepSeek-V4-Flash.

Te trzy zestawy pozwalają nam sprawdzić, czy wydajność modeli zależy od sposobu definiowania trafności. Zmniejszają one również zależność od pojedynczego zestawu danych do etykietowania, co mogłoby faworyzować modele pobierające dane podobne do systemu używanego do generowania etykiet.

Powiększ

Podpróbkowanie: wydajna ocena na dużą skalę

Ewaluacja na pełnym korpusie jest kosztowna i powolna. Pojedyncza ewaluacja w Q2D-Web z użyciem modelu pplx-embed-v1-4b wymaga 4608 godzin GPU H200, podczas gdy nawet mały model, taki jak EmbeddingGemma-300M, wymaga prawie 200 godzin GPU H200.

Aby ocena była praktyczna, tworzymy wersję podkorpusu z podpróbkowaniem.

Przeprowadziliśmy gruntowną analizę ablacyjną dotyczącą strategii próbkowania, aby zbudować mniejszy podkorpus odzwierciedlający zachowanie pełnego korpusu. Każda strategia zachowuje wszystkie pozytywnie ocenione dokumenty i różni się jedynie sposobem wyboru nieocenionych dystraktorów. Istotne dystraktory to te, które moduł wyszukiwania prawdopodobnie uszeregowałby wyżej niż istotny dokument, ponieważ zmieniają one wynik modelu i jego pozycję w rankingu.

Porównaliśmy jednorodne próbkowanie losowe, łączenie w pule do stałej głębokości we wszystkich modelach pobierających oraz RRF dla poszczególnych kwerend przy różnych głębokościach. Próbkowanie oparte na RRF wykorzystuje jedynie 31,7% dokumentów z pełnego korpusu. Zachowuje ono ranking modeli dla pełnego korpusu w ramach zestawu ocen Combined, pozostając blisko wyników absolutnych i zwiększając średnią wartość Recall@1000 o 5,2 punktu w porównaniu do 12,8 punktu przy pobieraniu losowym próbek tej samej wielkości.

Powiększ

Obniża to koszty ewaluacji do około jednej trzeciej kosztów dla pełnego korpusu. Korzystając z podkorpusu opartego na RRF, model pplx-embed-v1-4b wymaga około 1500 godzin GPU H200, a EmbeddingGemma-300M mniej niż 70.

Każde zgłoszenie jest oceniane najpierw na wersji próbkowej podkorpusu. Zgłoszenia są dzielone na dwie grupy według całkowitej liczby parametrów: do 1B oraz powyżej 1B. Model, który znajdzie się w pierwszej dziesiątce swojej grupy na próbkowanym podkorpusie, jest następnie oceniany na pełnym korpusie. Modele zajmujące miejsca poza top 10 w swojej grupie będą publikowane tylko w rankingu dla próbkowanego podkorpusu.

Wyniki ewaluacji

Wśród ocenianych modeli Q2D-Web zapewnia spójny obraz wydajności wyszukiwania na skalę internetową w ramach 3 różnych zestawów trafności. Ranking udostępnia te uzupełniające się widoki obok siebie, pozwalając użytkownikom sprawdzić, jak modele radzą sobie w warunkach węższych etykiet opartych na cytowaniach oraz szerszych ocen trafności.

Skupiamy się na wskaźniku Recall@1000 jako naszej głównej metryce, ponieważ moduł pobierania pierwszego stopnia musi jedynie umieścić istotne dokumenty w puli kandydatów, podczas gdy późniejsze ponowne uszeregowanie określa ich ostateczną kolejność.

Powiększ

Tabela 1. Wartości Recall@1000 oraz nDCG@10 dla trzynastu modeli pobierających w pełnym korpusie dla zbiorów istotności Citation, Web Ranking i Combined. Wyższe wyniki oznaczają lepszą jakość.

Model pplx-embed-v1-4b osiąga najwyższy wskaźnik Recall@1000 we wszystkich trzech zestawach ocen: Citation (85,03), Web Ranking (65,73) oraz Combined (70,00). W przypadku Combined Recall@100 oraz nDCG@10, model Nemotron-3-Embed-8B (30,32 i 45,65) uzyskuje wynik wyższy niż pplx-embed-v1-4b (30,17 i 44,12).

W ramach tej samej rodziny większe modele osiągają wyższe wyniki w teście Combined Recall@1000. Qwen3-Embedding rośnie z 58,68 (0,6B) do 65,32 (8B), Nemotron-3-Embed z 62,44 (1B) do 69,33 (8B), zaś pplx-embed-v1 z 67,91 (0,6B) do 70,00 (4B).

Modele Perplexity są oceniane przy użyciu tego samego potoku co wszystkie inne przesłane modele. Ponieważ jednak Q2D-Web pochodzi z ruchu produkcyjnego Perplexity, modele te mogą odnosić korzyść z dopasowania do rozkładu danych. Mimo że zapytania ewaluacyjne i korpus benchmarku zostały wykluczone z trenowania modeli, wyniki należy interpretować z uwzględnieniem tej potencjalnej przewagi.

Jak zgłosić wynik do rankingu

Aby zgłosić ocenę, prześlij ogólnodostępny model z platformy Hugging Face za pomocą naszego formularza zgłoszeniowego oceny.

Postępujemy zgodnie z kartą modelu w przesłanym repozytorium w celu uzyskania ustawień wnioskowania specyficznych dla modelu, w tym zalecanych instrukcji lub prefiksów dla zapytań i dokumentów, poolingu, normalizacji i funkcji podobieństwa. Wszystkie zapytania i dokumenty są przycinane do 512 tokenów przy użyciu własnego tokenizatora modelu, w tym instrukcji, prefiksów i tokenów specjalnych, więc dłuższy obsługiwany kontekst nie daje żadnej przewagi. Upewnij się, że karta modelu zawiera kompletne, jednoznaczne instrukcje dotyczące odtworzenia zamierzonej konfiguracji pobierania.

Kwalifikujące się modele muszą ładować się za pomocą standardowych interfejsów API transformers lub sentence-transformers. Modele, które nie działają z ustawieniem trust_remote_code=False, wymagają ręcznego przeglądu kodu niestandardowego oraz weryfikacji przez osobę zgłaszającą przed ewaluacją, co trwa znacznie dłużej. Prywatne lub chronione repozytoria nie kwalifikują się.

Przeczytaj nasz raport techniczny, aby dowiedzieć się więcej o metodologii i wnioskach.

Cytat

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}