Q2D-Web: Birinci Aşama Getirme Araçlarını Ölçekte Değerlendirme

70 bin aracı sorgusu, 190 milyon web belgesi ve üç set alaka düzeyi yargısı içeren bir kıyaslama ve liderlik tablosu.

YazarlarPerplexity Research

Bugün, aracı tabanlı RAG sistemlerinde getirmeyi değerlendirmek için özel bir kıyaslama ve açık liderlik tablosu olan Q2D-Web'i (Query2Doc-Web) tanıtıyoruz. Q2D-Web, orijinal Q2D kıyaslamamızı büyük ölçekli bir derleme, daha büyük bir sorgu kümesine ve daha derin yargı açıklamalarına genişletiyor.

Q2D-Web, gömme (embedding) modellerini büyük ölçekli web araması üzerinde değerlendirmek için oluşturulmuştur. PII içermeyen dokuz aylık üretim arama trafiğinden örneklenen on dilde 190 milyon web belgesi ve 69.721 aracı tarafından yeniden formüle edilmiş sorgudan oluşur.

Bu ölçekte, sorgu-belge düzeyindeki alaka düzeyi sinyali kaçınılmaz olarak seyrektir. Tek bir kaynacı gerçek veri (ground truth) olarak ele almak yerine; aracı alıntılarından, üretim web sıralamalarından ve daha önce değerlendirilmemiş çiftler için ek LLM yargılarından türetilen üç alaka düzeyi yargı kümesi sağlıyoruz. Birden fazla kaynak, tek bir etiketleme boru hattından (pipeline) kaynaklanan yanlılığı sınırlarken daha derin açıklama yanlış negatifleri azaltır.

Liderlik tablomuz tutarlı bir indeksleme, getirme ve puanlama boru hattı kullanılarak doğrudan kıyaslama ile değerlendirilen, herkese açık olarak yayınlanan getirme modellerinin sonuçlarını bildirir. Bir değerlendirme talep formu aracılığıyla gönderilebilir.

Gerçekçi getirme değerlendirmesinin zorluğu

Her sorgu için üretim ölçeğinde bir getirme sistemi, milyarlarca web sayfasından oluşan bir derlemde arama yapar ve binlerce aday belge döndürür. Bu adaylar, akış aşağı (downstream) sistemlerin hangi kaynakları görebileceğini belirleyerek araca sunulan kanıtları doğrudan şekillendirir.

Bu nedenle, bu ilk aşamanın gerçekçi bir şekilde değerlendirilmesi, üç boyutta ölçeklenen kıyaslamalar gerektirir: derlemdeki belge sayısı, değerlendirilen sorgu sayısı ve sorgu başına alaka düzeyi yargısı sayısı.

Daha büyük derlemler, bir sorgu ile anlamsal olarak benzer olan ancak istenen bilgiyi sağlamayan belgeler olan zor negatifleri (hard negatives) tanıtarak bir kıyaslamayı daha ayırt edici hale getirebilir. Getirme araçları, bu makul eşleşmeleri ilgili belgelerden ayırt etmelidir. Aşağıdaki alt örnekleme deneylerimizin gösterdiği gibi, bilinen ilgili belgeleri korurken derlemi küçültmek bu çeldiricileri ortadan kaldırabilir ve geri çağırmayı (recall) şişirebilir.

Daha fazla değerlendirilmiş sorgu, performans tahminlerini daha güvenilir hale getirir. Küçük bir sorgu kümesiyle, kıyaslama sonuçları hangi sorguların örneklendiğine büyük ölçüde bağlı olur; bu da her modelin performansını hassas bir şekilde tahmin etmeyi ve modeller arasında güvenle ayrım yapmayı zorlaştırır.

Daha derin yargılar, değerlendirmedeki yanlış negatifleri azaltır. Seyrek etiketler ile bir getirme sistemi, değerlendirilmemiş ve bu nedenle yanlış bir şekilde ilgili değil olarak sayılan ilgili yüzeyleri getirebilir. Bu durum değerlendirmenin güvenilirliğini azaltır. MS MARCO, bilgi getirmedeki ana büyük ölçekli açık veri kümesidir ve sinirsel getirme modellerinin geliştirilmesini şekillendirmiştir. Burada, manuel olarak incelenen en çok getirilen ancak etiketlenmemiş pasajların %70'inin aslında ilgili olduğu görülmüştür.

Mevcut kıyaslamalar yalnızca bu boyutların bir veya ikisinde ölçeklenme eğilimindedir: web ölçeğindeki koleksiyonlar genellikle nispeten az sayıda değerlendirilmiş sorguya sahipken, birçok sorguya sahip kıyaslamalar genellikle çok daha küçük derlemler ve seyrek etiketler kullanır. Dahası, çoğu kıyaslama insan yazımı sorgular kullanırken, aracı tabanlı RAG sistemleri kelime seçimi, yapı ve özgüllük açısından farklılık gösterebilecek aracı tarafından yeniden formüle edilmiş sorgularla arama yapar.

Q2D-Web tüm üç boyutta ölçeklenir. Birleştirilmiş yargı kümesinde 190 milyon web belgesi, 69.721 aracı tarafından yeniden formüle edilmiş sorgu ve sorgu başına ortalama 99.6 olumlu alaka düzeyi yargısı içerir. En yakın halka açık karşılaştırma, MS MARCO'nun web ölçekli sürümü olan MS MARCO Web Search'tür. 100.9 milyon belgesi, 9.374 test sorgusu ve sorgu başına bir tıklama kaynaklı olumlu etiketi vardır.

Q2D-Web'i nasıl oluşturduk

Q2D-Web oluşturma: gizlilik filtreli sorgu örnekleme, derlem oluşturma ve tekilleştirme, alaka düzeyi etiketleme ve alt derlem örnekleme.

Sorgular

Q2D-Web, dokuz aylık bir süre boyunca toplanan, on dilde ve düzinelerce alanda 23.000 PII içermeyen üretim araması üzerine kurulmuştur.

Bir arama, bir kullanıcının mesajına yanıt olarak bir aracının gerçekleştirdiği tüm web arama aracı çağrılarından oluşur. Her araç çağrısı bir veya daha fazla sorgu içerir. Her sorgu, kullanıcı isteğinden, önceki konuşmadan ve geçerli olduğu durumlarda aynı arama sırasında daha önce alınan belgelerden yeniden formüle edilir. Her üretim araması, kullanıcının bilgi ihtiyacını yeniden ifade eden birincil bir sorgu ve alternatif ifade biçimlerini, arka plan bilgilerini veya ilgili varlıkları inceleyen sıfır veya daha fazla destekleyici sorgu içerir. Aynı daha geniş isteğe hitap etseler de farklı belgeler gerektirebilirler; bu nedenle Q2D-Web, her sorguyu kendi alaka düzeyi yargılarıyla bağımsız olarak değerlendirir.

Q2D-Web’in 69.721 sorgusunun uzunluk ve dil dağılımları. Uzunluk karakter cinsinden ölçülmüştür; çubuklar her kategorideki sorgu oranını göstermektedir.
Q2D-Web sorgularının konu alanlarına göre dağılımı. Çubuklar her alanın sorgu setindeki payını göstermektedir; "Diğer" ise on beş ek alanı gruplandırmaktadır.


Dahil edilen tüm sorgular için sıkı bir gizlilik filtrelemesi uyguluyoruz. Sorgular, verilerinin kullanılmasına izin veren kullanıcılardan gelmelidir ve perplexity-ai/pplx-pii-masking kullanan PII tespiti, kişisel bilgi içeren sorguları hariç tutar. Ayrıca tam kopyaları, çok kısa sorguları ve site: veya tırnak içinde ifadeler gibi arama operatörleri içeren sorguları kaldırıyoruz.

Kıyaslama on dili kapsamaktadır. İngilizce, sorguların %65.8'ini oluşturmakta olup onu İspanyolca, Rusça, Almanca, Fransızca, Portekizce, İtalyanca, Korece, Japonca ve Çince takip etmektedir. Sorgu dağılımı ayrıca tüketim malları, programlama, hukuk, sağlık, işletme, bilim, eğitim, teknoloji, finans, seyahat, eğlence, siyaset, yerel bilgi ve haberler dahil olmak üzere geniş bir alan karmasını kapsamaktadır.

Derlem

Her sorgu için, üretim getirme sistemiyle en üstteki 5.000 belgeyi getiriyor ve bu sonuç kümelerinin birleşimini alıyoruz. Ardından, belirteç 5-gram kümeleri en az 0.975 Jaccard benzerliğine sahip belgeleri kümelendiren MinHash-LSH kullanarak derlemin kopyalarını temizliyoruz (deduplicate).

Koleksiyon kasıtlı olarak rastgele bir web örneği değildir. Her belge, en az bir kıyaslama (benchmark) sorgusu için makul bir sonuç olarak değerlendirilmiştir. Bu durum, yoğun bir zor çeldirici (distractor) kümesi oluşturur: bir sorgunun konusuyla veya diliyle eşleşen ancak gerekli bir tarihi, varlığı, sürümü, miktarı veya açıyı kaçırabilecek sayfalar.

Yaklaşık 190 milyon belgeli derlemde belge uzunluğu ve dil dağılımları. Uzunluk karakter cinsinden ölçülmüştür; çubuklar her kategorideki belge oranını göstermektedir.

Yargılar

Alaka düzeyi etiketleri, büyük ölçekte doğası gereği eksiktir. Olası tüm sorgu-belge çiftlerini etiketlemek imkansızdır ve her yargı kaynağı farklı bir yanlılık taşır.

Q2D-Web, tek bir yanlılıktan muzdarip olmadan açıklama derinliğini artırmak için tek bir kaynağı gerçek veri (ground truth) olarak ele almak yerine üç alaka düzeyi kümesi kullanır.

Atıf, bir aracı bir yanıtta buna atıfta bulunduğunda bir belgeyi ilgili olarak etiketler. Bu, akış aşağı kullanıma en yakın sinyaldir: aracı belgeyi bir iddia için kanıt olarak seçmiştir. Ancak atıf, yapısı gereği yüksek hassasiyete (precision) ve düşük geri çağırmaya (recall) sahiptir. Bir aracı yeterli desteğe sahip olduğunda, diğer her ilgili sayfaya atıfta bulunması için çok az nedeni vardır.

Web Sıralaması, ilk aşamada BM25 ve yoğun getirme kullanan dahili bir getirme yığını ve ardından çapraz kodlayıcı (cross-encoder) yeniden sıralaması ile tanımlanan, sorgu başına en fazla 50 belge (ortalama 43.1) içerir. Bu, alıntı yapılmayan ancak yararlı olan belgeleri yakalar.

Birleştirilmiş + LLM Değerlendirmeli, Atıf ve Web Sıralaması'nın birleşimini alır, ardından yanlış negatif sayısını azaltmak amacıyla daha önce değerlendirilmemiş adaylar için LLM yargıları ekler. BM25, ColBERTv2 ve 1 Ocak 2025'ten önce yayınlanan yedi yoğun getirme aracından gelen sonuçları havuzluyor, karşılıklı sıra birleşimi (reciprocal rank fusion) (RRF) kullanarak sıralamalarını birleştiriyor, en üstteki 500 değerlendirilmemiş belgeyi seçiyor ve DeepSeek-V4-Flash kullanarak katı bir ikili alaka düzeyi yargıcı uyguluyoruz.

Bu üç küme, model performanslarının alaka düzeyinin nasıl tanımlandığına bağlı olup olmadığını sormamıza olanak tanır. Ayrıca, aksi takdirde etiket oluşturmak için kullanılan sisteme benzer getirme araçlarını (retriever) kayırabilecek tek bir etiketleme yığınステムına olan bağımlılığı azaltırlar.

Logaritmik ölçekte sorgu başına ilgili belgelerin dağılımı. Birleştirilmiş etiketler alıntıları, web sıralamalarını ve ek LLM değerlendirmelerini bir araya getirir.

Alt örnekleme: Büyük ölçekte verimli değerlendirme

Tam derlem değerlendirmesi pahalı ve yavaştır. pplx-embed-v1-4b ile Q2D-Web üzerinde yapılan tek bir değerlendirme 4.608 H200 GPU saati gerektirirken, EmbeddingGemma-300M gibi küçük bir model bile neredeyse 200 H200 GPU saati gerektirir.

Değerlendirmeyi pratik tutmak için derlemin örneklenmiş bir alt sürümünü oluşturuyoruz.

Tam derlem davranışını yansıtan daha küçük bir alt derlem oluşturmak için örnekleme stratejileri üzerinde kapsamlı bir ablasyon çalıştırdık. Her strateji olumlu olarak değerlendirilen tüm belgeleri korur ve yalnızca değerlendirilmemiş çeldiricilerin nasıl seçildiği konusunda değişiklik gösterir. Önemli olan çeldiriciler, bir getirme sisteminin ilgili bir belgenin önüne koyma olasılığı yüksek olanlardır, çünkü bunlar bir modelin puanını ve sıralamadaki konumunu değiştirir.

Tekdüzen rastgele örnekleme, oluşturma erişimcileri genelinde sabit bir derinliğe havuzlama ve farklı derinlikler üzerinde sorgu başına RRF yöntemlerini karşılaştırdık. RRF tabanlı örnekleme, tam derlemdeki belgelerin yalnızca %31,7'sini kullanır. Rastgele örneklemenin aynı boyutta ortalama Recall@1000 değerini 12,8 puan artırmasına kıyasla bu oran sadece 5,2 puanlık bir artışla mutlak skorlara yakın kalırken, Birleştirilmiş değerlendirmeler altındaki tam derlem model sıralamasını korur.

Örnekleme stratejilerine göre Birleştirilmiş değerlendirmeler altında ortalama Recall@1000 ve tam derlem model sıralamalarıyla uyum. Karşılıklı sıra birleşimi (RRF), rastgele örneklemeye göre daha düşük geri çağrı şişmesiyle, derlemin %31,7'sini kullanarak değerlendirilen modellerin sıralamasını korur.

Bu, değerlendirme maliyetlerini tam derlem maliyetinin yaklaşık üçte birine düşürür. RRF tabanlı alt derlemi kullanan pplx-embed-v1-4b yaklaşık 1.500 H200 GPU saati, EmbeddingGemma-300M ise 70'ten az GPU saati gerektirir.

Her başvuru ilk olarak örneklenmiş alt derlem sürümünde değerlendirilir. Başvurular toplam parametre sayısına göre iki gruba ayrılır: 1B'ye kadar ve 1B üzeri. Örneklenmiş alt derlemde grubunun ilk ona giren bir model daha sonra tam derlemde değerlendirilir. Grubunda ilk 10 dışında kalan modeller yalnızca örneklenmiş alt derlem liderlik tablosunda yayınlanacaktır.

Değerlendirme sonuçları

Değerlendirilen modeller genelinde Q2D-Web, 3 farklı alaka düzeyi kümesi aracılığıyla web ölçeğinde getirme performansının tutarlı bir görünümünü sağlar. Liderlik tablosu, bu tamamlayıcı görünümleri yan yana sunarak kullanıcıların modellerin daha dar atıf tabanlı etiketler ve daha geniş alaka düzeyi yargıları altında nasıl performans gösterdiğini incelemesine olanak tanır.

Birincil metrik olarak Recall@1000 üzerine odaklanıyoruz çünkü bir birinci aşama getirme aracının yalnızca ilgili belgeleri aday havuzuna yerleştirmesi gerekirken, sonradan yapılan yeniden sıralama (reranking) bunların nihai sırasını belirler.

Model ailesine göre gruplandırılmış on üç erişici için Birleştirilmiş Recall@1000 ile Birleştirilmiş nDCG@10 karşılaştırması. En yüksek puanı alan model, iki metrik arasında farklılık göstermektedir.

Tablo 1. Atıf, Web Sıralaması ve Birleştirilmiş alaka düzeyi setlerinde on üç erişimci için tam derlem Recall@1000 ve nDCG@10 değerleri. Daha yüksek skorlar daha iyidir.

Model

Recall@1000: Atıf

Recall@1000: Web Sıralaması

Recall@1000: Birleştirilmiş

nDCG@10: Atıf

nDCG@10: Web Sıralaması

nDCG@10: Birleştirilmiş

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

pplx-embed-v1-4b, Atıf (85,03), Web Sıralaması (65,73) ve Birleştirilmiş (70,00) olmak üzere her üç değerlendirme setinde de en yüksek Recall@1000 değerine sahiptir. Birleştirilmiş Recall@100 ve nDCG@10 değerlerinde Nemotron-3-Embed-8B (30,32 ve 45,65), pplx-embed-v1-4b'nin (30,17 ve 44,12) üzerine çıkmaktadır.

Aynı aile içinde, daha büyük modeller Birleştirilmiş Recall@1000 üzerinde daha yüksek puanlar alır. Qwen3-Embedding, 58,68'den (0,6B) 65,32'ye (8B); Nemotron-3-Embed, 62,44'ten (1B) 69,33'e (8B); ve pplx-embed-v1 ise 67,91'den (0,6B) 70,00'e (4B) yükselmektedir.

Perplexity modelleri, gönderilen diğer tüm modellerle aynı boru hattı kullanılarak değerlendirilir. Ancak Q2D-Web, Perplexity üretim trafiğinden türetildiği için bu modeller dağılım içi bir avantajdan yararlanabilir. Kıyaslamanın değerlendirme sorguları ve derlemi (corpus) model eğitiminin dışında bırakılmış olsa nazin, sonuçlar bu olası avantaj göz önünde bulundurularak yorumlanmalıdır.

Liderlik Tablosuna Nasıl Başvurulur?

Bir değerlendirme talep etmek için değerlendirme talep formu aracılığıyla herkese açık bir Hugging Face modeli gönderin.

Önerilen sorgu ve belge talimatları veya ön ekleri, havuzlama (pooling), normalizasyon ve benzerlik işlevi dahil olmak üzere modele özel çıkarım ayarları için gönderilen depodaki model kartını takip ediyoruz. Tüm sorgular ve belgeler, talimatlar, ön ekler ve özel belirteçler dahil olmak üzere modelin kendi belirteciyle (tokenizer) 512 belirtece (token) kadar kısaltılır; dolayısıyla daha uzun desteklenen bir bağlam hiçbir avantaj sağlamaz. Lütfen model kartının, amaçlanan getirme kurulumunu yeniden üretmek için eksik ve belirsiz olmayan talimatlar sağladığından emin olun.

Uygun modeller standart transformers veya sentence-transformers API'leri üzerinden yüklenmelidir. trust_remote_code=False ile çalışmayan modeller, değerlendirmeden önce özel kodun ve gönderenin manuel olarak incelenmesini gerektirir ki bu da oldukça uzun sürer. Özel veya kapalı depolar uygun değildir.

Metodoloji ve bulgular hakkında daha fazla bilgi edinmek için teknik raporumuzu okuyun.

Atıf

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}