Q2D-Web: הערכת מאחזרי שלב ראשון בקנה מידה רחב

בנצ'מרק ולוח מובילים הכוללים 70 אלף שאילתות סוכנים, 190 מיליון מסמכי אינטרנט, ושלושה סטי שיפוטי רלוונטיות.

מחבריםPerplexity Research

היום, אנו מציגים את Q2D-Web (Query2Doc-Web), בנצ'מרק פרטי ולוח מובילים ציבורי להערכת אחזור במערכות RAG סוכנותיות. Q2D-Web מרחיב את בנצ'מרק Q2D המקורי שלנו לקורפוס בקנה מידה רחב, סט שאילתות גדול יותר וביאורי שיפוט מעמיקים יותר.

Q2D-Web נבנתה כדי להעריך מודלי הטמעות על חיפוש אינטרנט בקנה מידה גדול. היא מורכבת מ-190 מיליון מסמכי אינטרנט ומ-69,721 שאילתות שעוצבו מחדש בידי סוכן ב-10 שפות, שנדגמו לאורך תשעה חודשים של תעבורת חיפוש ייצור ללא PII.

בקנה מידה זה, אות הרלוונטיות ברמת השאילתה-מסמך דליל בהכרח. במקום להתייחס למקור אחד כאמת בסיס, אנו מספקים שלושה סטי שיפוט רלוונטיות, הנגזרים מציטוטים של סוכנים, דירוגי אינטרנט בייצור, ושיפוטי LLM נוספים עבור זוגות שלא זכו לשיפוט קודם. מקורות מרובים מגבילים את ההטיה מכל צינור תיוג יחיד, בעוד שביאור מעמיק יותר מצמצם שליליים שגויים.

לוח המובילים שלנו מדווח על תוצאות עבור מודלי אחזור ששוחררו לציבור, המושווים ישירות מול הבנצ'מרק תוך שימוש בצינור אינדוקס, אחזור וניקוד עקבי. ניתן להגיש הערכה באמצעות טופס הבקשה שלנו.

האתגר של הערכת אחזור ריאליסטית

עבור כל שאילתה, מערכת שליפה בהיקף ייצור מחפשת בקורפוס של מיליארדי דפי אינטרנט ומחזירה אלפי מסמכי מועמד. מועמדים אלה קובעים אילו מקורות מערכות המשך יכולות לראות, ובכך מעצבים ישירות את הראיות הזמינות לסוכן.

לכן, הערכה ריאליסטית של שלב ראשון זה דורשת בנצ'מרקים המתרחבים לאורך שלושה ממדים: מספר המסמכים בקורפוס, מספר השאילתות שזכו לשיפוט, ומספר שיפוטי הרלוונטיות לכל שאילתה.

קורפוסים גדולים יותר יכולים להפוך בנצ'מרק ליותר מבחין על ידי הצגת שליליים קשים - מסמכים הדומיים סמנטית לשאילתה אך אינם מספקים את המידע המבוקש. על מאחזרים להבחין בין התאמות סבירות אלו לבין מסמכים רלוונטיים. צמצום הקורפוס תוך שמירה על מסמכים רלוונטיים ידועים יכול להסיר מסיחים אלו ולהנפח את ה-recall, כפי שמראים ניסויי דגימת המשנה שלנו להלן.

שאילתות שזכו לשיפוט רבות יותר הופכות את הערכות הביצועים לאמינות יותר. עם סט שאילתות קטן, תוצאות הבנצ'מרק תלויות מאוד באילו שאילתות נבחרו בדגימה, מה שמקשה על הערכת ביצועי כל מודל במדויק ועל הבחנה בביטחון בין מודלים.

שיפוטים מעמיקים יותר מפחיתים שליליים שגויים בהערכה. עם תוויות דלילות, מאחזר יכול להציף מסמכים רלוונטיים שלא קיבלו שיפוט ולכן נספרים באופן שגוי כבלתי רלוונטיים. הדבר הופך את ההערכה לפחות אמינה. MS MARCO הוא מערך הנתונים הפתוח הגדול העיקרי באחזור מידע ועיצב את פיתוחם של מודלי אחזור עצביים. שם, 70% מפסגות האחזור המובילות שנבדקו ידנית אך לא תוייגו היו למעשה רלוונטיות.

אמות מידה קיימות נוטות להתרחב רק באחד או בשניים מהממדים הללו: אוספים בהיקף האינטרנט כוללים לעיתים קרובות מעט שאילתות שנשפטו, בעוד שאמות מידה עם הרבה שאילתות כוללות בדרך כלל קורפוסים קטנים בהרבה ותוויות דלילות. יתר על כן, רוב אמות המידה משתמשות בשאילתות שנכתבו בידי בני אדם, ואילו מערכות RAG מבוססות-סוכן מחפשות באמצעות שאילתות שעוצבו מחדש בידי סוכן, שעשויות להיות שונות בניסוח, במבנה ובספציפיות.

Q2D-Web מתרחבת לאורך כל שלושת הממדים. היא כוללת 190 מיליון מסמכי אינטרנט, 69,721 שאילתות שעוצבו מחדש בידי סוכן, וממוצע של 88.5 שיפוטי רלוונטיות חיוביים לכל שאילתה במערך השיפוט המשולב שלה. ההשוואה הציבורית הקרובה ביותר היא MS MARCO Web Search, הגרסה בהיקף האינטרנט של MS MARCO. יש לה 100.9 מיליון מסמכים, 9,374 שאילתות בדיקה, ותווית חיובית אחת שמבוססת על קליק לכל שאילתה.

כיצד יצרנו את Q2D-Web

בניית Q2D-Web: דגימת שאילתות מסוננות לפי פרטיות, בניית קורפוס ודחיסה (deduplication), תיוג רלוונטיות ודגימת תת-קורפוס.

שאילתות

Q2D-Web בנוי על בסיס 23,000 חיפושי ייצור נקיים מ-PII בעשר שפות ובעשרות תחומים שנאספו לאורך תקופה של תשעה חודשים.

חיפוש מורכב מכל קריאות כלי חיפוש האינטרנט שסוכן מבצע בתגובה להודעת משתמש. כל קריאת כלי מכילה שאילתת אחת או יותר. כל שאילתה מנוסחת מחדש מתוך בקשת המשתמש, השיחה הקודמת, ובמידת האפשר, מסמכים שאוחזרו מוקדם יותר באותו חיפוש. כל חיפוש ייצור מכיל שאילתה ראשית אחת, המנסחת מחדש את צורך המידע של המשתמש, ואפס או יותר שאילתות תמיכה, החקורות ניסוחים חלופיים, מידע רקע או ישויות קשורות. על אף שהן מתייחסות לאותה בקשה רחבה יותר, הן עשויות לדרוש מסמכים שונים, ולכן Q2D-Web מעריך כל שאילתה באופן עצמאי עם שיפוטי רלוונטיות משלה.

התפלגויות אורך ושפה של 69,721 השאילתות של Q2D-Web. האורך נמדד בתווים; העמודות מציגות את שבריר השאילתות בכל קטגוריה.
התפלגות שאילתות Q2D-Web על פני תחומים נושאיים. העמודות מציגות את נתח כל תחום מתוך קבוצת השאילתות; "אחר" מקבץ חמישה-עשר תחומים נוספים.

אנו מיישמים סינון פרטיות קקנוני לכל השאילתות הכלולות. שאילתות חייבות להגיע ממשתמשים שהתירו את שימוש בנתונים שלהם, וזיהוי PII באמצעות perplexity-ai/pplx-pii-masking מוציא שאילתות המכילות מידע אישי. אנו מסירים גם כפילויות מדויקות, שאילתות קצרות מאוד, ושאילתות המכילות אופרטורי חיפוש כמו site: או ביטויים במרכאות.

הבנצ'מרק מכסה עשר שפות. אנגלית מהווה 65.8% מהשאילתות, ואחריה ספרדית, רוסית, גרמנית, צרפתית, פורטוגזית, איטלקית, קוריאנית, יפנית וסינית. התפלגות השאילתות משתרעת גם על תמהיל רחב של תחומים, כולל מוצרי צריכה, תכנות, משפטים, בריאות, עסקים, מדע, חינוך, טכנולוגיה, פיננסים, נסיעות, בידור, פוליטיקה, מידע מקומי וחדשות.

קורפוס

עבור כל שאילתה, אנו מאחזרים את 5,000 המסמכים המובילים באמצעות מערכת אחזור ייצור ולוקחים את האיחוד של קבוצות תוצאות אלו. לאחר מכן אנו מסירים כפילויות מהקורפוס באמצעות MinHash–LSH, ומקבצים מסמכים שקבוצות ה-5-gram של האסימונים שלהם בעלות דמיון Jaccard של לפחות 0.975.

האוסף אינו מדגם אינטרנט אקראי בכוונה. כל מסמך נחשב כתוצאה סבירה עבור לפחות שאילתת בנצ'מרק אחת. הדבר יוצר קבוצה צפופה של מסיחים קשים: דפים התואמים לנושא או לשפה של השאילתה אך עשויים להחמיץ תאריך, ישות, גרסה, כמות או היבט נדרשים.

התפלגויות אורך מסמך ושפה בקורפוס הכולל כ-190 מיליון מסמכים. האורך נמדד בתווים; העמודות מציגות את שבריר המסמכים בכל קטגוריה.

שיפוטים

תוויות רלוונטיות הן מטבען חלקיות בקנה מידה רחב. תיוג של כל זוג שאילתה-מסמך אפשרי הוא בלתי ישים, וכל מקור של שיפוט נושא הטיה שונה.

Q2D-Web משתמש בשלושה סטי רלוונטיות במקום להתייחס למקור אחד כאמת בסיס, כדי להגדיל את עומק הביאור מבלי לסבול מהטיה יחידה.

ציטוט מתייג מסמך כרלוונטי כאשר סוכן ציטט אותו בתגובה. זהו האות הקרוב ביותר לשימוש במורד הזרם: הסוכן בחר במסמך כראיה לטענה. אך ציטוט הוא בעל דיוק גבוה ו-recall נמוך מטבע בנייתו. ברגע שלסוכן יש תמיכה מספקת, יש לו מעט סיבות לצטט כל דף רלוונטי אחר.

דירוג אינטרנט מורכב מעד 50 מסמכים לכל שאילתה (43.1 בממוצע), שזוהו על ידי מערך אחזור פנימי תוך שימוש ב-BM25 ואחזור צפוף בשלב הראשון, ולאחר מכן דירוג מחדש באמצעות cross-encoder. דבר זה לוכד מסמכים שימושיים אך שאינם מצוטטים.

משולב + שופט LLM לוקח את האיחוד של ציטוט ודירוג אינטרנט, ולאחר מכן מוסיף שיפוטי LLM עבור מועמדים שלא זכו לשיפוט קודם, במטרה לצמצם את מספר השליליים השגויים. אנו אוספים תוצאות מ-BM25, ColBERTv2, ושבעה מאחזרים צפופים ששוחררו לפני 1 בינואר 2025, ממזגים את הדירוגים שלהם באמצעות reciprocal rank fusion (RRF), בוחרים את 500 המסמכים המובילים שלא זכו לשיפוט, ומחילים שופט רלוונטיות בינארי קפדני באמצעות DeepSeek-V4-Flash.

שלושת הסטים מאפשרים לנו לבחון האם ביצועי המודל תלויים באופן שבו מוגדרת הרלוונטיות. הם גם מפחיתים את התלות במערך תיוג יחיד, העלול אחרת להעדיף מאחזרי מידע הדומה למערכת ששימשה לייצור התגים.

התפלגויות של מסמכים רלוונטיים לפי שאילתה בסולם לוגריתמי. תוויות משולבות מאגדות ציטוטים, דירוגי אינטרנט ושיפוטים נוספים של מודלי שפה גדולים (LLM).

דגימת משנה: הערכה יעילה בקנה מידה רחב

הערכת קורפוס מלא היא יקרה ואיטית. הערכה בודדת על Q2D-Web עם pplx-embed-v1-4b דורשת 4,608 שעות GPU מסוג H200, בעוד שאפילו מודל קטן כמו EmbeddingGemma-300M דורש קרוב ל-200 שעות GPU מסוג H200.

כדי לשמור על הערכה מעשית, אנו בונים גרסה מדגמית של הקורפוס.

הרצנו אבלאציה מקיפה על פני אסטרטגיות דגימה כדי לבנות תת-קורפוס קטן יותר המשקף את התנהגות הקורפוס המלא. כל אסטרטגיה שומרת את כל המסמכים שזכו לשיפוט חיובי ומשתנה רק באופן שבו נבחרים מסיחים שלא זכו לשיפוט. המסיחים שחשובים הם אלו שמאחזר סביר שידרג מעל מסמכים רלוונטיים, כיוון שאלה משנים את ציון המודל ואת מיקומו בדירוג.

השווינו בין דגימה אקראית אחידה, איגוד (pooling) לעומק קבוע על פני מודלי שליפת המסמכים (retrievers), ושיטת RRF לפי שאילתה בעומקים שונים. דגימה מבוססת RRF משתמשת רק ב-31.7% מהמסמכים בקורפוס המלא. היא שומרת על דירוג המודלים של הקורפוס המלא תחת שיפוטֵי Combined, תוך שמירה על קרבה לציונים המוחלטים, ומעלה את ממוצע ה-Recall@1000 ב-5.2 נקודות לעומת 12.8 נקודות בדגימה אקראית באותו גודל.

ממוצע Recall@1000 וההתאמה לדירוגי מודלי הקורפוס המלא תחת שיפוטֵי Combined על פני אסטרטגיות דגימה שונות. מיזוג דירוגים הדדי (RRF) שומר על דירוג המודלים המוערכים תוך שימוש ב-31.7% מהקורפוס, עם ניפוח נמוך יותר של הרקול (recall) בהשוואה לדגימה אקראית.

הדבר מצמצם את עלויות ההערכה לכשליש מעלות הקורפוס המלא. באמצעות תת-הקורפוס מבוסס RRF, pplx-embed-v1-4b דורש בערך 1,500 שעות GPU מסוג H200 ו-EmbeddingGemma-300M דורש פחות מ-70.

כל הגשה מוערכת תחילה על גרסת תת-הקורפוס הנדגם. ההגשות מחולקות לשתי קבוצות לפי סך ספירת הפרמטרים: עד 1B ומעלה מ-1B. מודל המגיע לעשירייה הפותחת של קבוצתו בתת-הקורפוס הנדגם מוערך לאחר מכן על הקורפוס המלא. מודלים המדורגים מחוץ לעשירייה הפותחת בקבוצתם יפורסמו אך ורק בלוח המובילים של תת-הקורפוס הנדגם.

תוצאות הערכה

בקרב המודלים המוערכים, Q2D-Web מספק תצוגה עקבית של ביצועי אחזור בקנה מידה אינטרנטי על פני 3 סטי הרלוונטיות השונים שלו. לוח המובילים הופך מבטים משלימים אלו לזמינים זה לצד זה, ומאפשר למשתמשים לבדוק כיצד מודלים מתפקדים תחת תוויות מבוססות ציטוט צרות יותר ושיפוטי רלוונטיות רחבים יותר.

אנו מתמקדים ב-Recall@1000 כמדד העיקרי שלנו משום שמאחזר שלב ראשון צריך רק למקם מסמכים רלוונטיים במאגר המועמדים, בעוד שדירוג מחדש עוקב קובע את סדרם הסופי.

Combined Recall@1000 לעומת Combined nDCG@10 עבור שלושה-עשר מנועי שליפה, מבוקשים לפי משפחת מודלים. המודל בעל הציון הגבוה ביותר שונה בין שתי המדדים.

טבלה 1. מדדי Recall@1000 ו-nDCG@10 עבור קורפוס מלא עבור שלושה עשר מודלי שליפה על פני קבוצות הרלוונטיות Citation, Web Ranking ו-Combined. ציונים גבוהים יותר מעידים על תוצאות טובות יותר.

מודל

Recall@1000: ציטוט

Recall@1000: דירוג אינטרנט

Recall@1000: משולב

nDCG@10: ציטוט

nDCG@10: דירוג אינטרנט

nDCG@10: משולב

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

למודל pplx-embed-v1-4b יש את מדד ה-Recall@1000 הגבוה ביותר בכל שלושת סִדְרֵי השיפוט: Citation (85.03), Web Ranking (65.73), ו-Combined (70.00). במדד ה-Combined (Recall@100 ו-nDCG@10), המודל Nemotron-3-Embed-8B (30.32 ו-45.65) מקבל ציון גבוה יותר מ-pplx-embed-v1-4b (30.17 ו-44.12).

בתוך אותה משפחה, מודלים גדולים יותר מקבלים ציונים גבוהים יותר במדד ה-Combined Recall@1000. מודל Qwen3-Embedding עולה מ-58.68 (0.6B) ל-65.32 (8B), Nemotron-3-Embed עולה מ-62.44 (1B) ל-69.33 (8B), ו-pplx-embed-v1 עולה מ-67.91 (0.6B) ל-70.00 (4B).

מודלי Perplexity מוערכים באמצעות אותו צינור כמו כל שאר המודלים שהוגשו. עם זאת, מכיוון ש-Q2D-Web נגזר מתעבורת הייצור של Perplexity, מודלים אלו עשויים ליהנות מיתרון של התפלגות פנימית. אף על פי ששאילתות ההערכה והקורפוס של הבנצ'מרק הוצאו מאימון המודל, יש לפרש את התוצאות תוך התחשבות ביתרון פוטנציאלי זה.

כיצד להגיש ללוח המובילים

כדי לבקש הערכה, הגש מודל Hugging Face הזמין לציבור דרך טופס בקשת ההערכה שלנו.

אנו פועלים לפי כרטיס המודל במאגר שהוגש עבור הגדרות הסקה ספציפיות למודל, כולל הוראות או קידומות מומלצות לשאילתה ולמסמך, pooling, נרמול ופונקציית הדמיון. כל השאילתות והמסמכים נחתכים ל-512 טוקנים באמצעות הטוקנייזר של המודל עצמו, כולל הוראות, קידומות וטוקנים מיוחדים, כך שתמיכה בהקשר ארוך יותר אינה מעניקה יתרון. אנא ודאו שכרטיס המודל מספק הוראות מלאות וחד-משמעיות לשחזור מערך השליפה המיועד.

מודלים זכאים חייבים להיטען באמצעות ממשקי API תקניים של transformers או sentence-transformers. מודלים שאינם פועלים עם trust_remote_code=False דורשים סקירה ידנית של הקוד המותאם אישית ושל המגיש טרם ההערכה, דבר שלוקח זמן רב משמעות אישית. מאגרים פרטיים או מוגנים אינם זכאים.

קרא את הדוח הטכני שלנו כדי ללמוד עוד על המתודולוגיה והממצאים.

ציטוט

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}