מדד WANDR: הערכת סוכני מחקר החייבים לחפש רחב ועמוק

היום אנו משיקים את WANDR (Wide ANd Deep Research), מדד פתוח ומערכת הערכה הבנויים סביב 500 משימות איסוף נתונים ריאליסטיות ומאתגרות לעבודת ידע. WANDR היא האחות הרחבה של מדד DRACO למחקר מעמיק. DRACO שואלת האם סוכן יכול לייצר דוח ארוך מדויק, שלם ואובייקטיבי; WANDR שואלת האם הוא יכול לבנות אוסף גדול ולגבות כל פריט בראיות ספציפיות.

אלו סוגי המשרות שאנשים כבר מטילים על סוכני מחקר: מיפוי מתחרים, בדיקות נאותות, סקירת ספרות, ניתוח שוק, השוואת מוצרים, איתור כישרונות ועוד. המשימות נעות בין עשרות לאלפי רשימות הניתנות לאימות עצמאי. אפילו בהגדרת מאמץ גבוהה, המערכת החזקה ביותר בהערכה שלנו מגיעה רק ל-0.363 soft F1 ול-0.133 hard F1. מחקר רחב-ועמוק רוק רחוק מלהיות פתור.

הגדלה

מדוע מחקר רחב-ועמוק הוא חשוב

משימות מחקר שימושיות רבות אינן מסתיימות כאשר סוכן מוצא תשובה אחת. אנליסט שוק עשוי להזדקק לכל המתחרים המתאימים, עם אותה ראיה עבור כל אחד מהם. צוות בדיקת נאותות עשוי להזדקק לעשרות חברות, ואז לבעלות, למנהלים, למימון ולסטטוס הרגולטורי של כל אחת מהן. הדבר יוצר שני צרכים נפרדים:

רחב: גילוי סט גדול של ישויות מזכות שלעתים קרובות פתוח לסיומו.

עמוק: חקירת כל ישות די הצורך כדי לתמוך בכל טענה מבוקשת באמצעות ראיות.

השילוב של השניים משנה את הבעיה. קומץ דוגמאות משכנעות אינו מספיק, וגם לא נרטיב מלוטש הבנוי על מחקר חלקי. על הסוכן לשמור על גילוי רחב מבלי להקריב את איכות העובדות מרשומה אחת לאחרת.

WANDR לוכדת את המבנה הזה באמצעות היררכיית מפתחות הסמכה גמישה וניתנת להרכבה. משימה עשויה לבקש

company(n) → employee(m) → url(k)

המשמעות היא מציאת n חברות מזכות, m עובדים מזכים בכל חברה, ו-k עמודים תומכים עבור כל עובד. כל נתיב שלם דרך העץ ניתן לאימות באופן עצמאי. אותו מבנה בסיסי יכול לייצג רשימה שטוחה, חיפוש מקונן, מטריצה, או משימה עם ענפי ראיות מרובים. דפוסים אלו ניתנים לשילוב גם כן, ומאפשרים לייצוג אחד לכסות מגוון רחב של מקרי שימוש בעולם האמיתי.

הגדלה

משימה אחת ששוחררה ממחישה מבנה זה בפועל.

ceo_cfo_appointments

משימה ראשית. מצא לפחות 70 חברות מבוססות ארה"ב עם מינוי מנכ"ל או סמנכ"ל כספים שפורסם לראשונה בין ה-1 במרץ ל-30 באפריל 2026. עבור כל חברה, ספק עמוד מינוי סמכותי המזהה את החברה ואת הממונה, קובע את התפקיד ואת תאריך ההודעה, ומגיע מהמנפיק, מהגשה, מסוכנות ידיעות, או מעיתונות עסקים ממקור ראשון המיוחסת ישירות.

היררכיה ראשית. company(70) → company_appointee(1) → url(1).

משימת משנה של רישום חברות. עבור אותן חברות, ספק עמוד סמכות רישום מוכר המראה רישום בבורסת ניירות ערך לאומית בארה"ב או מעמד כמנפיק מדווח של חוק הבורסה לניירות ערך של ה-SEC הממוקם בארה"ב.

היררכיית משימת משנה. company(70) → url(1).

רשומות נדרשות. 140: 70 רשומות מינוי בתוספת 70 רשומות רישום.

כל נתיב מסתיים בעמוד ובקטעים שהבודק יכול לבדוק מחדש. מפתח החברה המשותף מיישר את ענפי המינוי והרישום, כך שמינוי ללא הוכחה נפרדת על מעמד הרישום עדיין משאיר חברה זו לא שלמה.

משימות ריאליסטיות, שנוצרו בקנה מידה רחב

WANDR מתחיל מדפוסים שעברו זיהוי־מזהה שנצפו בשימוש בייצור, ולא מהנחיות סינתטיות. כך נשאר ה־benchmark קרוב לעבודה שאנשים באמת מאצילים: גילוי פתוח, העשרה חוזרת, בדיקות חוצות־מקורות, והשוואות מובְנות בקנה מידה מקצועי. צינור עיבוד חצי־אוטומטי הופך את הדפוסים הללו למשימות, ומקצה את המאמץ האנושי לבקרת איכות במקום להערות ממצות על התשובות.

לצינור העיבוד יש ארבעה שלבים. זריעה (Seeding) כורה בקשות מוצר שעברו הסרת הזדהות עבור דפוס מחקר רחב הניתן לשימוש חוזר. יצירה (Authoring) מריצה לולאת יוצר-בקר משולבת: הסוכנים מתארים ובודקים את העיצוב בתנאי לחץ, כותבים את מפרט המשימה והשופט, יוצרים רשומות התקן, ומשתמשים בבדיקת תחביר מכנית כדי לשמור על יישור הכל. קבלה (Admission) בודקת שנפח היעד ניתן להשגה על ידי מיזוג של 10-12 הרצות יצירה, מבקרת את השופט הספציפי למשימה, ומוסיפה אופציונלית חתימה אנושית. אצירה (Curation) מתייגת את המשימות שהתקבלו ובוחרת סט סופי מאוזן על פני נושאים, קנה מידה, טופולוגיה וקושי.

הגדלה

המשימה החציונית מבקשת 50 חברים, ארבעה רשומות לכל חבר, ו-245 רשומות בסך הכל. יחד, 500 המשימות דורשות 170,495 רשומות גיבוי מקור. אנו מכיילים את הקושי מהרצות היסטוריות של שלב העיצוב, ואז מפצלים את המשימות לפי דירוג ל-167 דוגמאות בקושי נמוך, 166 בקושי בינוני ו-167 בקושי גבוה. התרשים להלן מראה שהקושי אינו נקבע על ידי קנה מידה לבדו; הוא תלוי גם בעבודה הנדרשת עבור כל רשומה.

הגדלה

מתן ציון ללא התייחסות, מאומת באמצעות ראיות

מפתח תשובות קבוע אינו מתאים למחקר פתוח לסיומו. יקר לבנות אותו, הוא מתיישן במהירות, ומייצג בצורה גרועה שאלות שתשובותיהן משתנות לאורך זמן. במקום זאת, WANDR מעניקה ציון לכל טענה שהוגשה כנגד הראיות שהסוכן מצטט.

כל רשומה מכילה פריט, כתובת URL, קטעים נבחרים ותשובה. הבודק שולף מחדש את העמוד ובודק האם הוא שמיש, האם הטענה ברורה ובטווח, האם הקטעים מופיעים בנאמנות בעמוד, והאם הן העמוד והן הקטעים תומכים בכל דרישה.

פסקי דין בינאריים אלו של רשומות מצטברים דרך ההיררכיה. דיוק (Precision) מודד את איכות מה שהמערכת הגישה. החזרה (Recall) מודדת השלמה מותאמת איכות כנגד הנפח המבוקש, וממלאה כל מחסור באפסים. F1 מאזן בין השניים. ציונים רכים מעניקים קרדיטים חלקיים לחברים חלקיים; ציונים קשים סופרים רק חברים שתת-העץ המלא הנדרש שלהם נכון. לצורך אבחון, WANDR מדווחת גם על פסק דין של שליפה בלבד השואל האם העמוד הנשלף מספק את המשימה לפני הוספת הבדיקות המחמירות יותר על תקפות וקטעים שהוגשו.

דבר זה הופך כישלונות לניתנים לפרשנות ולאיתור מיקום. דיוק גבוה עם החזרה נמוכה משמעו בדרך כלל שהמערכת מצאה כמה חברים טובים אך לא מספיק מהם. ירידה גדולה מרך לקשה משמעותה שהיא הגיעה להתקדמות חלקית אך לע ندرة השלימה כל ענף הדרוש לקרדיטים מלאים. עץ הציונים יכול לאתר את ההפסד לגילוי, העשרה, טיפול בזהויות, הסמכת עמודים או חילוץ ראיות.

הגדלה

מה שמצאנו

השווינו שש מערכות ייצור: משימות מארחות ו-API של חיפוש, API של סוכני אינטרנט כלליים, מוצר מחקר מעמיק ומערכת תזמור החיפוש התכנותית שלנו, חיפוש כקוד (Search as Code - SaC). כל אחת מהן תזומנה על כל 500 המשימות תחת תצורה נעולה, ואז עברה דרך אותו צינור שליפה, שיפוט, פתרון זהויות ומתן ציונים.

Perplexity Search as Code מובילה ב-0.363 soft F1 וב-0.133 hard F1. Anthropic במקום השני עם 0.249 ו-0.072; כל מערכת אחרת מגיעה לכל היותר ל-0.121 soft F1 ו-0.035 hard F1. אף מערכת אינה שולטת גם באיכות וגם ביעילות. Perplexity נמצאת באמצע טווח העלויות ב-$5.20 למשימה, עם זמן פתרון חציוני של 14.9 דקות ו-3.82 מיליון טוקנים מדווחים למשימה. OpenAI ו-Exa מהירות וזולות יותר אך מקבלות ציונים נמוכים بكثير. Anthropic מתקרבת ביותר לאיכות, אך משתמשת בהרבה יותר זמן, כסף וטוקנים.

הגדלה

הגדלה

הערכנו גם כל הגדרת מאמץ זמינה על תת-הקבוצה המותאמת של 45 משימות. מאמץ רב יותר משפר את Perplexity, Gemini ו-Exa בכל שלב; Perplexity מגיעה ל-0.447 soft F1 ו-0.224 hard F1 ב-xhigh. עם זאת, מאמץ גבוה יותר אינו טוב באופן אחיד: OpenAI מגיעה לשיא ב-high, וה-hard F1 של Parallel מחליק מעט בין ultra2x ל-ultra4x. העלות מתפרשת על פני יותר מארבעה סדרי גודל, החל מ-$0.03 למשימה עבור Exa low ועד $324.83 עבור Gemini max.

הגדלה

הגדלה

ארבעה ממצאים בולטים החוצה.

התקדמות חלקית היא נפוצה; כיסוי מלא אינו. ההחזרה הרכה נמצאת מתחת לדיוק הרך עבור כל מערכת, מה ששמעה שהביצועים נופלים ברגע שנפח המבקש המלא נכנס למכנה. Perplexity שומרת על החזרה של 0.357 מתוך דיוק של 0.389, הפער הקטן ביותר; Anthropic נופלת מ-0.354 ל-0.222. המרה מרך לקשה קשוחה עוד יותר. Perplexity נופלת מ-0.363 soft F1 ל-0.133 hard F1, ו-Anthropic מ-0.249 ל-0.072. הדיוק הקשה הטוב ביותר הוא 0.150 וההחזרה הקשה הטובה ביותר היא 0.134: אפילו המוביל מרוויח קרדיטים מלאים עבור רק כחבר אחד מתוך שבעה שהוא מגיש וחבר אחד מתוך שבעה שהמשימה מבקשת.

קנה מידה מחמיר את הבעיה. מהפח הקטן ביותר של נפח היעד ועד הגדול ביותר, הדיוק הקשה של Perplexity נופל מ-0.235 ל-0.096 וההחזרה הקשה שלה מ-0.219 ל-0.079. Anthropic נופלת מ-0.205 ל-0.113 ומ-0.127 ל-0.042; OpenAI נופלת מ-0.109 ל-0.034 ומ-0.102 ל-0.016. החזרה נופלת בדרך כלל מהר יותר מדיוק: מערכת עשויה לשמור כיס קטן של חברים שלמים תוך כיסוי פחות ופחות מהסט המבוקש.

היררכיות עמוקות יותר קשוחות עוד יותר. מעבר ללא מפתח ביניים לשלושה או יותר, הדיוק הקשה של Perplexity נופל מ-0.392 ל-0.019 וההחזרה הקשה מ-0.378 ל-0.017; Anthropic נופלת מ-0.311 ל-0.049 ומ-0.229 ל-0.022; OpenAI נופלת מ-0.136 ל-0.012 ומ-0.120 ל-0.011. כל ענף מוסף יוצר מקום נוסף שבו חבר יכול להחמיץ את הציון הקשה של הכול או כלום. עלות והשהייה אינן עוקבות אחר דפוס מונוטוני נפוץ.

הגדלה

עוד לפני שיפוט האיכות, הגילוי הוא צוואר הבקבוק המבני הראשון. במבט בלבד על ספירות גולמיות טרום-קריסה, השלמת גילוי ברמה עליונה ממוצעת נע בין 0.611 ל-0.951. העשרה מותנית חזקה יותר ב-0.767-0.967, והשלמת חריץ ראיות סופי מגיעה ל-0.979-0.994 ברגע שחבר ונתיב ההעשרה שלו קיימים. Perplexity מובילה בגילוי ב-0.951 ובהעשרה ב-0.967, אך OpenAI גבוהה מעט יותר בחריצי ראיות סופיים ב-0.994 לעומת 0.991. קריסת כפילויות מהווה רק 0.017-0.205 אחוזים של אובדן ספירה על פני שש ההרצות המלאות, כך שאספקה חסרה, ולא מיזוג זהויות, היא ההסבר המצטבר העיקרי. הפסדי המבנה הגולמיים הגדולים ביותר מתרחשים לפני שכתובת ה-URL הסופית מצורפת.

הגדלה

מציאת עמוד שמיש היא בדרך כלל קלה; מציאת ראיות שלמות היא קשה. עבור חמש מערכות, רק 3.2%-8.9% מהעמודים שהוגשו אינם שמישים; OpenAI היא החריגה ב-23.1%. רשומות לא חוקיות או מסוג שגוי נפוצות יחסית גם כן ב-4.2%-17.4%. ההפסדים הדומיננטיים מגיעים לאחר מכן: 33.6%-68.3% מהעמודים שהוגשו נכשלים בלפחות דרישת משימה מהותית אחת, ו-57.5%-86.6% מהקטעים שהוגשו נכשלים בתמיכה בכל מה שהרשומה טוענת. השיעורים של Perplexity הם 41.4% ו-57.5%. ה-soft F1 שלה נופל מ-0.531 תחת בדיקת שליפה בלבד, השואלת רק האם העמוד עומד בכל דרישה מהותית, ל-0.363 תחת פסק הדין המלא, הדורש גם בדיקות אוניברסליות, תוקף ספציפי למשימה ותמיכת קטעים מלאה. ה-hard F1 נופל באופן דומה מ-0.245 ל-0.133. החלק הקשה אינו רק הגעה לעמוד סביר; הוא הפיכת אותו עמוד לראיות מספיקות לכל הטענה.

הגדלה

חיפוש כקוד מותאם היטב לצורת משימה זו. מודל יכול לבטא שליפה, סינון, פיצול (fan-out), רינדור, חיבורים, הסרת כפילויות ולוגיקת עצירה כתוכנית, בעוד שחישוב דטרמיניסטי מטפל בפעולות חוזרות מחוץ להקשר המודל. פרופיל זה עקבי עם שמירת הרוחב החזקה יותר של Perplexity ובניית הקטעים שלה, למרות שהוא אינו מוביל בכל שכבה: ל-Anthropic יש שיעור הכישלון הנמוך ביותר בדרישות עמודים.

מה הלאה

WANDR מספקת יותר מסתם ציון מוביל בודד. מבנה המשימות המשותף שלה וצינור העיבוד החצי-אוטומטי תומכים ביצירת משימות מגוונות ובנפח גבוה, בעוד שפסקי דין לכל רשומה וציונים ברמת היררכיה מראים היכן הרצה נכשלת: גילוי, העשרה, טיפול בזהויות, הסמכה סמנטית או בניית ראיות. המשימות ששוחררו, המאמת והאבחונים המבניים מספקים בסיס לשיפור מערכות חיפוש מקיפות ובדיקה האם רווחים אלו נשמרים בקנה מידה.

אותו מבנה עשוי גם להפוך את WANDR לשימושית ללמידת חיזוקים. במקום להסתמך על תגמול טרמינלי דליל בודד, מאמן יכול להשתמש בשיפוטים ברמת רשומה וענף, להקצות קרדיטים חלקיים להתקדמות גילוי והעשרה, ולבנות תוכנית לימודים על ידי העלאת הספירות הנדרשות לאורך זמן. צינור העיבוד יכול לייצר משימות אחות מוחזקות על פני תחומים, צורות היררכיה, חוקי ראיות והגדרות רוחב-עומק מבלי לפרט תשובות זהב. דבר זה יוצר נתיב לאימון סוכנים לא רק למצוא עובדות נכונות, אלא גם לתכנן עבור כיסוי, לזהות ענפים חסרים ולהתאושש לפני עצירה.

משימות המדד, מערכת ההערכה והדוח הטכני המלא זמינים ב-GitHub.

ציטוט

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}