הערכת ביצועי מחקר מעמיק בסביבה הטבעית באמצעות מדד DRACO

היום אנו משיקים את מדד הדיוק, השלמות והאובייקטיביות של מחקר מעמיק (DRACO), מדד פתוח להערכת סוכני מחקר מעמיק המבוסס על האופן שבו משתמשים בפועל משתמשים בבינה מלאכותית למשימות מחקר מורכבות. באמצעות הפיכת DRACO לקוד פתוח, אנו שואפים לעזור לקהילת הבינה המלאכותית הרחבה יותר לפתח כלי מחקר שעונים טוב יותר על צורכי המשתמשים האמיתיים.

DRACO מדגיש את הפער שבין פתרון משימות סינתטיות לבין מתן מענה לצורכי מחקר אמיתיים. כלי ההערכה הוא בלתי-תלוי במודל: ככל שיופיעו מודלי שפה גדולים סוכנותיים חזקים יותר, נריץ מחדש את ההערכות ונפרסם תוצאות מעודכנות. וכאשר נשחרר שיפורים למחקר מעמיק ב-Perplexity.ai, המשתמשים יראו את השיפורים הללו משתקפים גם בביצועי המוצר וגם בציוני המדד.

מחקר מעמיק מתקדם ביותר

מחקר מעמיק של Perplexity משיג ביצועים מתקדמים ביותר במדדים חיצוניים מובילים, כולל DeepSearchQA של Google DeepMind ו-ResearchRubrics של Scale AI.

הגדלה

הגדלה

תוצאות אלו נובעות משילוב של המודלים הזמינים הטובים ביותר עם יכולות הסוכנים הייעודיות של Perplexity: כלי חיפוש קנייניים, תשתית דפדפן והרצת קוד. יחד, אלו יוצרים מערכת המותאמת מקצה לקצה לשליפה, סינתזה והסקת מסקנות על מידע מהעולם האמיתי.

בתהליך פיתוח המוצר הזה, הבנו שמדדים חיצוניים, אף על פי שהם שימושיים להשוואת מודלים, לרוב אינם תופסים את השאילתות הרב-ממדיות ואת דרישות הסינתזה שמשתמשים אמיתיים מעלים מדי יום. היום, אנו הופכים את מדד DRACO לקוד פתוח – מדד המבוסס על האופן שבו אנשים משתמשים בפועל במחקר מעמיק, מונע על ידי מיליוני משימות ייצור על פני עשרה תחומים.

הגדלה

מדוע הערכה המבוססת על סביבת ייצור חשובה

מדדים קיימים בודקים לעתים קרובות כישורים צרים בבידוד: שליפת עובדה יחידה, מענה על שאלת טריוויה, או פתרון בעיה מוגדרת היטב. אך שאילתות מחקר אמיתיות דורשות סינתזה בין מקורות, ניתוח מדויק והכוונה בת-יישום, והכל תוך שמירה על דיוק עובדתי וציטוט נאות.

מדד DRACO כולל 100 משימות שנבחרו בקפידה המשתרעות על פני אקדמיה, פיננסים, משפטים, רפואה, טכנולוגיה, ידע כללי, עיצוב חוויית משתמש (UX), עוזר אישי, השוואת קניות/מוצרים ומחט בערימת שחת, כאשר כל אחת מהן משודכת למערכות קריטריונים (רובריקות) שנוצרו על ידי מומחים ומכילות בממוצע כ-40 קריטריונים להערכה.

משימות אלו נובעות בבקשות משתמש אמיתיות ב-Perplexity Deep Research, שנדגמו ממיליוני בקשות ייצור ולאחר מכן נוסחו מחדש באופן שיטתי, הועשרו וסוננו דרך צינור בן חמישה שלבים: אנו מסירים מידע מזהה אישי, מוסיפים הקשר והיקף, מסננים עבור אובייקטיביות וקושי, ועורכים סקירה סופית על ידי מומחי תוכן. התוצאה היא מדד המשקף צורכי משתמש אמיתיים ולא תרגילים סינתטיים או משימות שנבחרו על ידי מומחים.

כיצד פועל מדד DRACO

הגדלה

כל משימה במדד עברה תהליך פיתוח קריטריונים קפדני. Perplexity עבדה עם שותפת יצירת נתונים, The LLM Data Company, כדי לפתח ולבדוק בעצימות קריטריוני הערכה עבור הסט. מומחי תוכן ניסחו קריטריונים ראשוניים בעזרת כלי מודלי שפה, ולאחר מכן עברו סבבי ביקורת עמיתים וכיול. קריטריונים לא מוגדרים היטב או מקלים מדי הוחזרו לבדיקה חוזרת, כאשר כ-45% מהקריטריונים עברו עידון לפחות פעם אחת תהליך זה. התוצאה היא קריטריוני הערכה שמבחינים באמת בין יכולות המערכת.

הקריטריונים מעריכים ארבעה מימדים: דיוק עובדתי (כמחצית מכלל הקריטריונים), רוחב ועומק הניתוח, איכות ההצגה וציטוט מקורות ראשוניים. כל קריטריון מקבל משקל המשקף את חשיבותו וחלק מהקריטריונים הינם שליליים, ומענישים על שגיאות כגון הזיות או טענות שאינן נתמכות.

תגובות מדורגות באמצעות פרוטוקול LLM-as-judge, שבו כל קריטריון מקבל פסיקה בינארית. גישה זו מתאימה במיוחד להערכת דיוק עובדתי, משום שרובריקות מעגנות את השופט בנתונים מהעולם האמיתי שמופקים מתוצאות חיפוש, והופכות הערכה סובייקטיבית לבדיקת עובדות שניתן לאמת. אימתנו את האמינות בשלושה מודלי שופט ומצאנו שלמרות שהציונים המוחלטים משתנים, הדירוגים היחסיים של המערכות נשארים עקביים.

הגדלה

ערכת כלים וסביבת הערכה

המדד נועד להעריך סוכנים בעלי גישה לערכת כלים מלאה למחקר, כולל ארגז חול להרצת קוד ויכולות דפדפן.

מה מצאנו

ביצועים לפי תחום. הערכנו ארבע מערכות מחקר מעמיק על פני 10 תחומי ידע על ידי מדידת שיעורי מעבר (אחוז קריטריוני ההערכה שעומדים בדרישות). מחקר מעמיק השיג את שיעורי המעבר הגבוהים ביותר בכל התחומים, עם ביצועים חזקים במיוחד במשפטים (89.4%) ובאקדמיה (82.4%).

הגדלה

עבור משתמשים, פירוש הדבר הוא תשובות אמינות יותר בין אם אתם מכינים סיכום משפטי, עורכים סקירת ספרות, או משווים אפשרויות טיפול רפואי. פערי הביצועים התרחבו משמעותית במשימות הסק-מסקנות מורכבות: בתרחישים של עוזר אישי ומחט בערימת שחת, Perplexity עלתה על המערכת בעלת הציון הנמוך ביותר בלמעלה מ-20 אחוזים. תחומים אלו משקפים צרכי משתמש אמיתיים כמו המלצות מותאמות אישית ומציאת עובדות ספציפיות הקבורות במסמכים גדולים.

הגדלה

ביצועים לפי היבט הערכה. על פני ארבעה מימדי הערכה מרכזיים, מחקר מעמיק הוביל בשלושה: דיוק עובדתי, רוחב ועומק הניתוח, ואיכות הציטוט. אלו המימדים החשובים ביותר כאשר עליכם לסמוך על המחקר שלכם לצורך קבלת החלטות אמיתיות, בין אם אתם מייעצים ללקוח, מבצעים השקעה, או כותבים דוח ששמכם מופיע עליו. רק מערכת אחת נוספת הציגה ביצועים דומים למחקר מעמיק של Perplexity באיכות ההצגה, מה שמעיד על כך שהבעיות הקשות במחקר מעמיק אינן קשורות לעיצוב אלא להבאת העובדות הנכונות והשלמת הניתוח.

הגדלה

איכות ויעילות. ראוי לציין שהמערכת בעלת הביצועים הטובים ביותר השיגה גם את ההשהיה (latency) הנמוכה ביותר (459.6 שניות לעומת 592 עד 1808 שניות אצל מתחרים). עבור משתמשים, פירוש הדבר הוא שאינכם צריכים לבחור בין מחקר מעמיק לבין קבלת תשובות במהירות. הדבר משקף את היתרון של תשתית משולבת אנכית מקצה לקצה: חיפוש טוב יותר¹ [קישור להערת שוליים ל-API החיפוש שלנו] ואינטגרציה של דפדפן עם סביבות הרצה ממוטבות מתורגמים ישירות למחקר מהיר ומדויק יותר.

מה הלאה

כלי המחקר המעמיק של Perplexity הינו בלתי-תלוי במודל: ככל שיופיעו מודלי שפה גדולים סוכנותיים חזקים יותר, נריץ מחדש את ההערכות ונפרסם תוצאות מעודכנות. וכאשר נשחרר שיפורים למחקר מעמיק ב-Perplexity.ai, המשתמשים יראו את השיפורים הללו משתקפים גם בביצועי המוצר וגם בציוני המדד.

המדד מעריך כיום אינטראקציות באנגלית בלבד ובמפגש יחיד, across ten domains. גרסאות עתידיות ירחיבו את המגוון הלשוני, יוסיפו הערכה רב-מפגשית וירחיבו את הכיסוי התחומי.

בנו סוכני מחקר טובים יותר בעזרת מדד DRACO

מדד DRACO פתוח כעת לגמרי בקוד פתוח. כל צוות המפתח מערכות מחקר מעמיק יכול להעריך את המודלים שלו מול משימות מחקר מהעולם האמיתי במקום חידות אקדמיות סינתטיות. אנו משחררים את המדד המלא, את כל הקריטריונים ואת הנחיית השופט.

כדי ללמוד עוד על המתודולוגיה והתוצאות המפורטות, קראו את הדוח הטכני המלא: מדד DRACO וחקרו את מאגר הנתונים ב-Hugging Face.

ציטוט

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}