הטבעות רב-אופניות מעבר לווקטור יחיד

מאז ההשקה של pplx-embed-v1 בפברואר, עבדנו על דור חדש של מודלי הטבעה. בשבוע שעבר הצגנו את מודל ההטבעה ההקשרי החדש שלנו, pplx-embed-v2-context. היום אנו מרחיבים את המשפחה עם pplx-embed-v2-late, אוסף של מודלי אינטראקציה מאוחרת. לצד יכולות אחזור חזקות יותר, אלה המודלים הראשונים שמשלבים שלוש יכולות ליבה:

• ייצוגים מרובי-ווקטורים. במקום לדחוס כל קלט לווקטור יחיד, מודלים אלה שומרים וקטורים ברמת הטוקן כדי לאפשר השוואות מדויקות יותר בין שאילתה למסמך. הדבר מאפשר לחלקים שונים של שאילתה להתאים לחלקים שונים של מסמך, תוך שימור פרטים בעלי ערך מיוחד לאחזור רב-אופני.
• תמיכה גם במודליוֹת טקסט וגם במודליוֹת תמונה. נוסף על יכולות אחזור טקסט-לטקסט של המודלים הקודמים שלנו, המודלים החדשים הללו מטפלים גם באחזור טקסט-לתמונה, ומאפשרים להם לחפש ישירות בדפי PDF שעברו רינדור ללא צורך ב-OCR או בטקסט מפוענח.
• מרחב הטבעה משותף. אנו משחררים שני גדלי מודלים, 0.6B ו-9B, כדי לתמוך בדרישות שונות של איכות, זמן השהיה ומחשוב. כל אחד מהם יכול לשמש באופן עצמאי, אך מרחב ההטבעה המשותף מאפשר גם למודל הקטן לחפש באינדקס שנוצר עם המודל הגדול יותר, ובכך לשלב הטבעות מסמכים באיכות גבוהה יותר עם הסקת מסקנות זולה ומהירה בזמן השאילתה.

המודלים החדשים האלה משיגים תוצאות ברמה הגבוהה ביותר בתחום במגוון מבחני ביצועים לאחזור חזותי ולאחזור טקסט, וכן במשימות מענה על שאלות מבוססות סוכנים. ראוי לציין שב-ViDoRe (V3), מבחן ביצועים מוביל לאחזור מסמכים חזותיים, המודל שלנו בגודל 0.6B משתווה למודלים שיש להם פי חמישה פרמטרים פעילים. שני המודלים זמינים לציבור ב-Hugging Face. הדוח הטכני שלנו מספק פרטים נוספים על המתודולוגיה ועל תוצאות ההערכה.

מוקטור יחיד לאינטראקציה מאוחרת

מערכות אחזור חייבות למצוא איזון בין יעילות לבין עומק האינטראקציה בין שאילתות למסמכים. מודלי הטבעה צפופים מקודדים כל שאילתה וכל מסמך בנפרד, מה שמאפשר להשוות ביניהם באמצעות מכפלה פנימית זולה. הדבר הופך חיפוש שכנים קרובים בקירוב (ANN) על פני מיליארדי מסמכים למעשי. בקצה השני, cross-encoders מעבדים את השאילתה ואת המסמך יחד, ומאפשרים אינטראקציה עשירה יותר אך דורשים מעבר קדמי נפרד עבור כל מועמד. החלת חישוב זה על פני קורפוס גדול של מסמכים בכל חיפוש היא יקרה מדי, ולכן cross-encoders שמורים בדרך כלל לדרוג מחדש של קבוצה קטנה של מועמדים שאוחזרו.

המגבלות של הטמעות צפופות

ייצוג מסמך שלם באמצעות וקטור יחיד ובגודל קבוע יוצר צוואר בקבוק של מידע. ככל שמסמכים מתארכים ומכסים יותר נושאים, המודל צריך לדחוס יותר תוכן לאותו וקטור, וכך קשה יותר לשמר את כל מה שרלוונטי לשאילתה. חלוקה לקטעים יכולה להפחית את הלחץ הזה, אך היא מפצלת את המסמך ועלולה להפריד מידע שההיגיון שלו מתקיים רק יחד, בעיה שאנו מטפלים בה גם באמצעות מודל ההטבעה ההקשרי שלנו. צוואר בקבוק זה מחמיר בסביבות רב-אופניות, שבהן צפיפות המידע של תמונות דורשת דחיסה רבה עוד יותר.

אחזור צפוף במוקטור יחיד גם מצמצם כל השוואה למכפלה פנימית בין שני וקטורים, ובכך מגביל את אקספרסיביות פונקציית הניקוד. עבור ממד הטבעה קבוע וקורפוס גדול מספיק, חלק מדפוסי הציונים על פני זוגות שאילתה-מסמך פשוט אינם ניתנים ליצירה, בלי קשר לאימון. מדד LIMIT הופך את החשש התיאורטי הזה למבחן מאמץ קונקרטי לאחזור במוקטור יחיד.

אחזור באינטראקציה מאוחרת

מודלי אינטראקציה מאוחרת תופסים את המרחב שבין מודלי ההטבעה הצפופים הזולים יותר לבין ה-cross-encoders האקספרסיביים יותר. כמו מודלים צפופים, הם מקודדים מסמכים ללא תלות בשאילתה, מה שמאפשר לחשב ייצוגי מסמכים לא מקוונים. אולם במקום לצמצם כל קלט לווקטור יחיד, הם שומרים כמה וקטורים ומשתמשים בפונקציית ניקוד עשירה יותר בעת השוואת שאילתה למסמך.

מודלי pplx-embed-v2-late שלנו משתמשים בארכיטקטורה בסגנון ColBERT, ומפיקים הטבעות בנות 128 ממדים עבור כל טוקן בקלט. אנו מנקדים זוגות שאילתה-מסמך באמצעות MaxSim; עבור כל טוקן בשאילתה, המודל בוחר את טוקן המסמך בעל הניקוד הגבוה ביותר ומסכם את ערכי הדמיון המרביים לכל טוקן כדי לייצר את הציון הסופי. כך חלקים שונים של שאילתה יכולים להתאים לחלקים שונים של מסמך, כאשר התאמות חזקות יותר של טוקנים תורמות יותר לציון.

הגדלה

אקספרסיביות נוספת זו באה עם עלויות אחסון וניקוד מועמדים גבוהות יותר. אחזור צפוף מאחסן וקטור אחד לכל מסמך ומנקד מועמד באמצעות מכפלה פנימית אחת; אינטראקציה מאוחרת מאחסנת וקטורים עבור טוקנים של מסמכים ומחשבת דמיונים רבים בין טוקנים. העלות גדלה עם אורך המסמך, ולכן אינטראקציה מאוחרת מחייבת פשרה אחרת בין אינדוקס לבין שירות מאשר אחזור ANN במוקטור יחיד. בתמורה, היא מספקת אחזור ראשוני עשיר יותר עבור קורפוסים הרגישים לאיכות, ויכולה גם לשמש כשלב מאוחר יותר בצנרת אחזור גדולה ברמת האינטרנט.

מודל אחד, מודליוֹת מרובות

העמקה משופרת זו של האינטראקציה הוכחה כשימושית מאוד למגוון משימות, כולל אחזור בהקשר ארוך, סוכני ואחזור מחוץ לתחום. הבדל זה בולט במיוחד באחזור רב-אופני, כפי שניתן לראות מהיתרון הגדול של מודלי ColPali בטבלת המובילים של ViDoRe(V3).

קורפוסים בעולם האמיתי אינם מורכבים רק מטקסט נקי. הם מגיעים כ-PDF, מצגות, צילומי מסך, דפים סרוקים, תרשימים וטבלאות. הצינור המסורתי מנתח את המסמכים הללו, מחיל OCR או כתוביות, ומחפש בטקסט שמתקבל, תהליך יקר וחסר: הוא עלול להכניס שגיאות OCR והוא זונח פריסה, מבנה טבלאי, איורים ויחסים מרחביים. חיפוש מסמכים חזותי מדלג על השלב הזה, ומקרין את העמוד המרונדר ישירות אל מרחב הייצוג, שבו שאילתות טקסטואליות יכולות לחפש בו.

משפחת המודלים החדשה שלנו נשענת על הביצועים החזקים של מודלים מרובי-ווקטורים לחיפוש רב-אופני ומקדמת את חזית פארטו עבור מודלים קטנים במדד אחזור המסמכים הנפוץ ביותר, ViDoRe(V3). אף שאנו מצפים שרנדורים של מסמכים יהיו הצורה הנפוצה ביותר של קלט חזותי, המודלים שלנו תומכים גם בחיפוש סמנטי של תמונות טבעיות, כמו תצלומי נוף.

אימון משפחה של מודלים תואמים זה לזה

חיפוש הוא מטבעו אסימטרי: לאינדוקס ולקידוד שאילתות יש אילוצים תפעוליים שונים. האינדוקס פועל אופליין וניתן להקביל אותו, ולכן עלות המחשוב שלו מתחלקת על פני חיפושים עתידיים רבים. קידוד שאילתות פועל אונליין עבור כל בקשה, ולכן הוא רגיש לזמן השהיה ולעתים כפוף למגבלות שירות או מכשירי קצה. משפחת המודלים שלנו מנצלת אסימטריה זו, ומציעה גדלים המותאמים לכל צד של צנרת האחזור.

אנו מאמנים מורה 18B באימון ניגודי, ואז מבצעים לו דיסטילציה בנפרד לסטודנטים 9B ו-0.6B. במקום לאמן כל סטודנט רק לשחזר את התפלגות הדירוג של המורה, אנו משתמשים בדיסטילציית ייצוג בסגנון LEAF: עבור כל טוקן בקלט, אנו מיישרים את ההטבעה של הפלט של הסטודנט עם זו של המורה. בעוד שדיסטילציה במרחב הייצוג שימשה בעבר במודלים צפופים במוקטור יחיד, אנו מרחיבים אותה לאינטראקציה מאוחרת, שבה יעד היישור הוא וקטור עבור כל טוקן שנשמר.

כתוצאה מכך, שני ה-checkpoints ששוחררו חולקים את אותו מרחב הטבעה מרובה-ווקטורים. הדבר מאפשר אחזור חוצה-מודלים, ובכך פותח אפשרויות פריסה נוספות.

• איכות מרבית: קידוד מסמכים ושאילתות באמצעות מודל 9B.
• יעילות מרבית: קידוד מסמכים ושאילתות באמצעות מודל 0.6B לצורך הסקה מקומית ב-100%
• אחזור בעל זמן השהיה נמוך: בנו את אינדקס הקורפוס באמצעות מודל 9B, ואז קודדו שאילתות חיות באמצעות מודל 0.6B כדי למנף חישוב בזמן האינדוקס תוך שמירה על מהירות השאילתות.
• אחזור מקומי–ענן: קודדו מסמכים פרטיים מקומיים או שאילתות חיות באמצעות מודל 0.6B על המכשיר, והשוו או מיזגו את הייצוגים הללו עם תוצאות מאינדקס 9B המתארח בענן.

לסביבות רגישות לזמן השהיה, תכננו את מודל 0.6B כקודד שאילתות קל משקל שיכול לפעול גם על מכשירי קצה. החל מ-Qwen3.5-0.8B, גזמנו את מגדל הטקסט בן 24 השכבות ל-12 שכבות, ובכך הפחתנו את המגדל מ-498 מיליון ל-240 מיליון פרמטרים שאינם הטבעה. למודל המתקבל יש בסך הכול 594 מיליון פרמטרים, אך הגודל הנומינלי שלו גורם לעלות השירות להיראות גבוהה מכפי שהיא: 100 מיליון משמשים לקידוד תמונה, ו-254 מיליון יושבים בטבלת הטמעת הטוקנים, שאין לה השפעה רבה על זמן הריצה. רק כ-240 מיליון פרמטרים פעילים לקידוד טקסט ו-340 מיליון לקידוד תמונה, מה שמעניק למודל את עלות השירות של מודל קטן משמעותית יותר, תוך שמירה על תאימות לאינדקס 9B.

יישמנו את אותו תהליך כדי לבנות את המורה 18B שלנו מבסיס 27B, מה שהפך את המורה לזול בהרבה לדיסטילציה, בלי להחליש את האות שהוא מספק.

נתוני אימון רב-לשוניים, רב-אופניים ולא מזוהמים

אנו מאמנים את שני המודלים על מערך נתונים של 186 מיליון זוגות שאילתה-מסמך שנלקחו מ-594 מערכי נתונים ב-46 שפות. מבין הזוגות הללו, 88.3% הם טקסט-לטקסט, 8.3% הם טקסט-לתמונה, ו-3.4% הם זוגות טקסט-למסמך חזותי. במקום לדגום ביחס לגודל מערך הנתונים, אנו מקצים לכל מערך נתונים משקל דגימה, מה שמוביל לתמהיל אימון מאוזן יותר של 56.5%, 30.9% ו-12.6% בהתאמה.

בעת בניית נתוני האימון שלנו, אנו מוציאים מכלל שימוש כל מערכי נתונים המשויכים למדדי ההשוואה שעליהם אנו מעריכים, כדי לייצג נאמנה את תוצאותינו בלי לנפח את ציוני ההשוואה. להחלטה זו יש מחיר: חלק ממערכי הנתונים שבחרנו להוציא מכילים נתונים באיכות גבוהה, שיכולים לשפר את ביצועי המודל שלנו במשימות אחרות מלבד מדד ההשוואה שממנו הגיעו. בסופו של דבר, בחרנו לשאת בעלות הזו: מספרים אמינים שימושיים יותר עבורנו במהלך הפיתוח, ועבור המשתמשים בעת השוואת מודלים.

הערכה

אנו מעריכים את שני המודלים על פני אחזור טקסטואלי, אחזור של מסמכים חזותיים, אחזור משולב-תמונות ואחזור סוכני. שני המודלים עולים על קווי הבסיס שנבחנו ב-Q2D-Web וב-BrowseComp+, ומשיגים תוצאות חזקות באחזור של מסמכים חזותיים וב-MADQA.

אחזור טקסטואלי

אנו מעריכים אחזור טקסט-לטקסט בשלושה מדדי השוואה:

• מדדי השוואה ספציפיים לתחום: אוסף של 72 משימות בסגנון MTEB, 55 מתוכן בחמישה תחומים (פיננסים, משפט, בריאות, שיחה, טכנולוגיה), ועוד 17 משימות רב-לשוניות מגוונות. האוסף כולל משימות כגון FinQA, AILACasedocs ו-XLSum. אף אחד ממערכי הנתונים הללו אינו מופיע בנתוני האימון שלנו, כפי שתואר לעיל.
• Q2D-Web: מדד ההשוואה שלנו לאחזור בקנה מידה של האינטרנט, הכולל כ-70,000 שאילתות חיפוש שהסוכן ניסח מחדש, שנגזרו מתעבורת חיפוש בייצור, על פני קורפוס של 190 מיליון מסמכי רשת. מדד זה מודד ביצועי אחזור בסביבה הקרובה הרבה יותר לאחזור אינטרנט בעולם האמיתי מאשר מדדי אחזור אחרים הזמינים, בזכות השאילתות הדומות לייצור והקורפוס בקנה מידה גדול.
• ViDoRe(V3) Markdown: בדרך כלל ViDoRe(V3) היא משימת אחזור טקסט-למסמך חזותי, אך ניתן להעריך אותה גם כמשימת טקסט באמצעות גרסה של הקורפוס שעובדה ל-Markdown, מה שמאפשר לנו להעריך אחזור מסמכים עשיר במידע הן במודליות של תמונה והן במודליות של טקסט.

אנו מודדים ביצועים באמצעות nDCG@10, למעט ב-Q2D-Web, שבו אנו מדווחים Recall@1000 בשל מיקודו של המדד בתרחיש אחזור אינטרנט בשלב ראשון. לאורך כל ההערכות שלנו, אנו משווים מול מודלי הטבעה מובילים בתעשייה על פני מחלקות גודל שונות. עבור אחזור טקסטואלי, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, ו-qwen3-embed-8b מייצגים את המתחרים הצפופים החזקים והנפוצים ביותר, בעוד voyage-4-nano ו-qwen3-embed-0.6b משמשים קווי בסיס צפופים של פחות ממיליארד פרמטרים. בנוסף אנו משווים מול מודלי האינטראקציה המאוחרת topk-embed-v1 שהושקו לאחרונה ב-TopK, עבור המדדים ש-TopK פרסמה עבורם תוצאות. ציוני ViDoRe(V3) נלקחו מכרטיסי המודל שלהם בממדים של 128, התואמים לרוחב של הטבעות הטוקן שלנו; ציון Q2D-Web נלקח מהלוח שלנו.

במדדי ההשוואה הספציפיים לתחום, מודלי 9B ו-0.6B שלנו משיגים בממוצע 81.3% ו-78.0% בהתאמה. מודל 9B שלנו משיג את הציון הגבוה ביותר מכל המודלים שהערכנו, ומביס את המודל הבא אחריו ב-1.6 נקודות אחוז. מודל 0.6B שלנו תחרותי עם שאר המודלים בעלי הציונים הגבוהים, ונמצא רק 0.3 נקודות אחוז מאחורי gemini-embedding-2. חשוב לציין, מכיוון שלא אימנו על אף אחד מהנתונים עבור משימות ההשוואה הללו, מדדי ההשוואה הספציפיים לתחום מדגימים שמודלי ההטבעה שלנו יכולים להכליל לתחומים חדשים.

הגדלה

החוזק היחסי של מודל 0.6B שלנו גדול אף יותר במשימת ViDoRe(V3) Markdown; הציון שלו של 61.2% גובר על כל שאר המודלים מלבד מודל 9B שלנו, שקיבל 64.7%. המודל החיצוני הבא אחריו השיג 60.6%, והמודל הבא אחריו מבין המודלים הקטנים מ-1B, topk-embed-v1-0.8b, היה נמוך ב-4.3 נקודות אחוז ממודל 0.6B שלנו.

הגדלה

ב-Q2D-Web, הרלוונטיות נובעת משלוש קבוצות שיפוט: מסמכים שהסוכן ציטט (Citation), מסמכים שדורגו על ידי מערכת האחזור בייצור שלנו (Web), והאיחוד של שתיהן, עם הוספת שיפוטי LLM למסמכים ללא תיוג (Combined). שני מודלי pplx-embed-v2-late מובילים כל קו בסיס בכל שלוש קבוצות השיפוט. אנו מתמקדים בשיפוטים המשולבים, משום שקבוצות Citation ו-Web נגזרות ממה שמערכותינו שלנו כבר הציגו, ולכן הן מעדיפות מודלים שמדרגים כמוהן; שיפוטי ה-LLM שנוספו ב-Combined מכסים מסמכים שאף אחת מהמערכות לא אחזרה. בקבוצה זו, גם מודל 9B וגם מודל 0.6B שלנו גוברים על כל המתחרים, ומגיעים לציונים של 74.8% ו-73.6% בהתאמה, מול הציון הטוב ביותר הקודם של 69.3%.

הגדלה

אחזור חזותי

מדד ההשוואה החזותי העיקרי שלנו הוא תת-הקבוצה הציבורית הסטנדרטית של ViDoRe(V3), שבה הקורפוס מורכב מתמונות עמודים שעברו רינדור ולא מהמרת Markdown. אנו משווים מול שני מודלי vision-language בצפיפות גבוהה מהמובילים, qwen3-vl-embed-8b ו-gemini-embedding-2, וכן מול מודלי האינטראקציה המאוחרת topk-embed-v1. בנוסף, מודלי EVIE של Tencent ומודלי Nemotron ColEmbed V2 של NVIDIA הם קווי בסיס מולטי-ווקטוריים “מבוססי-ראייה בלבד” שאומנו במיוחד למשימות אחזור תמונות.

שני המודלים שלנו משיגים ביצועי שיא למודלי vision-language. מודל 9B שלנו משיג ציון ממוצע של 65.2%, ונחות רק ל-EVIE. מודל 0.6B שלנו משיג ציון של 62.3%, מעל topk-embed-v1-2b ונחות רק למודלי EVIE ו-nemotron-colembed-v2-8b הגדולים בהרבה מבין קווי הבסיס החיצוניים.

הגדלה

מודל 0.6B שלנו תחרותי במיוחד בהקשר של גודל המודל. הוא מקדים את כל המודלים הדומים בגודלם ונמצא בטווח של 1.2 נקודות אחוז מ-nemotron-colembed-v2-8b, תוך הפעלת 340 מיליון פרמטרים בלבד עבור קלטי תמונה. המודלים שלנו מפיקים הטבעות בגודל 128 ממדים לכל טוקן, לעומת 2,048 ב-EVIE-4.5B ו-4,096 ב-EVIE-8B וב-nemotron-colembed-v2-8b. הבדל זה בעלויות האחסון יכול להשפיע באופן דרמטי על התרחישים שבהם שימוש במודלים הללו מעשי.

הגדלה

אנו מעריכים גם אחזור חזותי ב-MIRACL-Vision, מדד שהקורפוס שלו מורכב מצילומי מסך של מאמרי ויקיפדיה, וב-PPLX-Q2I, מדד פנימי המכסה גם מסמכים חזותיים וגם תמונות טבעיות. PPLX-Q2I נבנה מיומני חיפוש התמונות בייצור של Perplexity ונועד לשקף את המגוון של מקרי השימוש בחיפוש תמונות. אנו משתמשים בדגימה של 10,000 שאילתות, מרובדת לפי שפה ותחום, מול קורפוס של 100,000 תמונות; המסמכים הרלוונטיים של כל שאילתה הם התמונות שהוצגו עבורה. לא הערכנו את EVIE-8B או את Nemotron ColEmbed ב-PPLX-Q2I, משום שאינדוקס קורפוס בגודל כזה בממדי הפלט ברירת המחדל שלהם (2,560 עבור Nemotron ColEmbed 4B ו-4,096 עבור Nemotron ColEmbed 8B ו-EVIE-8B) היה בלתי מעשי.

בדומה לביצועיו ב-ViDoRe(V3), מודל 0.6B שלנו תחרותי מול מודלים גדולים בהרבה, ונחות ב-1 נקודת אחוז בלבד מ-qwen3-vl-embed-8b ב-MIRACL-Vision. מודל 9B שלנו עולה על כל שאר המודלים מלבד gemini-embedding-2.

ב-PPLX-Q2I, שני המודלים שלנו גוברים על qwen3-vl-embedding-8b בפער של יותר מ-9 נקודות אחוז, ומודל 9B שלנו נחות מ-gemini-embedding-2 ב-2 נקודות אחוז בלבד. התוצאות שלנו נשארות תחרותיות על קורפוסים שמכילים גם תמונות טבעיות וגם מסמכים חזותיים, ולכן הייצוגים מרובי-הווקטורים שמניבים תועלת ב-ViDoRe(V3) אינם באים על חשבון חיפוש תמונות כללי.

הגדלה

אחזור חוצה-מודלים

התוצאות בסעיפים הקודמים מעריכות כל מודל מול קורפוס שהוא עצמו הטמיע. מרחב ההטבעה המשותף אומר שזו אינה דרישה: אפשר לחפש בקורפוס שנאונדקס על ידי מודל 9B באמצעות שאילתות שהוטמעו על ידי מודל 0.6B. זהו התצורה שאנו מצפים שרוב פריסות הייצור ישתמשו בה, משום שאינדוקס הוא עלות חד-פעמית שמתחלקת על פני חיי הקורפוס, בעוד שהטמעת שאילתות רצה בנתיב הקריטי של זמן השהיה בכל בקשה.

פריסה שאינה יכולה להריץ את מודל 9B בזמן שאילתה תטמיע אחרת גם את האינדקס באמצעות מודל 0.6B, ולכן תצורת 0.6B הסימטרית היא נקודת ההשוואה הרלוונטית. אנו מעריכים מול 72 מדדי ההשוואה הספציפיים לתחום שבהם השתמשנו לעיל ועל אחזור תמונות ב-ViDoRe v3. השאילתות מוטמעות באמצעות pplx-embed-v2-late-0.6b, ואנו משנים רק את מה שהטמיע את הקורפוס.

אינדוקס באמצעות מודל 9B הוא שיפור מובהק. במדדים הספציפיים לתחום, התצורה האסימטרית מניבה בממוצע רווח של 1.6 נקודות אחוז. באחזור תמונות ב-ViDoRe v3, היא משיגה 63.5%, לעומת 62.3% כשמודל 0.6B משמש לשני הצדדים, רווח של 1.2 נקודות אחוז. עלות קידוד השאילתה אינה משתנה בין התצורות הסימטרית של 0.6B לאסימטרית, משום שאותו מודל 0.6B מקודד את השאילתה בשתיהן; עלות קידוד המסמך הנוספת נושאת בזמן האינדוקס.

הרצת מודל 9B בשני הצדדים נותרת טובה עוד יותר, עם ממוצע של 81.3% במדדים הספציפיים לתחום. לכן התצורה האסימטרית משחזרת בערך מחצית מהפער באיכות בין שני המודלים בטקסט, בלי עלות נוספת של קידוד שאילתה. בחירת התצורה תלויה בשאלה אם מודל 9B סביר בזמן שאילתה; במקום שבו לא, ההגדרה האסימטרית לוכדת חלק משמעותי מהיתרון שלו.

הגדלה

אחזור סוכני

אחזור סוכני הוא עוד מצב שבו הטבעות מרובי-ווקטורים חזקות במיוחד. ב-BrowseComp+, LLM (GPT-OSS-120B במקרה שלנו) משתמש במודל ההטבעה כדי לחפש בקורפוס מידע רלוונטי לשאילתת משתמש מורכבת, ו-LLM שני קובע אם התשובה שהתקבלה תואמת את האמת הקרקעית. מודל 9B שלנו משיג דיוק של 64.0%, ומביס את מודל ColBERT הבא אחריו ב-4.9 נקודות אחוז ואת המודל הצפוף הבא אחריו ב-8.7 נקודות אחוז, תוך ביצוע פחות חיפושים מכל מודל אחר למעט מודל 0.6B שלנו. גם מודל 0.6B שלנו מקדים כל מודל מחוץ למשפחה שלנו.

הגדלה

MADQA בוחן מענה סוכני על שאלות על פני 800 קובצי PDF הטרוגניים מהעולם האמיתי, המשתרעים על פני יותר מ-18,000 עמודים, עם 500 שאלות שנכתבו בידי בני אדם ושאין עליהן מענה מתוך ידע כללי. סוכן (Gemini 3.5 Flash במקרה שלנו) מחפש באוסף באמצעות המחפש הנבדק ונמדד לפי דיוק התשובה ולפי F1 ברמת עמוד מול דפי הראיה המסומנים. מודל 9B שלנו קובע רמת שיא חדשה של ביצועים מבין המחפשים, עם דיוק של 92.4%, 3.5 נקודות אחוז לפני אותו סוכן המשתמש במחפש של Mixedbread; מודל 0.6B שלנו מגיע ל-90.1%. אנו גם מציינים שהמחפש שלנו משיג תוצאות תחרותיות מול Mixedbread Agentic Search, המשתמשת בתת-סוכן חיפוש במערכת החיפוש שלהם שמתכנן ומריץ כמה חיפושים לכל קריאה מהסוכן הראשי (93.4%, בתוך רווח הסמך שלנו).

הגדלה

תחילת עבודה

שני המודלים שלנו, 0.6B ו-9B, זמינים ב-Hugging Face ותואמים מיידית ל-sentence-transformers >= 6.0.0 ול-transformers >= 5.4.0. פרטים טכניים נוספים ותוצאות הערכה מלאות יפורסמו בדוח טכני בהמשך השנה.

אנחנו מאמנים בימים אלה את הדור הבא של מודלי ההטמעה הצפופה (dense embedding) שלנו, ונשיק בהדרגה תמיכה בהטמעות מסוג late-interaction, בהטמעות צפופות ובהטמעות הקשריות ב-Perplexity API Platform.

ציטוט

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}