כיצד Perplexity משלבת דיוק בבינה מלאכותית מובילה

המשימה שלנו היא להניע סקרנות עבור אנשים שרוצים לדעת יותר ולעשות יותר עם הידע של העולם. כדי לעשות זאת, המוקד המרכזי שלנו היה תמיד לגרום למודלי בינה מלאכותית מובילים להיות מדויקים יותר ב-Perplexity.

לראשונה אנו משתפים באחת הטכנולוגיות שמאחורי האופן שבו אנו עושים זאת. היום צוות המחקר שלנו פרסם בחינה טכנית של מערכות LLM מחוזקות בחיפוש.

ישנם עשרות תהליכים שאנו משתמשים בהם כדי לפתח דיוק, וזהו מבט נדיר מבפנים על אחד מהם: אימון מתקדם של מודלי בינה מלאכותית מתקדמים כדי לתפקד במיטבם מול תקני הדיוק עבור מוצרי Perplexity כמו Search, Comet ו-Computer.

אנחנו מאמנים את ההתנהגות לפני החיפוש

מנוע תשובות דורש מהמודלים הבסיסיים לעשות יותר מאשר לייצר טקסט שוטף. עליהם למצוא ראיות, לעקוב אחר בקשת המשתמש, להשתמש בכלים בצורה נכונה ולהפוך את העבודה הזו לתשובה ממוקדת.

אנו מבצעים אימון מתקדם לכך בשני שלבים. ראשית, אנו מלמדים את המוד כיצד להתנהג בתוך המוצר, כולל כיצד לעקוב אחר הוראות, להישאר עקביים ולהשתמש בכלים בצורה הנכונה. לאחר מכן אנו מאמנים אותו על משימות חיפוש קשות יותר כדי שהוא יהיה טוב יותר במציאת ראיות, בשימוש בהן היטב ובמענה יעיל יותר.

גישת השלבים היא אחד ההבדלים הפשוטים בין Perplexity לבין הגדרת מעטפת מסורתית עם מודל וגישה לאינטרנט. זו הסיבה מדוע אותו מודל יכול לייצר תוצאות שונות במוצרים שונים, ולמה הוא יכול לעבוד טוב יותר ב-Perplexity מאשר בפריסה פשוטה יותר.

שאלות הדורשות סינתזה

חלק מהשאלות הן איתורים קלים. אחרות דורשות מהמודל לחבר ראיות על פני מקורות שונים.

אנו מאמנים על שאלות הדורשות מהמודל לחבר ראיות על פני מקורות שונים. עבור שאלות עובדתיות, אנו משתמשים במשימות המאלצות את המודל לחפש, לנמק ולאמת במקום לקפוץ לתשובה מרמז ברור אחד. שאלות רבות דורשות חיבור מידע ממספר מקורות. הן דורשות מהמודל לעבור מראיה אחת לאחרת ולבנות את התשובה משרשרת זו.

אנו מאמנים גם על פני פורמטים שונים של תגובות, כך שהמודל נשאר מדויק בין אם המשתמש רוצה פסקה, רשימה, טבלה או מבנה אחר. התוצאה היא סינתזה טוב יותר, המורכבת מתשובות המחברות ראיות על פני מקורות לעומת אחזור עובדות מבודדות בלבד.

משימות פתוחות זקוקות לתקנים

Perplexity משמש ליותר מאשר חיפוש עובדתי. חלק ניכר מהעבודה הוא פתוח, כולל שכתוב, עריכה, סיכום, הסבר ותכנון.

למשימות אלו אין תשובה נכונה אחת מדויקת, אך הן עדיין זקוקות לתקנים. עבור עבודה פתוחה, אנו משתמשים במחוונים שהם בדיקות מובנות האם תגובה אכן ביצעה את העבודה. האם היא עקבה אחר ההוראות? האם היא שמרה על המשמעות? האם היא פתרה את בעיית המשתמש?

זה מאפשר לנו לאמן משימות פתוחות עם תקנים ברורים במקום להתייחס אליהן כאל כתיבה חופשית.

הדיוק קודם להעדפה

עבור משימות עובדתיות, על תשובה להיות נכונה לפני שהיא מקבלת קרדיט על כך שהיא מועילה יותר או כתובה טוב יותר. עבור משימות פתוחות, על התגובה לספק את המחוון לפני שאיכויות אחרות נכנסות לתמונה.

זה שומר על המערכת ממוקדת במהות על פני סגנון. זה עוזר למנוע מצב כשל נפוץ של תשובות שנשמעות טוב יותר מבלי להיות טובות יותר בפועל. התמורה היא פחות תשובות מלוטשות שמתפרקות תחת בדיקה.

היעילות תורמת לאיכות התשובה

אנו גם מאמנים את המודל להשתמש בחיפוש במשמעת.

כל שלב חיפוש נוסף צריך לשפר את התשובה, ותגובה ארוכה יותר צריכה להרוויח את האורך שלה. כאשר חיפוש נוסף או מילים נוספות אינם עוזרים, על המערכת לעצור.

זה מייצר תשובות שקל יותר להשתמש בהן ושומר על מיקד המודל כאשר הוא עובד דרך שרשראות פעולות ארוכות יותר, שבהן טעויות קטנות מצטברות.

תשובות טובות דורשות עבודה מתמדת

איכות החיפוש נובעת מהאופן שבו המוצר מאמן את המודל לאסוף ראיות, לענות במשמעת, לטפל בעבודה פתוחה ולעצור כאשר יש לו תמיכה מספקת.

ככל שמערכות בינה מלאכותית לוקחות על עצמן עבודה ארוכה ואוטונומית יותר, אימון זה מעצב את איכות התשובות הבודדות וכל מה שנבנו עליהן. מעולם לא טענו ש-Perplexity מדויק ב-100%, אך אנו אכן טוענים שאנחנו חברת הבינה המלאכותית שאכפת לה מכך ביותר ושעובדת על כך ללא לאות. אנו מעודדים את כל המשתמשים לספק משוב על תשובות ה-Perplexity שלהם, מכיוון שאנו חוזרים ומשפרים כל הזמן.