למדה מניסיון בעולם האמיתי

האופן שבו משתמשים מקיימים אינטראקציה עם המוצרים שלנו בעולם האמיתי הוא מקור בעל ערך לאימון מודלים. הנתונים בשפע, משקפים את ההתפלות האמיתית של משימות משתמש, ולוכדים תיקוני משתמשים וכשלי כלים שסביבות סינתטיות עשויות לפספס.

דרך נפוצה ללמוד מנתוני העולם האמיתי היא כוונון דגימת דחייה: שפוט את תוצאת כל הפעלה, שמור את המוצלחות, ואמן את המודל לחקות אותן. אך תוצאה מוצלחת אינה אומרת שכל צעד היה נכון, ולכן חיקוי כל המסלול מסתכן בחיזוק התנהגות ביניים רעות בנוסף לטובות. השלכה של הפעלות לא מוצלחות מאבדת גם ראיות קריטיות לגבי היכן המודל נופל קצר.

אנו משלבים לכון עדין של דגימת דחייה עם זיקוק עצמי מודרך ברמזים כדי ללמוד הן מהפעלות מוצלחות והן מהפעלות שאינן מוצלחות. רמז הוא הוראה מתקנת קצרה המבוססת על מידע שכבר היה ברשות המודל בעת ביצוע השגיאה. שלבים שימושיים מהפעלות מוצלחות נשארים כיעדי חיקוי, בעוד שרמזים מבוססים הופכים טעויות הניתנות למניעה ליעדי תיקון.

תיקוני משתמשים ושגיאות כלי מוסיפים פיקוח לגבי מה השתבש בדרך, בנוסף לשאלה האם המשימה הצליחה בסופו של דבר. אנו מונים שלב זה לאחר למידת חיזוק בסביבות סינתטיות כדי לסייע בסגירת הפער בין סביבות אלו לבין שימוש בעולם האמיתי.

בשימוש חי, נקודת בדיקה מאומ-לאחר של GLM-5.2 הפחיתה את כשלי קריאות הכלים ב-21.2% בהשוואה לנקודת בדיקה מאומנת מוקדם יותר. עבור GLM-5.3, אימון לאחר הפחית את כשלי קריאות הכלים ב-33.0% ואת ההסתברות המשוערת הממוצעת לשביעות רצון נמוכה או גבוהה של המשתמש ב-17.2% בהשוואה למודל המקורי.

משימות סינתטיות מאפשרות לנו ליצור בעיות מבוקרות עם תוצאות קלות לאימות, אך הן בדרך כלל מוגבלות להנחיה יחידה ויכולות לכסות רק את התרחישים שאנו מעצבים במפורש.

בניגוד לכך, משתמשים בהפעלות בעולם האמיתי מביאים הנחיות מגוונות, הקשר ושילובי כלים להפעלות המתפתחות לאורך מספר תורות של אינטראקציה. שימוש כזה בעולם האמיתי מניב באופן טבעי שני אותות בעלי ערך של טעויות: תיקוני משתמשים חושפים היכן הסוכן נכשל לספק את מה שרצו, ושגיאות כלי מראות היכן פעולותיו קרסו בסביבות אמיתיות. צינור הדגימה שלנו מכבד את פרטיות המשתמשים ואת בחירות האימון שלהם על ידי החרגת הפעלות עם מידע מזהה אישית (PII) וממשתמשים שבחרו לצאת.

לכן נתוני העולם האמיתי מעניקים לנו מקרי כשול שסביבה סינתטית עשויה לא לחשוף ולעתים קרובות מגיעים עם המקום שבו הכשל התרחש כבר מובנה בפנים.

בעת אימון על נתוני העולם האמיתי, rejection sampling fine-tuning (RFT) סטנדרטי בוחר הפעלות מוצלחות על סמך תוצאותיהן הסופיות, מבלי להשתמש במפורש במשוב משתמשים וכלים כדי להבחין בין פעולות ביניים טובות לבין רעות. סוכן עשוי להתאושש מקריאת כלי רעה או לתקן טעות לאחר משוב משתמש ועדיין לספק את הפלט הנכון בסוף.

השלכת הפעלות שנכשלו גם מגבילה את יעילות הדגימה. הפעלה שמעולם לא מגיעה לתוצאה טובה עדיין עשויה לחשוף טעות ברורה וניתנת למניעה כאותות אימון שימושיים.

אנו מטפלים במגבלות אלו על ידי הפרדת שתי החלטות: אילו הפעלות מכילות התנהגות שכדאי לחקות, ואילו תורות מכילות טעויות שכדאי לתקן. צינור הנתונים מקבל החלטות אלו בנפרד, ולאחר מכן מקצה לתורות המודל אחד משלושה טיפולים:

חקה: תורות שאינם שגיאות בהפעלות מוצלחות מקבלים Cross-Entropy (CE) loss רגיל, ומעלים את הסתברות הטוקנים המוקלטים.
נכון: גם בהפעלות מוצלחות וגם בהפעלות לא מוצלחות, תורות שגיאה עם רמז תקף מקבלים Kullback–Leibler (KL) divergence loss, המזיז את המודל לקראת תחזיות הטוקן הבא שהוא מבצע כשהוא רואה את הרמז.
שמור כהקשר: תורות בהפעלות לא מוצלחות החסרות רמז מאומת, ותורות רעות מסומנות ללא רמז מאומת בכל אחד מסוגי ההפעלות, משמשות כהקשר אך אינן מקבלות אף אחד מההפסדים.

כתוצאה מכך, הפעלות מוצלחות יכולות לספק יעדי חיקוי ותיקון כאחד, בעוד שהפעלות לא מוצלחות מספקות יעדי תיקון בלבד. כל שאר התורות, כולל פלט מערכת, משתמש וכלי, נשארות כהקשר.

דיאגרמת ניתוב הפעלות: הפעלות מוצלחות מספקות חיקוי CE ותיקונים מתומזים כשירים; הפעלות לא מוצלחות מספקות תיקונים כשירים בלבד. — ניתוב ההפעלה הנוכחי ומסכות התוכן של הסוכן. הפעלות מוצלחות תורמות יעדי חיקוי; רשומות משוב שנשמרו יכולות לתרום תיקונים מרומזים גם כאשר ההפעלה אינה מוצלחת. תוכן אחר נשאר כהקשר. הפעלות לא שלמות אינן נכללות. חריג CE של yield/stop-token שאינו סופי לא מוצג, ודיאגרמה זו אינה קובעת את התערובת ששימשה ב-checkpoint מוקדם יותר.

חלק החיקוי מששתמש ב-RFT הסטנדרטי. חלק התיקון משתמש ב-On-Policy Self-Distillation (OPSD): אותו מודל פועל כמורה וכתלמיד, כאשר למורה ניתן מידע מיוחס. כאן, מידע מיוחס זה הוא רמז קצר המסביר טעות הניתנת למניעה. אנו מאמנים את התלמיד להתאים לתחזיות הטוקן הבא של המורה מבלי לקבל את הרמז ליד.

שני החלקים חשובים. אימון תיקון בלבד יכול לחשוף קיצור דרך: מורה ותלמיד יכולים להסכים על ידי התעלמות מההקשר במקום ללמוד את התיקון. מונח ה-CE מעגן את האימון להתנהגות שימושית, ומסייע להרתיע הסכמה הנובעת מהתעלמות מההקשר.

התלמיד לאחר האימון הופך אפוא לאופציית מודל ב-Computer. הפעלות טריות משימוש חי עוברות דרך אותם מסנני כשירות ופרטיות לפני שהן נכנסות לסבב נוסף של צינור האימון.

לאחר מכן, אנו עוברים דרך דוגמה מוחשית המכילה גם חיקוי וגם תיקון.

שקול הפעלה מוצלחת עתידית שבה המשתמש מבקש השוואה של שינויי asyncio ב-Python 3.13 תוך שימוש בתיעוד הרשמי. תיעוד הכלים שלנו קובע כי search.web מחזיר רשימה של פגיעות, כל אחת עם שדה url.

המודל מריץ תחילה חיפוש תקף לגרסה אחת כחלק מאיסוף ראיות להשוואה, שהיא התנהגות טובה לחיקוי.

עם זאת, קריאת ביצוע הקוד הבאה מתייחסת באופן שגוי לרשימה זו כמילון. כלי הקוד מחזיר TypeError: list indices must be integers or slices, not str. מכיוון שסוג ההחזרה תועד לפני הקריאה, זוהי טעות שהמודל היה אמור להיות מסוגל להימנע ממנה. ניתן לייצר רמז עם הקריאה הנכונה כדי לתקן פעולה זו.

הפעלת תכנות להמחשה: קלט מערכת ומשתמש ושגיאות כלי נשארים הקשר; חיפוש מוקלט שימושי וקריאות התאוששות מקבלים CE בהפעלה מוצלחת; חיפוש רשימה שגוי מסומן מקבל KL לקראת מורה שניתן לו רמז מבוסס. — הפעלת תכנות להמחשה מציגה שלושה תפקידי אימון: קלטים להקשר בלבד ופלט כלי (אפור), חיקוי CE של קריאות מוקלטים שימושיות (כהה), ותיקון KL של טעות מסומנת (כחול-ירוק). כאן, המודל מתייחס באופן שגוי לרשימת תוצאות חיפוש כמילון; רמז של מורה בלבד המבוסס בתיעוד כלי קודם מנחה את התיקון. יעדי CE חלים רק כאשר ההפעלה שהושלמה נשפטת כמוצלחת, בעוד הפעלה לא מוצלחת עדיין יכולה לספק יעד תיקון KL כשיר.

לצינור האימון ארבעה שלבים: בחר הפעלות ושפוט את תוצאותיהן, זהה טעויות וצור רמזים ממומש משתמשים ושגיאות כלי, צור הסתברויות טוקן הבא גם מהמורה וגם מהתלמיד, ואמן את המודל עם הפסד CE ו-KL משולב.

צינור הדגימה שואב מתת־קבוצה של הפעלות Computer מהעולם האמיתי, הזכאיות לאימון, המוגשות על ידי GLM 5.2. ביטולי הצטרפות לאימון וההחרגות הקשורות ל‑PII של הצינור מיושמים לפני בחירת דוגמאות לתהליך עבודה זה.

תהליך הסינון הראשוני בוחר מועמדים שדורגו 4 או 5 בסולם קושי משימה בן חמש דרגות על ידי שופט LLM ומפצל אותם ל-2 קבוצות:

קבוצת משוב המשתמשים מכילה הפעלות עם מעקב משתמש אמיתי או דגל חוסר שביעות רצון בינוני עד גבוה. אנו מוצאים מעקבי כוונה גבוהה אלו שימושיים במיוחד ללמידה: משתמשים מנסים באופן פעיל להשלים משימה, והתיקונים שלהם ממצבים בדיוק את מה שהמודל פספס.
קבוצת שגיאות הכלי מכילה הפעלות עם קריאות שנכשלו שסומנו על ידי בדיקות מבוססות כללים, לא כולל תקלות תשתית מוכרות והרשאה נדחית.

שני שופטי LLM בוחנים לאחר מכן את המסירה הסופית מול בקשת המשתמש; שני השופטים חייבים להחזיר הכרעה חיובית כדי לסווג את ההפעלה כ“מוצלחת”. במקרים שמספקים תוצרים, שלב התוצאה יכול לשחזר ולבדוק את המסירה, ולחזור להכרעות הטקסטואליות שלו אם שלב זה נכשל. הפעלות המסווגות כלא שלמות, כגון עבודה שממתינה למשתמש, אינן נכללות.

שלב זה מזהה מקורות פוטנציאליים של אותות למידה; עם זאת, לא כל שגיאה ניתנת לייחוס למודל, שכן חלקן נובעות מהנחיות מעורפלות או מתקלות תשתית. הערות מאוחרות יותר קובעות אילו טעויות מועמדות ניתנות באמת למניעה ומתאימות לאימון.

שקול הפעלה לדוגמה בקבוצת משוב המשתמש, שבה המשתמש שואל, "How do I find my w3 on paychex". המודל מתייחס ל-"w3" כשגיאת הקלדה עבור W-2, מחפש הוראות עבור W-2, ומסביר כיצד למצוא טופס זה. מעקב המשתמש, "I meant the W-3 transmittal form," מזהה את הטעות, גם אם ההפעלה מצליחה בסופו של דבר.

התלונה עוזרת לאתר את הטעות, אך שורש הבעיה הוא ההחלטה המוקדמת לפרש מחדש את "w3" כ-W-2. הבקשה המקורית הופכת את הטעות לניתנת למניעה: המודל יכול היה לשמור את W-3 או לבקש הבהרה. מתברר שתור העוזר האחרון לפני התלונה הוא שורש הבעיה רק בערך חצי מהזמן.

צינור ההערות שלנו ממפה סיבה ותוצאה באופן שיטתי בתוך כל הפעלת משוב משתמש. המעיר סינון תחילה עבור דרישה מפוספסת או כוונה הנתמכת על ידי הקשר מוקדם יותר. שלושה שופטי LLM מזהים אז את התורות האחראיות, ודורשים לפחות שניים להסכים על תור נתון. לעתים הצהרה מוקדמת קובעת במפורש את הדרישה. במקרים אחרים, אף הצהרה קודמת בודדת אינה עושה זאת, אך מספר חלקים מהשיחה הקודמת עושים יחד את ההתנהגות המיועדת לניתנת להסקה. עיצוב זה מאפשר להם לחבר תלונה לטעות שורש מוקדמת במקום לייחס אותה אך ורק לתשובה האחרונה.

לפני קבלת רמז, הצינור בודק גם שטענותיו המתקנות נובעות ממידע שהיה זמין לפני התור המסומן. בדיקות אלו נועדו להפחית את הטיית החוכמה בדיעבד (hindsight bias), שבה העדפה חדשה הנחשפת בתלונה מטופלת כמשהו שהודל היה אמור לדעת כבר.

בדוגמה זו, הרמז אומר למודל לחפש את טופס העברה W-3 ב-Paychex ולא את W-2, או לשאול איזה טופס המשתמש מתכוון אליו אם הבקשה מעורפלת. התיקון ממקד בפרשנות המוקדמת ובהחלטת החיפוש, לא רק בתשובה הסופית. התור המקורי נשאר ללא שינוי; ההערה מוסיפה is_bad_turn: true ו-hint שאינו ריק.

בקשת W-3 מתפרשת שלא כהלכה כ-W-2; תלונה מאוחרת יותר ממופה להחלטת החיפוש המוקדמת ונבדקת מול ראיות קודמות. — הפעלה אמיתית שמראה כיצד תלונה נעקבת בחזרה לטעות מוקדמת יותר, עם שכבת-העל של הליך ההערה. המשתמש ביקש “w3” ב-Paychex, אך המודל התייחס לכך כאל שגיאת הקלדה עבור W-2 וחיפש את הטופס הלא נכון. קונצנזוס המציעים מאתר את שורש הבעיה, בעוד ששתי בדיקות grounding מעריכות אם הראיות קודמות לטעות ואם הטענות של הרמז נובעות מהמידע שהיה זמין באותו שלב. הערות שאושרו שומרות על הטקסט המקורי ומוסיפות סימונים ורמזים, במקום יעדים שנכתבו מחדש.

שקול הפעלה נוספת בקבוצת שגיאת הכלי עם קריאת חיפוש שבה הסוכן מחפש עם recency_filter: "year", אך הכלי דוחה זאת מכיוון שהערכים המותרים הם "day", "week" או "month". זוהי הפרת סכמה ברורה.

נתיב שגיאת הכלי משתמש בכללים דטרמיניסטיים לשגיאות ידועות ובשיפוט מודל למקרים מעורפלים. הודעת שגיאה לבדה אינה מספיקה גם כדי להאשים את המודל; תיקון ששופט חייב להצביע על משהו שהמודל יכול היה לדעת מסכמת הכלי, מהוראות המערכת או משיחה מוקדמת.

קריאת חיפוש משתמשת בערך recency_filter לא חוקי year; רמז מבוסס מורה למודל להשתמש בערך ממוזכר או להשמיט שדה אופציונלי. — טיעון החיפוש הלא חוקי של הדוח מדגים את נוהל שגיאות הכלי הנוכחי. הסכמה הופכת טעות זו לניתנת למניעה; תקלה לבדה לא הייתה עושה זאת. הקריאה המקורית נשארת ברשומה ומקבלת רמז מבוסס. הרמז מאפשר ערך ממוזכר או השמטה אם השדה אופציונלי; הוא אינו דורש "month" עבור כל בקשה.

כאן, הרמז מציין את הקריאה שנכשלה, כולל את שגיאת האימות, ומורה למודל להשתמש בערך מותר או להשמיט את השדה אם הוא אופציונלי.

לאחר שתור מסומן, המאמן מריץ את אותה נקודת ביקורת פעמיים: פעם אחת כמורה ופעם אחת כתלמיד. המורה רואה את הרמז; התלמיד אינו רואה אותו.

שני המעברים משתמשים באילוץ מורה (teacher forcing), שבו אנו מזינים למודל את ההפעלה המוקלטת במקום לאפשר לו לבחור טוקנים חדשים. מעבר הקדימה עדיין מייצר התפלגות טוקן הבא מלאה בכל שלב, אך הוא מותנה תמיד בקידומת הקבועה מההקלטה, לא בטוקני רול-אאוט.

עבור דוגמת החיפוש, אותו מודל מעניק הסתברות גבוהה הרבה יותר ל-"month" ופחות ל-"year" כאשר ניתן הרמז. האימון משתמש בהסטה התפלגותית זו כיעד רך.

אותו מודל מדרג תור ממוזכר עם וללא רמז; הסתברויות מורה מנותקות מספקות יעדי KL בעוד ש-CE מעגן את החיקוי. — שני מעברים, סט משקולות אחד. שני המעברים מדרגים את ההמשך הממוזכר; רק המורה מקבל רמזים. הסתברויות הטוקן הבא המנותקות שלו מנחות את התלמיד דרך KL קדימה. יעדי CE נפרדים מעגנים את החיקוי. שני ההפסדים מזינים עדכון משקולות אחד. רמזים מוקדמים יותר עשויים להישאר בחתך הנוכחי של המורה; אף מעבר אינו מייצר תשובת אימון חלופית.

התחזיות של המורה מנותקות, או stop-gradient: הן מספקות יעד אך אינן מקבלות עדכון דרך מעבר המורה. לאחר המעבר של התלמיד, צעד optimizer אחד מעדכן את המודל המשותף.

הפסד CE מתייחס לטוקנים המוקלטים שנבחרו לחיקוי כיעדי אמת-קרקע ומעניש את המודל על הקצאת הסתברויות נמוכות עבורם. זה יוצר יעד חיקוי קשה.

במיקום הטוקן $i$ , יהי $p_i(v)$ ההסתברות של התלמיד לטוקן $v$ במילון המלא $V$ . הטוקן הבא המוקלט בתשובה או בקריאת הכלי הוא $y_i$ , התפלגות היעד ה-one-hot היא $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

אנטרופיה צולבת (Cross-entropy) מודדת עד כמה טוב התלמיד חוזה את הטוקן המוקלט. עם יעד one-hot, היא מצטמצמת ללוג-הסתברות השלילית המוקצית ל- $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

מסכת ה-CE $m_i^{\mathrm{CE}}$ היא $1$ במקום שבו יש לחקות את הטוקן ו- $0$ אחרת. סיכום על פני המיקומים הנבחרים מעניק את הפסד החיקוי.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

במקום זאת, הפסד KL משתמש בהתפלגות ההסתברות המלאה של הטוקן הבא של המורה $q_i$ כיעד תיקון רך. ההקשר של המורה כולל את הרמז הנוכחי וכל רמז מוקדם יותר שנשמר בחתך אימון זה; ההקשר של התלמיד הוא תמיד נטול רמזים.

מסכת ה-KL $m_i^{\mathrm{KL}}$ היא $1$ במקום שבו יש לתקן את הטוקן, ו- $0$ אחרת; מסכות ה-CE וה-KL אינן חופפות. במיקומים אלה, forward KL מעניש אי-הסכמה בין המורה לתלמיד לאורך אוצר המילים כולו:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

שני המונחים חולקים מכנה אחד במקום לעבור נורמליזציה בנפרד. מכנה זה סופר את סך הטוקנים שנבחרו לחיקוי על פני אצווה האימון הגלובלית. המשקל $\lambda$ שולט בתרומת האימון המתקן ביחס לחיקוי.

נורמליזציה משותפת זו מתאימה לממשק המכנה-המשותף היחיד של תשתית האימון שלנו ומשחזרת את הפסד ה-SFT הסטנדרטי כאשר $\lambda=0$ , ומפשטת השוואות בסיס. מכיוון שטוקני CE בשפע הרבה יותר מטוקני KL, שימוש במכנה משותף גם נמנע מהענקת משקולות גדולות באופן לא פרופורציונלי לטוקני KL בודדים באצוות עם מעט טוקנים מסומנים.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

מיושם על הדוגמאות הקודמות, התורות המכילות את ערבוב W-3/W-2 ואת קריאת החיפוש הלא חוקית מקבלות KL. תוכן עוזר לא מסומן אחר בהפעלה מוצלחת עדיין מקבל CE. תוכן עוזר אחר בהפעלה לא מוצלחת נשמר כהקשר אך אינו מקבל לא CE ולא KL.

ההערכות שלנו עונות על שתי שאלות נפרדות. ראשית, האם רמז באמת עוזר למודל לתקן שגיאה כאשר הרמז נוכח? שנית, האם אימון עוזר למודל להימנע משגיאה זו בהמשך, ללא הרמז? הראשונה בודקת האם רמזים מספקים אותות אימון שימושיים. השנייה בודקת האם המודל לומד מהם.

אנו בודקים את השאלה הראשונה לפני ריצת האימון כדי לוודא שרמזים אכן יכולים לכוון את המודל הרחק מהטעויות.

ייצרנו מחדש תורות משוב משתמשים מסומנות עם וללא רמז, תוך שימוש באותו מודל בסיס GLM-5.2 בטמפרטורה אפס. שופט עיוור רואה את התלונה המאוחרת יותר, אך לא את הרמז ולא את התנאי שהפיק את התשובה.

בדוגמת W-3, הרמז מעביר את הסתברות הטוקן הבא לעבר "3" והרחק מ-"2" לאחר הקידומת "W-".

הסתברויות הטוקן הבא לאחר W- עוברות לכיוון 3 ולא 2 כאשר מודל הבסיס שלא השתנה מקבל רמז. — רמז שומר על טופס W-3 המבוקש. המקלות מציגים את הסתברויות הטוקן הבא הממוצעות על פני שמונה מעברים קדימה; השפמים מציגים את הטווח שנצפה, לא רווח בר-סמך. שני התנאים משתמשים במודל הבסיס שלא השתנה.

על מדגם מוחזק גדול יותר של 40 תורות הנתמך בראיות קודמות המוצהרות במפורש, הנתח שנשפט כמתוקן או במסלול עולה מ-40.0% ללא רמז ל-75.0% עם רמז. על 40 תורות נוספות הנתמכות בכוונה מוסקת, הוא עולה מ-32.5% ל-80.0%.

אימות רמז: שערי תיקון או במסלול עולים מ-40.0% ל-75.0% עבור ראיות מפורשות ומ-32.5% ל-80.0% עבור כוונה מוסקת. — אימות רמז, לא הערכה לאחר אימון. אותם 40 תורות מסומנות בכל קבוצת ראיות מיוצרות מחדש עם וללא רמז באמצעות GLM-5.2 שלא השתנה בטמפרטורה אפס. השופט רואה את התלונה אך לא את הרמז או התנאי. הספירות מופקות מהשערים והגדלים המדגמיים של הדוח; רווחי סמך אינם מדווחים.

בדוגמת שגיאת כלי החיפוש, רמז אכן מעביר מסת הסתברות מטוקן השנה לטוקן החודש.

רמז מעביר את הסתברויות הטוקן הבא של מודל הבסיס שלא השתנה הרחק מ-year ולקראת הערך המותר month. — רמז מעביר הסתברות לעבר ערך מותר. המקלות מציגים את הסתברויות הטוקן הבא הממוצעות על פני שמונה מעברים קדימה; השפמים מציגים את הטווח שנצפה, לא רווח בר-סמך. שני התנאים משתמשים באותו מודל בסיס; לא משווים נקודת ביקורת מאומנת.

על מדגם מוחזק גדול יותר של 985 תורות, אנו מייצרים מחדש כל תור ארבע פעמים עם וללא רמז תוך שימוש באותו מודל בסיס. שופט עיוור מעריך האם כל רגנרציה נמנעת מהכשל המקורי. רמזים מעלים את הימנעות הכשל מ-75.1% ל-93.7%, רווח מצומד של 18.6 נקודות אחוז, ומגדילים את הנתח הנוקט בפעולה המתוקנת מ-60.6% ל-82.3%. הרווחים הגדולים ביותר הם בשגיאות שדגימה חוזרת בלבד מתקשה לתקן.

על 985 תורות שגיאת כלי מוחזקות, רמזים מעלים את הימנעות הכשל מ-75.1% ל-93.7% ואת שערי הפעולה המתוקנת מ-60.6% ל-82.3%. — אימות רמז שגיאת כלי על 985 תורות מוחזקות מסומנות, עם ארבעה רגנרציות לכל תנאי. המקלות מציגים את הימנעות הכשל ואת שערי הפעולה המתוקנת עבור מודל הבסיס שלא השתנה, עם וללא רמזים. הימנעות מהטעות המכוונת אינה קובעת את הצלחת קריאת הכלי או המשימה.

לאחר מכן אנו בודקים אם המודל המאומן מבצע פחות טעויות בלי לקבל רמזים. אנו מעריכים את מודל המלאי ואת מגוון ה-checkpoints שעברו אימון-לאחר-מכן על משימות benchmark לא מקוונות ובהפעלות משתמש חיות, ובודקים אם יש פחות כשלים בכלים ופחות חוסר שביעות רצון מצד המשתמש.

ההערכה הלא מקוונת משתמשת ב-BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, קבוצת משימות מייצגת של Computer, ובודקת טעינת כישורים, סקירת מסמכים וציטוטים מוטמעים. אנו מודדים את נתח קריאות הכלים שתורותיהן מסומנות במפורש כשגיאות לאורך מסלולי ההערכה.

בהערכות אלו, שיעור שגיאת הכלי המוקלט היה 2.79% עבור GLM 5.2 המקורי, 1.35% עבור נקודת הביקורת של RFT בלבד, ו-0.87% עבור נקודת ביקורת RFT-plus-OPSD. נקודות ביקורת אלו אומנו על נתונים שונים, כך שזו אינה אבלאציית נתונים מותאמת של OPSD. תוצאות הבנצ'מרק ברמת המשימה היו מעורבבות, כך שפחות שגיאות כלי לבדן אינן מתורגמות בהכרח לשיפור רחב בהצלחת המשימה.

שערי שגיאת כלי מוקלטים לא מקוונים: 2.79% עבור GLM 5.2 המקורי, 1.35% עבור RFT בלבד, ו-0.87% עבור RFT בתוספת OPSD; נתוני האימון שונים. — שערי שגיאת כלי לא מקוונים עבור נקודות ביקורת של GLM-5.2 מקורי, RFT בלבד, ו-RFT-plus-OPSD. נתוני האימון שונים בין נקודות הביקורת; זו אינה אבלאציית נתונים מותאמת.

עבור GLM-5.2, הרצנו שני ניסויים נפרדים של A/B עם כשלושים אלף משתמשים בכל תנאי. בראשון, נקודת ביקורת מוקדמת של RFT בתוספת OPSD הציגה שיעור כשלים נמוך מעט כלים בהשוואה ל-GLM 5.2 המקורי, 2.82% לעומת 2.94%, אך ההבדל לא היה מובהק סטטיסטית.

במבחן המאוחר יותר, השוונו שתי נקודות ביקורת של RFT-plus-OPSD: מוקדמת יותר (נקודת ביקורת אחת) ומאוחרת יותר (נקודת ביקורת שנייה). כשלי קריאת כלים ירדו מ-2.24% ל-1.77% מהקריאות עם סטטוס מוקלט. זו הייתה הפחתה יחסית מובהקת סטטיסטית של 21.2%. לא השוונו ישירות את נקודת ביקורת שנייה עם GLM 5.2 המקורי באופן מקוון.

תוצאות משוב המשתמשים היו חד-משמעיות פחות. בניסוי השני של GLM-5.2, ההסתברות הממוצעת לחוסר שביעות רצון חזק (בינוני או גבוה) עמדה על 2.58% עבור נקודת הביקורת הראשונה ועל 2.54% עבור נקודת הביקורת השנייה, ללא הבדל מובהק סטטיסטית.

שני מבחני A/B מקוונים נפרדים; רק ההשוואה בין ה-checkpoint המאוחר יותר מציגה הפחתה מובהקת בכשלים בכלים, ללא שינוי מובהק בחוסר שביעות רצון MID+. — שני ניסויי A/B חיים נפרדים של GLM-5.2. נקודת הביקורת 1 מבוצעת בהשוואה ל-GLM-5.2 המקורי; נקודת הביקורת 2 מבוצעת בהשוואה לנקודת הביקורת 1. בשני ניסויים אלו, רק ההפחתה המאוחרת יותר של כשלים בכלים היא מובהקת סטטיסטית. שיעורי MID+ משקפים הסתברויות ממוצעות מוערכות של חוסר שביעות רצון בינוני או גבוה, ולא ספירות של תלונות.

עבור GLM-5.3, השוואנו נקודת בדיקה לאחר אימון ישירות מול GLM-5.3 המקורי. כשלי קריאות הכלים ירדו מ-3.56% ל-2.38% מהקריאות עם סטטוס מתועד, הפחתה יחסית של 33.04%. שיעור ה-MID+, ההסתברות המשוערת הממוצעת לחוסר שביעות רצון בינונית או גבוהה, ירד מ-4.12% ל-3.41%, הפחתה יחסית של 17.2%. שתי ההפחתות היו מובהקות סטטיסטית.

מבחן A/B של GLM-5.3: שיעור כשלי הכלים יורד מ-3.56% ל-2.38% ושיעור ה-MID+, ההסתברות המשוערת הממוצעת לחוסר שביעות רצון בינונית או גבוהה, יורד מ-4.12% ל-3.41%. ההפחתות היחסיות המותאמות ב-CUPED הן 33.04% ו-17.16% בהתאמה. שתי האינטרוולים הרציפים של 95% אינם כוללים אפס; מדד המעורבות העיקרי אינו מובהק. — GLM-5.3 לאחר אימון לעומת GLM-5.3 המקורי במבחן A/B מקוון נפרד. שיעורי כשלי הכלים ו-MID+, שינויים יחסיים, ומרווחי סמך רציפים של 95% משתמשים בהתאמת CUPED. שתי ההפחתות מובהקות סטטיסטית. שיעורי MID+ הם הסתברויות משוערות ממוצעות של חוסר שביעות רצון בינונית או גבוהה על פני שרשורים עוקבים מזכים ומנוקדים, ולא ספירות של תלונות. שיעורי כשלי כלים אינם כוללים קריאות ללא סטטוס הצלחה או כישלון מתועד.

הרעיון המרכזי הוא ללמוד ברמת ההחלטה, לא רק ברמת ההפעלה.

תוצאה מוצלחת יכולה להסתיר טעויות, והפעלה לא מוצלחת עדיין יכולה לחשוף כיצד להשתפר. אנו שומרים התנהגות שימושית מהפעלות מוצלחות כעוגן, משתמשים בתלונות ובשגיאות כלי כדי לזהות כשלים הניתנים למניעה, ומאמנים את המודל לקראת התחזיות שהוא מבצע כאשר טעויות ותיקונים אלו הופכים מפורשים. הצלחה מספקת התנהגות לשימור; כישלון מספק כיוון לשיפור.

שימוש בעולם האמיתי הופך גישה זו לשימושית במיוחד. משתמשים אמיתיים מביאים יעדים, אילוצים ותהליכי עבודה שקשה לצפות מראש בסביבה סינתטית. התיקונים שלהם חושפים דרישות שהמודל פספס, בעוד ששגיאות כלי חושפות פערים בין מה שהמודל ניסה לבין מה שהסביבה מאפשרת. אותות אלו משלימים אימון מבוסס-תוצאה: במקום לשאול רק האם משימה הצליחה, אנו יכולים לשאול היכן המודל טעה ואיזה מידע יכול היה לעזור לו לקבל החלטה טובה יותר.

המגבלות חשובות במידה שווה. שופטים עשויים לטעות, ותיקון של תור אחד אינו מבטיח שהמשימה המלאה תצליח. המטרה אינה רק סוכן שמתאושש לאחר תיקון, אלא סוכן שזקוק לפחות תיקונים בתדירות נמוכה יותר.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

מנתונים סינתטיים לנתוני העולם האמיתי

חקה את הצעדים הטובים, תקן את הרעים

דוגמה: הפעלה אחת יכולה ללמד את שני הלקחים

כיצד האימון עובד

בחר הפעלות, ואז שפוט את התוצאה

מצא את הטעויות ממשוב משתמשים

מצא את הטעות משגיאות כלי

שני מעברים קדימה

פונקציית ההפסד

הפסד ה-CE

הפסד KL

הפסד משולב

מה שההערכות מראות

רמזים יכולים לכוון את המודל הרחק מהטעויות

משוב משתמשים

שגיאות כלי

אמינות כלים ומשוב משתמשים לאחר אימון

הערכה לא מקוונת

הערכה מקוונת: GLM-5.2

הערכה מקוונת: GLM-5.3

סיכום

ציטוט