כישורים שמשפרים את עצמם
כיצד Perplexity Brain לומד מהניסיון תהליכים חוזרים ושומר עליהם עדכניים.
מבוא
למשתמשים יש העדפות ודרישות ספציפיות לתהליכי העבודה שלהם, שמודל כללי אינו יכול לדעת מראש. סוכן צריך ללמוד את הפרטים האלה כדי להתאים את עבודתו למשתמש, במקום לדרוש מהמשתמש להסביר את אותו הליך או לבצע את אותם תיקונים בכל הפעלה. למידה מתמשכת מאפשרת זאת: הניסיון ממשימות שהושלמו צריך להשפיע על האופן שבו הסוכן ניגש לעבודה עתידית.
Brain, מערכת השיפור העצמי המותאמת אישית של Computer, מאפשר למידה מתוך ניסיון. הוא כבר מתחזק ויקי ידע מובנה שמקשר בין מידע על המשתמש ועל עבודתו לבין הראיות התומכות בו. סוכני רקע מעדכנים את הוויקי ככל שמצטבר מידע חדש, כך שמערכת הזיכרון משתפרת עם הזמן.
כישורי סוכן מספקים דרך נוספת להנחות את התנהגות הסוכן בלי לשנות את המודל שבבסיסו. כישורים הם הנחיות רב־פעמיות שמנחות סוכן לאורך משימות מסוימות. הם לוכדים דרישות ומשאבים תומכים עבור תהליכי עבודה חוזרים, שאחרת הסוכן היה צריך להסיק מהזיכרון או לקבל מהמשתמש בכל פעם, וכך משפרים את הביצועים במשימות שמחוץ להתפלגות האימון. הם יכולים לכלול גם סקריפטים להליכים חוזרים או לעיבוד שאפשר לבטא בצורה אמינה בקוד, כך שהסוכן יכול פשוט להריץ את הסקריפטים האלה כשהם רלוונטיים. ה-harness הופך כישורים זמינים לניתנים לגילוי וטוען את ההנחיות שלהם להקשר כשהסוכן מבקש אותן. משתמשים יכולים גם לציין ישירות בפרומפט באילו כישורים להשתמש.
אנחנו מרחיבים את Brain כך שייצור ויעדכן כישורי סוכן באופן אוטומטי. Brain מתבסס על הזיכרון ועל היסטוריית ההפעלות של המשתמש כדי לכתוב ולשכלל כישורים אישיים שלוכדים הליכים עבור תהליכי העבודה של אותו משתמש. אנו מיישמים גישה דומה כדי לעדכן כישורים מובנים, הזמינים לכל משתמשי Perplexity, על סמך דפוסים מצטברים בכל ההפעלות.
תחילה נתאר את מנוע השיפור העצמי שלנו, המשותף לכל סוגי הכישורים, ונסביר כיצד הוא פועל עבור כישורים אישיים ומובנים.
מנוע שיפור עצמי משותף
גם כישור שימושי צריך להשתנות כשמתגלות העדפות חדשות או כשהניסיון חושף פערים בהנחיות שלו. Brain אחראי לגלות כיצד ההתנהגות של הסוכן צריכה להשתנות בפעם הבאה ש-Computer נתקל במשימה דומה, ולקבוע כיצד הכישור צריך להשתנות כדי להשיג טוב יותר את התוצאה הרצויה.
תהליך השיפור הזה יוצר לולאה בת ארבעה שלבים:
- ראיות. Brain מאתר הפעלות קודמות שבהן נעשה שימוש בכישור, במיוחד כאלה שבהן הוא לא עמד בציפיות.
- רפלקציה. סוכן שיפור בוחן את הראיות האלה ומציע עדכונים לכישור.
- אימות. בדיקות מאשרות שההצעה בנויה כראוי ושסביר שהיא תשפר את התוצאות.
- הטמעה. השינוי המאומת מוחל. הפעלות עתידיות משתמשות בגרסה החדשה ומספקות ראיות לסבב הבא.
הלולאה הזו נשענת על יכולות קיימות רבות שנבנו עבור Computer ו-Brain. כאן אנו מתארים את המנגנון המשותף שמאפשר את שלבי הראיות והרפלקציה. תהליכי האימות וההטמעה תלויים בשאלה אם השינוי מגיע למשתמש אחד או לכל משתמשי Perplexity, ולכן נתאר אותם בסעיפים הבאים, העוסקים בלולאות השיפור של הכישורים האישיים ושל הכישורים המובנים.
ראיות מהפעלות קודמות
רפלקציה מחייבת איתור הפעלות שבהן נעשה שימוש בכישור, במיוחד כאלה שיש בהן מקום לשיפור. ה-harness של Computer מתעד אותות שמאפשרים זאת. כשהסוכן טוען כישור, ה-harness מתעד אירוע טעינת כישור שמקשר בין הכישור להפעלה. כשהסוכן מזהה תסכול של המשתמש, התנהגות שבורה או חוסר יעילות ברור, הוא מגיש דוח אבחון קצר ומובנה, וה-harness מצרף אליו את הכישורים שבשימוש. דוחות אלה שימושיים במיוחד עבור כישורים מובנים, שבהם כל הפעלה עשויה להיות רלוונטית, ולכן המערכת צריכה דרך לצמצם במהירות את מאגר הראיות.
סוכנים מרוויחים מגישה לתיעוד המלא, במקום לשפוט על סמך התוצאה או סיכום קצר. Computer שומר הפעלות קודמות באמצעות ייצוגי מסלול שאינם תלויים בספק, שלוכדים הודעות, קריאות לכלים, הנמקות ותוצאות. בנינו גם חבילה של כלי שורת פקודה שסוכנים יכולים להשתמש בהם כדי לפענח את המסלולים האלה ולשחזר הפעלות מלאות. כך סוכן הרפלקציה יכול לבחון טעינות כישורים וקריאות לכלים ספציפיות, ולזהות את הנקודות המדויקות שבהן התרחשו בעיות או שבהן אפשר היה לשפר.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlדוגמה לשימוש בכלים הפנימיים של Computer לבדיקת מסלולי פעולה. הנתיבים והמזהים פושטו לצורך המחשה; שמות הפקודות והארגומנטים תואמים למימוש.
רפלקציה באמצעות סוכני רקע
Brain משתמש בצוות של סוכני רקע כדי למטב באופן רציף את החוויה של כל משתמש. לדוגמה, סוכני Dream סוקרים את הניסיון שהצטבר כדי לעדכן את ויקי הידע. באופן דומה, שיפור הכישורים מונע על ידי סוכני שיפור שמבצעים רפלקציה על ראיות לשימוש בכישורים כדי להציע עדכונים.
כל סוכן פועל בארגז חול משלו עם מודל חזית, הראיות הרלוונטיות וספריית הכישורים הנוכחית, בהנחיית תוספים וכישורים. הוא מחליט אילו הפעלות לקרוא, מפיק לקח קונקרטי מכל אחת מהן ומקבץ לקחים שמצריכים את אותה התנהגות רב־פעמית. מכיוון שתיקון לכשל אחד עלול לסתור הנחיה אחרת או להוסיף עבודה במקום אחר, הסוכן קורא את הכישור המלא לפני שהוא מציע עריכה, ונמנע מכך כשהראיות אינן תומכות בעריכה.
סוכני השיפור פועלים על אותו harness כמו Computer. הפכנו את ה-harness למודולרי, כך שאפליקציית סוכן חדשה יכולה לעשות שימוש חוזר במנגנונים שלו להנמקה, לשימוש בכלים ולניהול הקשר, ובמקביל להגדיר הנחיות ויכולות משלה באמצעות תוספים. צי ייעודי של רכיבי עבודה ברקע מאפשר לנו להרחיב את העיבוד הזה בנפרד מהמשימות שבחזית.
לולאת השיפור של כישורים אישיים
תחילה נתאר כיצד מנוע השיפור העצמי המשותף מיושם בלולאת השיפור האישית, שהופכת את היסטוריית המשימות של המשתמש לכישורים אישיים חדשים או מעודכנים. האיור שלהלן עוקב אחר כישור לדוגמה לאורך הלולאה כולה, עד לגרסה המתוקנת.
במהלך הרצת יצירה יומית, סוכן השיפור סוקר את ההפעלות האחרונות של המשתמש כדי לקבוע אילו שינויים כדאי לבצע. קבוצה של הפעלות אחרונות נטענת מראש לארגז החול, יחד עם נתוני שימוש בכישורים; את שאר היסטוריית ההפעלות של המשתמש אפשר לאחזר לפי הצורך. סוכן השיפור מקבל גם את קטלוג הכישורים הקיימים. אין לו גישה לאינטרנט או למחברים אחרים.
תוספים וכישורים שתוכננו עבור תהליך העבודה של שיפור כישורים אישיים מנחים את תהליך הרפלקציה, בהתבסס על העקרונות שלנו לגבי מה הופך עדכון לטוב. תחילה הסוכן מנתח מסלולים מלאים כדי לזהות לקח קונקרטי בכל הפעלה. לאחר מכן הוא משווה את הלקחים להנחיות הקיימות ומחליט אם לעדכן כישור, ליצור כישור חדש או לא לבצע שינוי. יצירת כישור מחייבת שני מקרים בלתי תלויים של אותה התנהגות רב־פעמית, ואילו עדכון לכישור קיים יכול להיות מוצדק על סמך מקרה מבוסס יחיד.
הסוכן אינו משנה את הכישור ישירות. במקום זאת, הוא מפיק הצעה שמתעדת את השינויים המיועדים ואת הנימוקים והראיות התומכים בהם. העדכונים מוגבלים לשינוי אחד לכל כישור בכל הרצה. בדיקות דטרמיניסטיות מוודאות שההצעות בנויות כראוי ושאפשר להחיל אותן על הכישור. בנפרד, שופט LLM בודק מדגם של הצעות, ובוחן אם הראיות תומכות בשינוי ואם הכישור שמתקבל מספק הנחיות שימושיות.
ההטמעה הופכת הצעה מאומתת לשינוי בספריית הכישורים של המשתמש, כך שאפשר לטעון את הגרסה החדשה ולהשתמש בה בהפעלות עתידיות. מכיוון שה-harness טוען אינדקס של כל הכישורים הזמינים בתחילת כל הפעלה, ספרייה גדולה של כישורים עלולה לגדוש את חלון ההקשר ולהקשות על הסוכן למצוא ולטעון כישורים רלוונטיים. לכן המערכת שומרת רק את הכישורים בעלי הערך הרב ביותר, ומוציאה משימוש כישורים שאינם נחוצים כדי לשמור על ספרייה קטנה ומוקפדת. באופן ספציפי, אנו אוכפים מגבלה של 10 כישורים שנוצרו אוטומטית לכל משתמש. כשהמגבלה מתמלאת, סוכן השיפור עדיין יכול לעדכן או להסיר כישורים, אבל כדי להוסיף כישור חדש עליו להוציא משימוש כישור קיים ולהצדיק מדוע הכישור החדש שימושי יותר לעבודה של המשתמש.
לולאת השיפור של כישורים מובנים
אנו מרחיבים גם את מסגרת השיפור הרציף של כישורים ב-Brain לכישורים מובנים. במקום להשתמש בזיכרון ובהיסטוריית ההפעלות של משתמש אחד כדי לשפר את הכישורים האישיים שלו, הלולאה המובנית משתמשת בראיות ממשתמשים רבים כדי לשפר את הכישורים הזמינים לכל משתמשי Perplexity. מכיוון שכל אחד יכול להשתמש בכישורים מובנים, הרף לשינויים גבוה; עדכונים שפוגעים בביצועים בשוגג עלולים להשפיע על אלפי הפעלות. סוכן השיפור המובנה משנה רק גרסאות מועמדות של כישורים. כדי להגיע לגרסה הקנונית של הכישור, העדכונים האלה חייבים לעבור הרצה חוזרת מזווגת וסקירה אנושית פנימית. גם כאן נעקוב אחר הלולאה המלאה בעזרת כישור לדוגמה וראיות תומכות.
לולאת השיפור המובנית משתמשת בראיות מנוקות מהפעלות שכשירות לשימוש באימון. נתוני אבחון ואותות כשל משמשים לבחירת ראיות רלוונטיות, לצד הפעלות ביקורת שבהן נעשה שימוש בכישור בלי שעלו סימני אזהרה. צינור ניקוי מסיר פרטי הזדהות וסודות אחרים, וכן קבצים ומדיה מצורפים.
סוכן ליצירת תרחישים הופך ראיות מנוקות לתרחישי כשל קונקרטיים. הוא שומר רק את ההקשר הדרוש כדי להבין את מקרה הכשל ולשפר את הכישור; שאר ההפעלה נבנה מחדש באופן סינתטי, וכך נוצרת בדיקה עצמאית עבור תהליך האימות. התרחישים חייבים לרוץ בלי אפליקציות מחוברות או התחברות; אם המשימה המקורית הייתה תלויה במחבר, הקלט הזה מוחלף בקבצים סינתטיים בתרחיש. בדיקה נפרדת מוודאת שהכישור נכשל בתרחיש שנוצר.
הרפלקציה מתבצעת באמצעות משימת עדכון שבועית שהופכת כשלים שנצפו לתיקונים. היא מחפשת כשלי כישורים שחוזרים על עצמם בכמה הפעלות, כדי שהפעלה גרועה אחת לא תוביל לעריכה. כל כשל חוזר מקבל הרצה נפרדת של סוכן שיפור. הסוכן מקבל תיאור של סיבת השורש, יחד עם רשומות מנוקות מהפעלות מוצלחות. הוא משתמש בראיות האלה כדי לכתוב גרסה מתוקנת מועמדת של הכישור. הוא אינו מקבל את תרחישי הכשל המלאים, מכיוון שהם משמשים בהערכה.
משימת הרצה חוזרת נפרדת משתמשת בתרחישים שנוצרו כדי להשוות בין הגרסה המקורית לגרסה המתוקנת של הכישור. שופט LLM מעריך את התשובות ואת המסלולים של סוכן מול המחוון של כל תרחיש. כדי שהצעה תעבור, כל תרחיש בדיקה חייב לעבור עם הכישור המתוקן, ולפחות אחד מהם חייב להיכשל עם הכישור המקורי. גם תרחישים שנבנו מהפעלות הביקורת מורצים מחדש, כדי לוודא ששום דבר לא הפסיק לעבוד. בתרחישי הכשל, השופט בודק גם שהכשל הספציפי אכן התרחש, במקום להתייחס לכל משימה שלא הצליחה כראיה לאותה בעיה.
תהליך העבודה אורז את השינויים המועמדים ואת תוצאות ההערכה ב-pull request לסקירה אנושית פנימית. השינויים נכנסים לתוקף רק אם מהנדס מאשר את ה-PR.
הערכות
שיפור אוטומטי של כישורים הגדיל באופן משמעותי את יצירת הכישורים ואת השימוש בהם. Brain כתב יותר מ-80,000 כישורים אישיים עבור יותר מ-20,000 משתמשים בין 1 באוגוסט ל-14 בנובמבר. בנוסף, יותר מ-100,000 עדכונים אוטומטיים הוחלו על יותר מ-30,000 כישורים אישיים קיימים בין 4 בספטמבר ל-14 בנובמבר.
הכישורים האלה משתרעים על מגוון רחב של תחומים ומשימות, מאימות תוכנה, דרך התאמת נתוני שכר ועד עיצוב איורים. סיווגנו את הכישורים ש-Brain יצר לפי תהליכי העבודה שהם מתארים. אפילו התחום הגדול ביותר, הנדסת תוכנה, היווה רק 11% מהכישורים; אחריו מגיעים מחקר ותדריכים (10.1%), מכירות ותפעול (9.9%) ופיננסים והשקעות (9.9%).
ערכנו ניסוי אקראי בן שמונה שבועות על תעבורת הייצור, שבו השווינו משתמשים שהשיפור האוטומטי של כישורים אישיים מופעל אצלם לקבוצת ביקורת שבה הוא מושבת. 72.9% מהאנשים ששיפור הכישורים מופעל אצלם קיבלו לפחות כישור אישי חדש אחד, ואילו רק 6.5% מהאנשים שללא השיפור הוסיפו כישור חדש באופן ידני. אצל יותר ממחצית מקבוצת הניסוי (53%) נטען כישור אישי בשיחה שהם התחילו, לעומת 13% בקבוצת הביקורת; בתורות השיחה שלהם נטען כישור אישי בתדירות גבוהה פי 3.6 בערך. מבין הלקוחות שקיבלו כישור שנכתב על ידי Brain, 63% השתמשו בכישור כזה שוב בשיחה מאוחרת יותר בתוך ארבעה שבועות.
ההערכות שלנו נועדו לקבוע כיצד הכישורים החדשים והמעודכנים האלה משפיעים על ביצוע המשימות ועל הביצועים הכוללים.
תוצאות מאותו ניסוי אקראי מראות ירידה בכשלים של קריאות לכלים ובחוסר שביעות הרצון של משתמשים. אצל משתמשים עם שיפור אוטומטי של כישורים, שיעור הכשלים של קריאות לכלים ירד ב-11% בכל הפעילות ב-Computer. גם בלי ההרצות של המערכת עצמה ברקע, קריאות לכלים נכשלו בכ-7% פחות, מה שמעיד שהאמינות השתפרה בעבודה של המשתמש. חוסר שביעות הרצון של המשתמשים, שנמדד כמספר השרשורים עם חוסר שביעות רצון בינוני/גבוה לכל משתמש, ירד ב-7.6%. לא ראינו שינוי מדיד בעלות או בזמן התגובה. הבדיקות המוקדמות האלה מציגות תוצאות מבטיחות, ואנו צופים שהשיפורים יגדלו עם הזמן ככל שנשכלל את המערכת ונשיק כישורים בעלי שיפור עצמי ליותר משתמשים.
גם ניסויים לא מקוונים תיעדו שיפורים בתרחישים מצומצמים יותר. בניסוי SkillLearnBench, Computer השתמש במסלולי משימות קודמים כדי ליצור כישור אישי אחד לכל אחת מתשע משפחות משימות. ב-16 מקרי הערכה מזווגים, שיעור ההצלחה במשימות עלה מ-43.8% ללא כישורים ל-62.5% עם כישורים שנוצרו, מה שמספק ראיה לכך שכישורים שנגזרו מניסיון קודם יכולים לשפר את הביצועים במשימות חוזרות. בחקר מקרה אחד של כישור מובנה, עריכות בכישור מסחר אלקטרוני הובילו לשיפור של 6% באיכות בעלות נמוכה ב-32%, כשהאיכות נמדדה על ידי שופט אוטומטי.
סיכום
כישורים בעלי שיפור עצמי מעניקים ל-Computer דרך נוספת ללמוד מהעבודה שהוא מבצע. הם מרחיבים את Brain כך שייצור ויתחזק זיכרון פרוצדורלי, ומשפרים את הביצועים בתהליכי עבודה מורכבים. שיפור אוטומטי של כישורים כבר הגדיל את השימוש בכישורים, הפחית את שיעורי הכשל של כלים והקטין את חוסר שביעות הרצון של המשתמשים.
שיפור כישורים אישיים זמין כעת לכל המנויים של Max בארה״ב. הוא מופעל כברירת מחדל למשתמשים זכאים, אך אפשר לכבות אותו. הכרטיסייה "תוספים" מציגה את הכישורים הזמינים, מזהה את אלה שנכתבו על ידי Brain ומאפשרת למשתמשים לבחור אילו כישורים מופעלים.
בשלב הבא נרחיב את השיפור לסוגים נוספים של כישורים, כולל כישורים שמשתמשים כתבו, כישורים ששותפו בתוך פרויקטים וכישורים של ארגונים. נמשיך לשכלל את צינור השיפור ואת ההערכות שלו, כדי שהגרסאות המתוקנות יובילו להליכים אמינים יותר ולתוצאות טובות יותר.
ציטוט
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}