ריקבון הקשר בסוכני AI: למה משימות ארוכות מאבדות דיוק ואיך למנוע את זה

מדריך שמסביר מה מצטבר בהקשר של סוכן AI, למה זה פוגע בדיוק ואיך להגדיר משימות שנשארות אמינות.

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

מה המשמעות של ריקבון הקשר עבור סוכני AI

ריקבון הקשר (context rot) בסוכני AI הוא אובדן הדרגתי של דיוק, שמתחיל ככל שההקשר של הסוכן מתמלא במהלך משימה ארוכה.

ההקשר של סוכן הוא המידע שעומד לרשות המודל לצעד הבא שלו. הוא יכול לכלול הוראות, הודעות קודמות, תוצאות חיפוש וטקסט מאתרים או מקבצים. בזמן שהסוכן עובד, הוא עשוי להוסיף לו עוד מידע.

לדוגמה, נניח שהמשימה של סוכן היא למצוא ספקים שמספקים תוך שבועיים. בהתחלה, ההקשר שלו מכיל רק את הבקשה הזו. באמצע המשימה, ההקשר יכלול גם את הטקסט של עשרות אתרי ספקים, כמה עמודים של תוצאות חיפוש והערות לגבי הספקים שהסוכן כבר בדק.

יש גבול לכמות ההקשר שמודל יכול להכיל (גבול שנקרא חלון ההקשר). החלון נמדד בטוקנים, שהם יחידות טקסט קטנות, בדרך כלל מילה או חלק ממילה. ריקבון ההקשר מחריף ככל שההקשר גדל, ולכן הוא צפוי להופיע בעיקר במשימות ארוכות עם צעדים רבים.

ככל שריקבון ההקשר מחמיר, הסוכן נעשה פחות מדויק. הוא עלול לדבוק פחות בהוראות המקוריות שלו, להחמיץ פרטים או לחשוב בטעות שמידע שנראה דומה הוא המידע שהוא צריך.

לדוגמה, הסוכן עלול להתחיל לכלול ספקים שהאספקה שלהם אורכת שישה שבועות, אף שהתבקש למצוא אספקה תוך שבועיים. ההוראה עדיין נמצאת בהקשר שלו, אבל היא כבר לא מכתיבה את הבחירות של הסוכן.

ריקבון הקשר אינו פשוט מצב שבו נגמר המקום בחלון ההקשר. כשההקשר של משימה חורג מגודל החלון, חלק מהחומר נחתך או שהמשימה נכשלת. ריקבון הקשר מתחיל הרבה לפני כן, כשהכול עדיין נכנס בחלון.

הוא גם אינו זהה להרעלת הקשר (מצב שבו מידע מטעה או מזיק נכנס להקשר של הסוכן). גם סוכן עם מידע מדויק ומלא עלול לחוות ריקבון הקשר.

מדוע מתרחש ריקבון הקשר

ריקבון הקשר מתרחש מפני שהקשב של מודל מוגבל, גם כשיש בחלון ההקשר שלו מקום פנוי. במודלי AI, קשב (attention) הוא המונח הטכני לאופן שבו המודל מחליט על אילו חלקים מהקלט שלו להסתמך בזמן שהוא כותב כל מילה בתשובה. כל חלק בהקשר מתחרה על הקשב הזה. ככל שיש יותר טקסט, כל חלק מקבל פחות קשב.

לדוגמה, Chroma פרסמה מחקר על האופן שבו אורך הקלט משפיע על מודלי AI. המחקר בדק 18 מודלים של Anthropic, OpenAI, Google ו-Alibaba. באחד המבחנים, החוקרים הסתירו משפט שעוסק בעצה לכתיבה בתוך אוסף ארוך של חיבורים. לאחר מכן הם שאלו את המודל מה הייתה העצה.

הם הריצו את המבחן פעמים רבות, ובכל פעם הוסיפו עוד טקסט מהחיבורים. המשפט והשאלה מעולם לא השתנו. רק כמות הטקסט שסביבם השתנתה.

ככל שהמודלים נדרשו לקרוא יותר טקסט, הביצועים שלהם היו גרועים יותר. הממצא הזה חזר בכל המבחנים שבדוח. החוקרים צופים שהירידה בדיוק תהיה גדולה עוד יותר בעבודה אמיתית שכוללת צעדים רבים, כמו רוב המשימות של סוכנים.

איך ריקבון הקשר יכול להשפיע על סוכני AI

ריקבון הקשר בא לידי ביטוי בדרך כלל באחת מארבע דרכים:

איבוד המעקב אחר ההוראות המקוריות

המבחן הפשוט ביותר של Chroma ביקש מהמודלים להעתיק במדויק מחרוזת ארוכה של מילים חוזרות, שבמקום כלשהו בתוכה הוכנסה מילה אחת שונה. זו הייתה משימה פשוטה עם הוראה מפורשת. ובכל זאת, הביצועים של כל המודלים ירדו ככל שהטקסט התארך. חלק מהמודלים התחילו לייצר מילים שבכלל לא הופיעו בקלט.

במשימה של סוכן, המשתמש בדרך כלל מגדיר אילוצים ספציפיים בתחילת המשימה, כמו תקציב או פורמט נדרש. ככל שההקשר גדל, הסוכן עלול ליישם אותם בעקביות פחותה. הגורם לכך הוא האורך הכולל של ההקשר, ולא המיקום של ההוראה.

החמצת פרטים מאמצע המשימה

לפי מחקר של סטנפורד משנת 2023, מודלי AI משתמשים במידע בצורה האמינה ביותר כשהוא נמצא ממש בתחילת הקלט שלהם או ממש בסופו. באחד המבחנים, החוקרים נתנו למודלים אוסף של 20 מסמכים ושאלו שאלה שרק אחד מהם ענה עליה. כשהמסמך הזה הופיע ראשון או אחרון, המודלים בדרך כלל מצאו את התשובה. כשהוא היה באמצע האוסף, הם החמיצו אותה לעיתים קרובות הרבה יותר. החוקרים מכנים את התופעה הזו אפקט מיקום.

אותו דפוס חל גם על סוכנים. מידע שנמצא בשלב מוקדם יותר של המשימה עשוי להימצא באמצע שיחה ארוכה, שם לחלק מהמודלים קשה יותר להשתמש בו. בדוגמת הספקים, הרשימה הסופית עלולה להשמיט ספק טוב שהסוכן בדק באמצע המשימה.

בלבול בין מידע דומה

ככל שההקשר גדל, סוכנים עלולים להתקשות יותר לזהות איזה מידע מתאים להוראות שלהם. לדוגמה, נניח שהמשתמש ביקש מהסוכן למצוא ספקים ששולחים "תוך שבועיים". באתר של אחד הספקים כתוב "מגיע תוך 14 ימים קלנדריים ממועד ההזמנה". במשימה קצרה, סוכן כנראה יזהה ששני הניסוחים אומרים אותו דבר. כשהמידע קבור בין עשרות עמודים של ספקים אחרים, גדל הסיכוי שהוא יחמיץ את ההתאמה.

לחלופין, הסוכן עלול להתחיל לכלול תוצאות לא רלוונטיות. נניח שהסוכן מחפש ספקים של כיסאות משרדיים. האתר של אחד הספקים מבטיח אספקה תוך שבועיים, אבל רק לשולחנות. האספקה של הכיסאות שלו אורכת שישה שבועות. האתר משתמש באותן מילים כמו ההוראה, ולכן הסוכן עשוי להוסיף את הספק לרשימה שלו בכל זאת. החוקרים מכנים מידע כזה מסיח (distractor). הוא נראה רלוונטי אבל אינו כזה, ולכן הוא מתחרה במידע החשוב.

המחקר של Chroma מצא ששתי הבעיות החמירו ככל שכמות הטקסט שמסביב גדלה.

שגיאות שקשה לזהות

ריקבון הקשר אינו מפעיל הודעת שגיאה. הסוכן ממשיך לעבוד ומחזיר פלט שנראה גמור. בגלל זה קל להחמיץ את הטעויות שלו.

במבחנים של Chroma, הטעויות האלה הופיעו בשתי צורות. לפעמים מודל נתן בביטחון מלא תשובה שגויה. בדוגמת המחקר על הספקים, הסוכן עשוי למסור רשימת ספקים מסודרת ומעוצבת היטב, שכוללת ספק שאת תנאי האספקה שלו הוא הבין לא נכון.

במקרים אחרים מודל טען שלא מצא מידע שלמעשה היה שם. לדוגמה, הסוכן עשוי למסור דוח שלפיו אף ספק לא עומד במגבלת השבועיים, כשבפועל כמה ספקים כן עומדים בה.

איך להגדיר משימות לסוכן כדי לצמצם ריקבון הקשר

הגדרה נכונה של משימות תמזער את ההשפעה של ריקבון ההקשר ותשמור על הסוכן מדויק ככל האפשר לאורך כל המשימה. השיטות המומלצות הבאות יכולות לעזור.

נסחו את המשימה כמטלה ברורה

מטלה ברורה שומרת על הקשר קטן יותר. הסוכן יודע מתי הוא סיים, ולכן הוא מפסיק לאסוף חומר ברגע שיש לו מספיק. דרישות ספציפיות גם נותנות לו משהו מוחשי שמולו הוא יכול לבדוק כל עמוד. כך קל יותר לסוכן לזהות את המידע הנכון.

לפני ששולחים משימה, בדקו שהיא מכסה שלושה דברים:

  • המשימה: מה הסוכן צריך לעשות ולהפיק, למשל "למצוא ספקים ולהחזיר רשימה מצומצמת".
  • הדרישות: העובדות שהסוכן לא יכול לנחש, כמו התקציב, המועד האחרון, כתובת המשלוח ולמי מיועדת התוצאה.
  • הפלט: הפורמט, האורך והמבנה, למשל "טבלה עם שם, מחיר לכיסא וזמן אספקה".

כשמחברים את הכול יחד, השאילתה למשימת הספקים עשויה להיראות כך:

"מצא 10 ספקים שיכולים לספק 40 כיסאות משרדיים למשרד שלנו בשיקגו תוך שבועיים, במחיר של פחות מ-250 דולר לכיסא. החזר טבלה עם שם הספק, מחיר לכיסא, זמן אספקה וקישור לעמוד המוצר. הרשימה מיועדת למנהל המשרד שלנו, שיבצע את ההזמנה."

שמרו על כל משימה ממוקדת

משימה אחת עם מטרה ברורה אחת שומרת על הקשר קטן. משימות ארוכות גם עולות יותר. כל צעד מעבד את כל מה שנאסף עד אותו שלב, ולכן הקשר מנופח צורך יותר קרדיטים בכל צעד.

אם לפרויקט יש כמה חלקים, פצלו אותו:

  1. רשמו את התוצרים הנפרדים, לדוגמה חיפוש ספקים, השוואת מחירים ואימייל לספק שנבחר.
  2. הריצו כל תוצר כמשימה נפרדת.
  3. העבירו ממשימה אחת לבאה רק את התוצאה הסופית. לדוגמה, העלו את טבלת הספקים כקובץ כדי להתחיל את משימת ההשוואה, במקום להמשיך בשרשור שהפיק אותה.

כך משימת ההשוואה מתחילה עם טבלה אחת במקום עם כל העמודים.

הפנו את הסוכן למקורות הנכונים

כל עמוד שהסוכן קורא מתווסף להקשר שלו, כולל התפריטים, הפרסומות והטקסט הקבוע שמקיפים את החלק השימושי. כשנותנים לסוכן את המקורות ישירות, הרעש הזה מצטמצם.

העלו את הקבצים שהמשימה תלויה בהם, כמו רשימת הספקים המאושרים, על ידי צירופם לשאילתה. כשהסוכן צריך לחפש באינטרנט, ציינו את האתרים שכדאי לחפש בהם, כמו שני מאגרי ספקים מהימנים.

חברו את הכלים שבהם נמצא המידע. לדוגמה, ב-Perplexity Computer, פתחו את "מחברים" בסרגל הצד והפעילו את האפליקציות שהמשימה צריכה, כמו Google Drive או Slack. לאחר מכן ציינו אותן בשאילתה: "השתמש במפרטי הכיסאות שב-Google Drive שלנו." חברו רק אפליקציות רלוונטיות, כי כל מחבר תופס חלק מההקשר של הסוכן.

אם המידע נמצא באפליקציה שאינה מופיעה ברשימת המחברים, ייתכן שעדיין אפשר לחבר אותה. אפליקציות רבות מציעות מחבר MCP (Model Context Protocol), דרך סטנדרטית לחבר כלי AI לתוכנות אחרות. Computer יכול להשתמש במחברים כאלה לצד המחברים המובנים שלו. בחשבון ארגוני, ייתכן שמנהל מערכת יצטרך להפעיל אותם קודם.

בקשו בדיקה סופית מול ההוראות

סיימו את השאילתה בשלב בדיקה שמציין את האילוצים החשובים ביותר:

"לפני שתסיים, בדוק כל ספק מול הדרישות האלה: אספקה תוך שבועיים, פחות מ-250 דולר לכיסא. סמן כל ספק שלא עומד בדרישות האלה, במקום להשמיט אותו."

האילוצים עדיין נמצאים בתחילת ההקשר. שלב הבדיקה נותן לסוכן סיבה להשוות את הפלט הסופי שלו לאילוצים, במקום להסתמך על כך שההוראות ישמרו על השפעתן לאורך כל הצעדים.

במקביל, כשמבקשים ממנו לסמן בעיות במקום פשוט להשמיט את התוצאות האלה, קל יותר לתפוס טעויות (כמו דחייה של ספק שמבטיח הגעה תוך 14 ימים קלנדריים רק משום שהוא לא משתמש במילה "שבועיים".)

בדקו את העבודה בנקודות ביקורת

במשימות ארוכות יותר, שלבו בשאילתה נקודת ביקורת:

"התחל במציאת 20 ספקים מועמדים, ואז עצור. אאשר את הרשימה לפני שתאסוף מחירים."

בדקו את הרשימה המצומצמת מול ההוראות המקוריות. תקנו כל דבר שאינו תקין בהודעת המשך, ואז תנו לסוכן להמשיך. טעויות שנתפסות בשלב הזה לא ייגררו לכל הצעדים שאחריו.

התחילו משימה חדשה כשמשימה סוטה מהמסלול

אם הסוכן חוזר על אותה טעות גם אחרי תיקונים, התחילו משימה חדשה. כל תיקון מוסיף עוד טקסט להקשר שכבר ארוך. במקום זאת, צרו משימה חדשה. נסחו מחדש את ההוראות, העלו כל פלט טוב מהניסיון הראשון והתחילו מחדש.

חלק מהסוכנים עושים גרסה של זה באופן אוטומטי, בתהליך שנקרא דחיסה (compaction). כשמשימה מתארכת, הסוכן מחליף חומר ישן, כמו הטקסט המלא של עמודים שקרא בשלב מוקדם, בסיכום קצר של מה שמצא. Portable Computer של Perplexity דוחס את ההקשר שלו בדרך הזו, כך שהמודל נשאר בתוך הכמות שהוא יכול להתמודד איתה היטב.

חשוב גם להתחיל משימה חדשה אם המטרה משתנה. שרשור שהתחיל כחיפוש ספקים לא אמור להפוך גם לבדיקת חוזה.

הפכו הוראות חוזרות לכישור

חלק מההוראות חוזרות בכל משימה מסוג מסוים, כמו פורמט טבלה מועדף, רשימת ספקים שיש להימנע מהם או שלב בדיקה סטנדרטי. ב-Computer אפשר לשמור אותן בתור כישור, אוסף הוראות לשימוש חוזר שהסוכן פועל לפיו בכל פעם. כישור מטמיע את השיטות המומלצות האחרות בכל משימה שמשתמשת בו.

כך מגדירים:

  1. בחרו משימה שחוזרת לעיתים קרובות, כמו מחקר ספקים.
  2. רשמו את ההוראות שאתם נותנים בכל פעם: הפורמט, הבדיקות, המקורות שיש להשתמש בהם או להימנע מהם.
  3. שמרו אותן בתור כישור. אפשר לייבא ישירות הוראות שכבר כתובות ב-Markdown.
  4. ציינו את הכישור בשמו בשאילתות עתידיות: "השתמש בכישור מחקר הספקים כדי למצוא ספקי כיסאות למשרד בדנוור."

איך Perplexity ניגשת להקשר בעבודה של סוכנים

Perplexity Computer מטפל במשימות ארוכות בדרכים ששומרות על ההקשר של כל מודל קטן ורלוונטי. שלושה מרכיבים בתכנון שלו מגבילים את הכמות שמודל צריך לקרוא בבת אחת.

פיצול העבודה בין תת-סוכנים

Computer מפרק בקשה למשימות ולתתי-משימות, ואז יוצר תת-סוכנים שיבצעו אותן. כל תת-סוכן עובד על חלק אחד מהעבודה בהקשר משלו. במשימת הספקים, תת-סוכן אחד עשוי לחקור מחירים בזמן שאחר בודק תנאי אספקה. אף אחד מהם לא צריך לקרוא את כל מה שהשני קרא.

שמירת העבודה בקבצים

כל משימה ב-Computer מקבלת סביבת עבודה משלה, עם קבצים, דפדפן אינטרנט וכלים משלה. הסוכן יכול לשמור את העבודה שלו בקובץ, כמו טבלה מתעדכנת של הספקים שכבר בדק. לאחר מכן הוא פותח את הקובץ הזה שוב רק כשהוא צריך אותו.

בחירת קטעים רלוונטיים מתוך תוצאות החיפוש

דפי אינטרנט מלאים בחומר שהמודל לא צריך, כמו תפריטים, פרסומות, מטא-נתונים וטקסט בנושאים אחרים. דחיסת הקשר מודעת-שאילתה מסננת את כל אלה. לפני שעמוד מגיע למודל, Perplexity שומרת רק את המשפטים שקשורים לשאילתה.

גלו טיפים, מדריכים ודוגמאות למשימות ב-Perplexity Computer כדי ליישם את הצעדים האלה בפועל.

שאלות נפוצות

האם ריקבון הקשר זהה להזיה?

לא, אבל הם קשורים. הזיה היא כל תשובה שמציגה משהו שגוי או לא מבוסס. ריקבון הקשר הוא אחד התנאים שמגבירים את הסבירות להזיות, לצד טעויות אחרות כמו התעלמות מהוראות והחמצת פרטים.

האם שאילתה טובה יותר יכולה לפתור את ריקבון ההקשר?

שאילתה ברורה מצמצמת ריקבון הקשר בכך שהיא שומרת על מיקוד המשימה. עם זאת, היא לא יכולה למנוע מההקשר לגדול. במשימה ארוכה מספיק, הסוכן עדיין אוסף יותר ממה שהוא יכול לנצל היטב, ולכן פיצול העבודה ובדיקתה לאורך הדרך חשובים לא פחות מהשאילתה עצמה.

האם ריקבון הקשר משפיע גם על צ'אטים רגילים עם AI, ולא רק על סוכנים?

כן. בצ'אט, ההקשר הוא כל השיחה עד כה, כולל כל הודעה וכל מסמך שהודבק או הועלה אליה. שרשור שנמשך שעות ועבר בין כמה נושאים יכול לייצר את אותן טעויות כמו משימה ארוכה של סוכן. פתיחת שרשור חדש לכל נושא חדש שומרת על כל שיחה ממוקדת.

עד כמה משימה יכולה להתארך לפני שריקבון הקשר מתחיל?

אין נקודה קבועה. זה תלוי במודל ובמשימה. מודלים שרצים על המכשיר עם חלונות הקשר של 260,000 טוקנים, לדוגמה, מתחילים להתקשות אחרי כ-100,000 טוקנים, הרבה לפני המגבלה שלהם. הירידה גם היא הדרגתית ולא פתאומית.