BrowseSafe++: בניית הגנות חזקות יותר מפני הזרקת פרומפטים בעולם האמיתי

סוכנים שמסוגלים לגלוש באינטרנט, כמו העוזר המובנה ב-Comet או ב-Computer, צריכים לקיים אינטראקציה עם דפי אינטרנט, לקרוא תוכן ולהשתמש בו כדי לבצע פעולות בשם המשתמשים שלהם. הדבר הופך אותם לפגיעים להזרקת פרומפט עקיפה, שבה תוקף מציב טקסט זדוני בדף אינטרנט. אם הסוכן פועל לפי ההוראות האלה, הוא עלול להחזיר תשובה מטעה או לבצע פעולה שהמשתמש לא ביקש.

בדצמבר 2025 השקנו את BrowseSafe, בנצ'מרק ומודל זיהוי לאיום הזה. בנינו אותו על ידי הוספת מתקפות סינתטיות לדפי אינטרנט מציאותיים שסוכנים צפויים להיתקל בהם. במהלך השנה האחרונה המתקפות התפתחו, נעשו מתוחכמות יותר והן דומות יותר ויותר לתוכן דף רגיל. במקום להשתמש בביטויים מסגירים כמו “התעלם מההוראות הקודמות”, הן מחקות לעיתים קרובות תוכן שהסוכן צפוי לסמוך עליו, כמו הודעה רשמית מהאתר או הערה לגבי העדפות המשתמש.

בעקבות השינויים האלה, בנינו בנצ׳מרק מעודכן, BrowseSafe++, כדי למדוד אם גלאי ההזרקות הקיימים תופסים את המתקפות האלה ואם סוכנים מסוגלים לעמוד בפניהן. הוא מכיל 38,675 צמדים של דפים מותקפים ונקיים, שנבנו בעיקר סביב הזרקות שנאספו בעולם האמיתי. בכל דף אנו משכתבים את התוכן הסובב כדי להגן על הפרטיות, אך שומרים על המתקפה מילה במילה. כל דף מגיע בארבעת הפורמטים שסוכני דפדפן קוראים: HTML, Markdown, עצי נגישות וצילומי מסך. השתמשנו בתת-קבוצה של הבנצ׳מרק כדי לאמן את BrowseSafe-Guard, צמד גלאים בני 0.8 מיליארד פרמטרים: גלאי טקסט וגלאי רב-מודאלי. שני גלאי Guard מזהים הזרקות בדיוק רב יותר מהמודלים מונחי הפרומפט שבחנו, כולל מודלי חזית. הם גם מהירים יותר, זולים יותר ומסמנים בטעות הרבה פחות דפים רגילים.

אנו משחררים את BrowseSafe++ כבנצ׳מרק פתוח. אתר הפרויקט מקשר למערך הנתונים, ל-SDK, למאמר המחקר ולטבלת המובילים הציבורית. כל צוות יכול להעריך את ביצועי הגלאי שלו מול דפי בדיקה שהתוויות שלהם אינן מסופקות, ולהגיש את התוויות לבדיקה ולהכללה אפשרית בטבלת המובילים. כדי להעריך את התוצאות שלכם ולהגיש אותן, ראו תחילת העבודה.

בניית בנצ׳מרק מהזרקות שנצפו

BrowseSafe++ בנוי מהזרקות פרומפט שנצפו באתרים אמיתיים. בין ספטמבר 2025 לספטמבר 2026, גלאי הזרקות הפרומפט של Comet סימן 1.15 מיליון הזרקות בדפים שהסוכן שלו קרא. בנינו 32,187 צמדים סביב ההזרקות האלה והוספנו 6,488 צמדים מהבנצ׳מרק המקורי של BrowseSafe, בסך הכול 38,675 צמדים. כל צמד כולל גם דף מותקף וגם את התאום הנקי שלו, שהוא אותו דף ללא ההזרקה.

כיצד נראות הזרקות בעולם האמיתי

שתי דוגמאות מהבנצ׳מרק ממחישות כיצד נראות ההזרקות האלה בפועל.

בדוגמה אחת, בקשת רכישה מזויפת מעודדת את הסוכן לבצע פעולה לא מורשית. הגלאי של Comet סימן באוקטובר 2025 את קטע הטקסט הזה באנגלית בדף תיעוד למפתחים בשפה הרוסית:

הטקסט נפתח ונסגר בפקודות, ואת החלק האמצעי הוא ממלא בתוכן שיווקי רגיל על טוקן. הוא טוען שמקורו במי שפיתח את הסוכן עצמו ומסתיים בקוד הרשאה כדי שהרכישה תיראה מאושרת.

בדוגמה אחרת, שיחה מזויפת נועדה לשבש את המשימה של הסוכן. הטקסט הזה נמצא בדף של מאגר קוד במרץ 2026:

הטקסט מעוצב כך שייראה כמו שיחה בין משתמש לסוכן: <|im_start|> ו-<|im_end|> הם סמנים שחלק ממודלי הצ׳אט משתמשים בהם כדי להפריד בין תורות בשיחה. סוכן שהיה נופל בפח של המתקפה הזו היה מגיב לשאילתת המשתמש המזויפת ומשיב במשפט של התוקף.

אנו מבחינים בדפוסים דומים בקרב ההזרקות שסומנו:

• הן מתחזות למקורות מהימנים. שתי הדוגמאות גורמות לטקסט בדף להישמע כמו מקור שהסוכן סומך עליו: מי שפיתח אותו בדוגמה הראשונה, והשיחה שלו עצמו בשנייה. הזרקות יכולות גם להתחזות לאתר עצמו, תוך חיקוי של בדיקות אבטחה והודעות מדיניות, או למשתמש, תוך הצגת העדפות מזויפות. כשתיים מכל שלוש נכתבות בשפה רשמית.
• רבות מהן כתובות בשפות שונות. ב-24.4% מהצמדים, ההזרקה משתמשת בשפה שונה מזו של שאר הדף. לרוב מדובר בהוראה באנגלית בדף שאינו באנגלית, כמו בדוגמה הראשונה. מתקפות כאלה מכוונות בבירור לסוכן שקורא כל שפה ובדרך כלל דובר אנגלית כשפת אם. מעברי שפה גם מקשים על הזיהוי: בהערכת BrowseSafe המקורית שלנו, מתקפות רב-לשוניות היו מהקשות ביותר לתפיסה.
• רובן מכוונות לפעולות, לא למילים. יותר מארבע מכל עשר דוחפות את הסוכן לפעולה שהמשתמש מעולם לא ביקש, כמו רכישת הטוקן בדוגמה הראשונה, וכשליש מנסות לגרום לו לזנוח את משימת המשתמש, כמו בדוגמה השנייה. רק כ-3% מנסות לשתול מידע כוזב בתשובה.
• לעיתים קרובות הן מגיעות דרך תוכן שכל אחד יכול לפרסם. תוקף לא צריך לשלוט באתר. די בפוסט בפורום או במסמך משותף באתרים רגילים, ויותר מ-23,000 הזרקות ב-BrowseSafe++ הגיעו בדרך זו. גם דומיין מהימן עדיין יכול לשמש להזרקת טקסט של תוקף.

ההזרקות בבנצ׳מרק הסופי משתרעות על פני 12 סוגי אתרים, 24 סוגי מתקפות, 6 מטרות של תוקפים ו-18 מיקומים בדף.

הגדלה

מדף שסומן לזוג בבנצ'מרק

איננו יכולים להשתמש בבנצ׳מרק בדפים שסומנו כפי שהם, מכיוון שהם עשויים להכיל מידע אישי של המשתמש שעבורו פעל הסוכן. הפיכת דף לצמד בנצ׳מרק שניתן לשתף מחייבת שלושה שלבים עיקריים:

1. השגת ההזרקה: אנו אוספים את הדפים שסומנו, מסירים כפילויות וממסכים מידע אישי באמצעות PII-Tracer. לאחר מכן, אנו מאשרים שהדף מכיל הזרקה; ליתר דיוק, אנו דורשים שצוות של מודלים יסכים שהוא מכיל הוראה שמנסה להסיט סוכן מהמשימה שהמשתמש התכוון אליה.
2. בניית הצמד: סוכן מסיר את טקסט ההזרקה מכל דף ומשכתב את תוכן הדף הסובב, תוך החלפת פרטים כמו שמות ומותגים בפרטים בדויים. סוכן שני בודק את הדף המשוכתב כדי לאתר שאריות של תוכן מהעולם האמיתי ומחזיר כשלים עם משוב. בודקים אנושיים בוחנים 10% אקראיים מהדפים; בעיות שהם מוצאים מתוקנות בצינור, והתיקונים מוחלים על כל הקורפוס. ההזרקה מוכנסת מחדש לדף המשוכתב כדי ליצור את העותק המותקף, ואינה נכללת בעותק הנקי. לשני הדפים אותה משימה, אותה תוצאה צפויה ואותן הוראות רגילות.
3. אימות: סוכנים קוראים דפים בצורות שונות, ולכן אנו מרנדרים את ה-HTML של כל דף כ-Markdown, כעץ נגישות (רשימה מובנית של רכיבי הממשק של הדף והתוויות שלהם) וכצילום מסך. סוכן נוסף בודק שההזרקה מופיעה בכל ארבע התצוגות של הדף המותקף ושהדף הנקי נחשב תמים בכל תצוגה. אם ההזרקה חסרה באחת התצוגות, אנו מעבירים אותה למקום אחר בדף ומרנדרים שוב, כדי להבטיח שההזרקה תופיע בדף המותקף הסופי בכל התצוגות. סדרה אחרונה של בדיקות אוטומטיות מתקנת כל צמד שעדיין נושא עקבות של המקור שלו, כמו שמות מארחים או שמות מותגים אמיתיים.

הגדלה

BrowseSafe-Guard: גלאים מהירים ומדויקים לכל תצוגה

גלאי שימושי צריך לבדוק כל דף במהירות ובעלות נמוכה. הוא גם צריך להיות מדויק הן בדפים מותקפים והן בדפים נקיים. דייקנות גבוהה חשובה במיוחד, שכן רוב הדפים בטוחים; אפילו שיעור נמוך יחסית של תוצאות חיוביות שגויות יהפוך את רוב ההתרעות להתרעות שווא. מודלים כלליים מונחי פרומפט לוקים לעיתים קרובות בדייקנות, והם איטיים ויקרים מכדי להריץ אותם על כל דף.

גלאי שאומן על דפים מותקפים ונקיים שנאספו בנפרד עלול ללמוד קיצורי דרך שבמקרה מבדילים בין שתי הקבוצות, כמו נושא הדף או הפריסה שלו. עם זאת, גלאי כזה אינו מכליל היטב. במקום זאת, Guard מתאמן על זוגות שההבדל היחיד ביניהם הוא ההזרקה עצמה, מה שעוזר לשפר את הדיוק (precision) של הגלאי. עבור כל זוג, Guard קורא בנפרד את הדף המותקף ואת התאום הנקי שלו, ומעניק לכל אחד מהם ציון לסבירות שהוא מכיל הזרקה. לעדכון המודל משמשות שתי פונקציות מטרה לאימון: פונקציית מטרת הסיווג הסטנדרטית, ופונקציית מטרת דירוג שמענישה את Guard אלא אם הדף המותקף מקבל ציון גבוה מזה של התאום שלו לפחות בפער קבוע. באופן אינטואיטיבי, מטרת הסיווג מלמדת את Guard איזו החלטה לקבל, ומטרת הדירוג קושרת את ההחלטה הזו להזרקה עצמה ומתעלמת מגורמי הסחה תמימים. כך Guard מאומן להגיב להזרקה עצמה, ולא לתוכן הדף שמסביבה.

Guard מורכב משני גלאים, שכל אחד מהם עבר כוונון עדין (fine-tuning) מ-Qwen3.5-0.8B. גלאי הטקסט קורא תצוגת טקסט אחת של דף: HTML, Markdown או עץ נגישות. הגלאי הרב-מודאלי קורא צילום מסך של הדף המלא. בסביבת הייצור, Guard קורא דף במעבר קדימה (forward pass) יחיד ומפיק ציון הזרקה, והדף מסומן אם הציון עובר סף מסוים. מכיוון של-Guard יש רק 0.8 מיליארד פרמטרים והוא מפיק ציון יחיד, הוא מהיר וזול מספיק כדי להריץ אותו על כל דף.

מדידת ביצועים

השווינו את Guard ל-18 מודלים שהונחו לזהות הזרקות, על תת-קבוצה מופרדת (held-out) של הבנצ׳מרק. אנו מדווחים על ארבעה מדדים, שנמדדו על BrowseSafe++:

• כיסוי (recall) הוא שיעור הדפים המוזרקים שהגלאי מסמן, והוא מודד כמה מתקפות הגלאי תופס, ולכן ערך גבוה יותר עדיף.
• שיעור התוצאות החיוביות השגויות (FPR) הוא שיעור הדפים הנקיים שהגלאי מסמן בטעות, והוא מודד באיזו תדירות הגלאי מתריע לשווא, ולכן ערך נמוך יותר עדיף.
• דייקנות (precision) היא שיעור הדפים שסומנו ואכן מכילים הזרקה, והיא מודדת באיזו תדירות התרעה נכונה, ולכן ערך גבוה יותר עדיף.
• F1 הוא הממוצע ההרמוני של הכיסוי והדייקנות; הוא גבוה רק כאשר גלאי תופס את רוב המתקפות ומעט מהסימונים שלו הם התרעות שווא.

אנו משתמשים ב-F1 כמדד העיקרי, שכן גלאי טוב צריך להפגין דייקנות וכיסוי גבוהים. כל ארבעת המדדים ממוצעים על פני שלוש תצוגות הטקסט.

הגדלה

הגדלה

השוואת מודלים

המודלים הקטנים בעלי המשקלים הפתוחים שבחנו נמצאו בתחתית. Mistral NeMo ו-Qwen3 30B-A3B מסמנים כל אחד כמחצית מהדפים הנקיים, ואילו Llama 3.1 8B כמעט אינו מסמן דבר ומחמיץ את רוב המתקפות. אפילו המודל החזק ביותר בקבוצה, GPT-OSS 20B, מגיע ל-F1 של 70.97% בלבד. DeepSeek V3.1, מודל בעל משקלים פתוחים גדול בהרבה, מצליח מעט יותר, עם F1 של 75.23%.

מודלי API קלים, כולל GPT-5.4 nano, Gemini 3.1 Flash-Lite ו-Claude Haiku 4.5, תופסים יותר מתקפות, עם רגישות (recall) של 85% עד 97%. אולם המחיר הוא שיעור גבוה של אזעקות שווא; ל-Gemini 3.1 Flash-Lite יש את ה-FPR הנמוך ביותר בקבוצה, 35.2%, וה-FPR של Haiku מגיע לכמעט 69%. כתוצאה מכך, ציון ה-F1 המרבי בקבוצה הוא 80.9%, והוא הושג על ידי Gemini 3.1 Flash-Lite.

המודלים הנותרים הם מודלים כלליים חזקים יותר, עם ציוני F1 שבין 85% ל-92%. עם זאת, הם עדיין נאלצים להתפשר בין כיסוי ל-FPR: מודלים שנוטים לזהירות חוסמים דפים לגיטימיים, ומודלים שמסמנים בתדירות נמוכה יותר מחמיצים מתקפות. ל-Claude Sonnet 5 יש הכיסוי הגבוה ביותר מבין כל הגלאים, 98.73%, אך FPR של 24.65%. Gemini 3.1 Pro ו-GPT-5.5 מגיעים לכיסוי של 97.78% ו-97.19%, עם FPR של 19.80% ו-20.44%, בהתאמה. ל-GPT-6 Astra יש הדיוק הכולל הגבוה ביותר, עם כיסוי של 96.42% ו-FPR של 14.41%. Decider במקום השני, עם כיסוי של 96.02% ו-FPR של 17.44%. ל-Claude Opus 5.5 יש ה-FPR הנמוך ביותר, 4.21% בלבד, אך הכיסוי שלו, 77.71%, פירושו שהוא מחמיץ יותר ממתקפה אחת מכל חמש. Claude Fable 5.1 נראה חזק בדפים שהוא עונה עליהם, עם כיסוי של 89.31% ו-FPR של 7.92%, אך הוא מסרב לענות בכ-30% מהדפים, ושורת “(all)” סופרת אותם כסימונים.

הגדלה

Guard מקדם את חזית פארטו ומשיג איזון טוב יותר בין מתקפות שהוחמצו להתרעות שווא. הוא מגיע ל-F1 של כ-95% ומדורג ראשון בכל תצוגת טקסט. הוא מסמן רק כדף נקי אחד מכל 20, כשליש מהשיעור של Astra, המדויק ביותר מבין המודלים מונחי הפרומפט. ההבדל הזה נובע מהאימון שלנו; מודל Qwen3.5-0.8B המקורי שעליו Guard מבוסס, כשהוא מונחה באותו אופן כמו המודלים האחרים, מגיע ל-F1 של 64% בלבד ומסמן כמעט שלושה מכל ארבעה דפים נקיים. בתרחיש תצוגת צילומי המסך, אנו משווים את הגלאי הרב-מודאלי של Guard לארבעה מודלים התומכים בתמונות. בהינתן צילומי מסך של דפים מלאים, Guard משיג F1 של כ-93%, לעומת כ-79% של הטוב ביותר מבין המודלים האחרים שבחנו.

זיהוי מתקפה אינו זהה לעמידה בפניה

באופן אינטואיטיבי, מודל שמסוגל לזהות נכון הזרקה אמור גם להתעלם ממנה כשהוא נתקל בדף במהלך ביצוע משימות של משתמשים. עם זאת, הניסויים שלנו מראים שציוני זיהוי גבוהים אינם מבטיחים שמודל יעמוד בפני מתקפה. נתנו לכל מודל את אותו דף מותקף פעמיים: פעם אחת כדי לקבוע אם הוא מכיל הזרקה, ופעם נוספת כדי לבצע את משימת המשתמש בלי לראות את ההכרעה הקודמת. שופט נפרד בדק אם המודל פעל לפי ההזרקה. כל המודלים שנבחנו עדיין פעלו לפי חלק מההזרקות שהם עצמם סימנו, מ-1.64% מהדפים שסומנו אצל GPT-6 Astra ועד 24.73% אצל Llama 3.1 8B.

הגדלה

ציוני זיהוי אינם מנבאים באופן אמין הבדלים בין מודלים. Claude Sonnet 5 ו-GPT-5.5 מזהים הזרקות ברמה דומה, עם ציוני F1 של כ-88% וכ-89%, בהתאמה. עם זאת, Sonnet 5 פעל לפי הזרקה שהוא עצמו סימן ב-19.74% מהדפים, פי עשרה מ-GPT-5.5, שעשה זאת ב-1.97%.

מערכת ניתנת לפריסה להגנה מפני הזרקות

תוצאות אלה מצביעות על כך שיש ערך בהאצלת ההחלטה לחסום דף למודל ייעודי, במקום להסתמך על המודל שמבצע את משימת המשתמש. גלאי נפרד שסורק כל דף לפני שהסוכן פועל מספק שכבת הגנה נוספת, ואין לו משימה שאפשר לחטוף או כלים שאפשר לנצל לרעה.

Guard נבנה כדי להיות הגלאי הזה. מלבד העובדה שיש לו את ציון ה-F1 ואת רמת הדיוק (accuracy) הגבוהים ביותר מבין כל המודלים שבדקנו, גודלו הקטן הופך אותו לזול מספיק כדי להריץ אותו על כל דף. בממוצע, Guard השתמש בכ-0.15 שניות של זמן GPU לכל דף טקסט. על H200 שכור, אנו מעריכים עלות של 0.18 דולר לכל 1,000 דפים, לעומת 18.95–180.61 דולר עבור מודלי ה-API המתקדמים ביותר (frontier) לפי המחירון. כך, בהשוואה שלנו, סינון תכוף נעשה זול בהרבה, תוך שמירה על ציוני זיהוי גבוהים.

האיור שלהלן מציג את הדיוק של כל גלאי ביחס לזמן העיבוד שלו לכל דף ולעלות שלו לכל 1,000 דפים, שניהם בסקאלה לוגריתמית. Guard ניצב לבדו בפינה השמאלית העליונה של שני הלוחות: הוא מנצח בדיוק, במהירות ובעלות. כל מודל מונחה פרומפט צורך כשנייה או יותר לכל דף, ושני המדויקים ביותר, GPT-6 Astra ו-Claude Fable 5.1, עולים יותר מ-100 דולר לכל 1,000 דפים.

הגדלה

בחינת הגנות מפני מתקפות אדפטיביות

לבנצ׳מרק BrowseSafe++ יש קבוצה סופית של הזרקות. עם זאת, תוקף אמיתי יכול לבצע מתקפה אדפטיבית: כשהזרקה נכשלת, התוקף יכול לשכתב אותה ולנסות שוב. כתוצאה מכך, סוכן שעומד בפני ההזרקה המקורית עדיין עלול להיות פגיע למתקפות עתידיות. יתרה מזאת, מודלים מאומנים על נתונים שנאספו מהאינטרנט, ולכן הם עשויים ללמוד לעמוד בפני רוב ההזרקות שבבנצ׳מרק; מכיוון שאנו מפרסמים את הבנצ׳מרק שלנו לציבור, סביר שהוא יגיע לרוויה ולא יבחין היטב בין מודלים. כדי לטפל בשתי הבעיות, בנינו את BrowseSafe-Adapt, סביבת בדיקה שבה מודל תוקף יכול לשכתב הזרקות. לכל בדיקה שלושה שלבים:

1. הגדרת המקרה. מקרה משלב רשומת BrowseSafe++ עם סוכן יעד. רשומת BrowseSafe++ כוללת תרחיש עם שאילתת משתמש ומשימה, דף מותקף והתוצאה שהתוקף מבקש להשיג. הסוכן פועל בתוך ארגז חול שמספק את הכלים והנתונים הסינתטיים הדרושים לביצוע המשימה. מודל מאמת נפרד בודק אם המתקפה השיגה את מטרתה.
2. הרצת ניסיון: אנו מכניסים את ההזרקה הנוכחית לדף ומאפשרים לסוכן לבצע את המשימה. המאמת בודק את תשובת הסוכן ואת כל השינויים שביצע בארגז החול כדי לקבוע אם המתקפה הצליחה. הניסיון הראשון משתמש בהזרקה מהרשומה המקורית ב-BrowseSafe++.
3. שכתוב וחזרה: אם מתקפה נכשלת, אנו מעבירים את הניסיון לארכיון, ומודל מבקר בוחן מה השתבש. מודל תוקף משתמש במשוב הזה כדי לשכתב את ההזרקה; הוא יכול לשנות את הניסוח, העיצוב או המיקום של המתקפה בדף. מטרת המתקפה, קריטריוני ההצלחה ותוכן הדף הסובב נשארים זהים. הניסיון הבא משתמש במתקפה המעודכנת. התהליך חוזר על עצמו עד שהמתקפה מצליחה או שהתוקף מגיע למגבלת ניסיונות שנקבעה.

הגדלה

בחנו שבעה סוכנים, שכל אחד מהם מבוסס על מודל אחר: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, ומודלי המשקלים הפתוחים DeepSeek V3.1 ו-Kimi K2. כל סוכן התמודד עם אותן 1,024 משימות, עם עד 64 ניסיונות לכל משימה. בניסיון הראשון, שיעור הצלחת המתקפות היה נמוך בכל שבעת הסוכנים. ההזרקות המקוריות הצליחו לכל היותר ב-4% מהמשימות שנבדקו, מול כל אחד מהסוכנים. במסגרת האדפטיבית, שיעור הצלחת המתקפות זינק באופן דרמטי. התוקף הצליח בלפחות 79% מהמשימות מול חמישה משבעת הסוכנים. גם הסוכנים החזקים ביותר היו פגיעים: המתקפות עדיין הצליחו בכשני שלישים מהמשימות מול GPT-5.5 ובכשליש מהמשימות מול Claude Sonnet 5.

ההבדל בין הסוכנים הוא הגדול ביותר כאשר מטרת התוקף היא לגרום לסוכן לבצע קריאה מסוימת לכלי. במשימות עם מטרה מסוג זה, Sonnet 5 נכנע בכ-8% מהמשימות ו-GPT-5.5 בכ-29%. חמשת האחרים ביצעו את מטרת התוקף ביותר ממחצית המשימות שלהם.

הרצנו גם את BrowseSafe-Adapt מול הסוכן של Gemini 3.5 Flash-Lite, כאשר Guard סורק כל דף מראש. Guard חסם 94.5% מההזרקות המקוריות וכמעט הכפיל את מספר הניסיונות הממוצע שנדרש לתוקפים, מ-9.7 ל-17.0. עם זאת, בהינתן כל 64 הניסיונות, התוקף עדיין הצליח ב-84.2% מהמשימות (93.6% ללא Guard), כמעט תמיד באמצעות הזרקה ש-Guard לא סימן. הדבר תואם את העמדה שהצגנו כשהשקנו את BrowseSafe: אף מודל זיהוי אינו פתרון קסם, ולכן גלאי חייב להיות חלק ממערך הגנה רב-שכבתי.

הגדלה

סיכום

סוכני דפדפן חשופים לעיתים קרובות להזרקת פרומפט עקיפה, שבה מתקפות המוסתרות בדפים רגילים מנסות לשבש את יכולתם של הסוכנים לבצע משימות של משתמשים. הסכנות רק גוברות עם הזמן, הן משום שסוכנים מקבלים גישה ליותר נתונים וכלים, מה שמגדיל את הנזק הפוטנציאלי של מתקפות, והן משום שתוקפים יכולים לשכתב את ההזרקות שלהם כדי להפוך אותן ליעילות יותר.

חבילת BrowseSafe שלנו נותנת מענה לאיומים האלה. הבנצ׳מרק BrowseSafe++ מכיל 38,675 צמדי דפי אינטרנט שנבנו בעיקר מהזרקות אמיתיות, ומאפשר אימון והערכה אמינים יותר של גלאים. גלאי BrowseSafe-Guard, שאומנו על הצמדים האלה, מאפשרים זיהוי מדויק מאוד, מהיר וזול, כך שניתן לסרוק דפים לפני שסוכן פועל לפיהם. מסגרת BrowseSafe-Adapt מאפשרת לבחון מודלים מול הזרקות משוכתבות, וחושפת פגיעויות שאולי לא היו ניכרות בניסיונות בודדים עם הזרקות קבועות.

אנו מקווים שיחד, הכלים האלה יקלו על חוקרים ומהנדסים לאתר כשלים ולשפר את ההגנות מפני מתקפות הזרקת פרומפט מבוססות-רשת. אנו גם מעריכים ומשפרים באופן רציף את ההגנות המובנות של Comet ושל Computer כדי לשמור על בטיחות המשתמשים שלנו.

תחילת העבודה

1. התקינו את ה-SDK וקבלו גישה לנתונים. ה-SDK מותקן מ-GitHub:

הגישה למערך הנתונים מוגבלת. בקשו גישה פעם אחת בדף ה-Hugging Face שלו, ולאחר מכן התחברו באמצעות hf auth login.

2. הגישו לטבלת המובילים. הריצו הערכה של הגלאי שלכם על קבוצת הבדיקה של BrowseSafe++:

הפעולה הזו כותבת החלטה אחת לכל דף עבור כל תצוגה שתציינו; ציינו את כל שלוש תצוגות הטקסט כדי לקבל ממוצע בלוח התוצאות של הטקסט. היכנסו ל-Space של לוח התוצאות עם חשבון ה-Hugging Face שלכם והעלו את predictions.jsonl. ה-Space מחזיר F1, דיוק (accuracy), שיעור חיוביים שגויים ושאר המדדים עבור כל תצוגה, ואם תבחרו בכך, גם מפרסם את התוצאה בלוח התוצאות. כל חשבון (שגילו 60 יום לפחות) מקבל הגשה אחת עם ציון בכל שבוע UTC. דפי הבדיקה מיועדים להערכה בלבד: אין לאמן עליהם או להפיץ אותם מחדש. מדריך ההגשה מפרט את פורמט הקובץ ואת כללי הפרסום.

ציטוט

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}