בניית דפדפני AI בטוחים יותר באמצעות BrowseSafe

היום אנו משחררים את BrowseSafe, מודל מחקר פתוח לזיהוי תוכן שמטרתו לשמור על בטיחות המשתמשים כשהם מנווטים ברשת המבוססת על סוכנים (agentic web).

ככל שעוזרי ה-AI עוברים מתיבות חיפוש אל תוך הדפדפן עצמו, אנו מצפים שהדור הבא של האינטרנט יעבור מעמודים לסוכנים: פחות עיסוק בשאלה היכן המידע נמצא, ויותר עיסוק בשאלה מי שולף אותו ופועל לפיו. Comet הופכת את הדפדפן למקום שבו עוזר יכול לבצע משימות, ולא רק לענות על שאלות; לכן עיקרון אחד אינו ניתן למשא ומתן: עליו להישאר תמיד בצד של המשתמש.

BrowseSafe: הגנה על סוכנים ומשתמשים באמצעות סריקת תוכן בזמן אמת

BrowseSafe הוא מודל זיהוי שעבר כוונון עדין כדי לענות על שאלה ממוקדת אחת: בהינתן קוד ה-HTML של עמוד, האם הוא מכיל הוראות זדוניות המכוונות כלפי הסוכן? מודלים כלליים גדולים יכולים להסיק מסקנות היטב במקרים כאלה, אך לרוב הם איטיים ויקרים מדי מכדי להריץ אותם על כל עמוד. BrowseSafe סורק עמודי אינטרנט שלמים בזמן אמת מבלי להאט את הדפדפן. אנו משחררים גם את ערכת ההערכה BrowseSafe‑Bench כמשאב להערכה ולשיפור של יעילות ההגנה.

גבולות אמון והגנות רב-שכבתיות

עם זאת, דור חדש של גלישה מבוססת AI פירושו גם דור חדש של איומי סייבר הדורשים גישות חדשניות לשמירה על בטיחות המשתמשים. בפוסט קודם, סקרנו כיצד Comet משתמשת בשכבות הגנה מרובות כדי לשמור על העוזר ממוקד בביצוע בקשות המשתמש, גם כאשר אתר אינטרנט מנסה לחטוף אותו באמצעות הזרקת הנחיות (prompt injection). היום אנו מתמקדים בדרך שבה אנו מתמודדים עם בעיה זו: כיצד איומים אלו מוגדרים, נבחנים מול התקפות מהעולם האמיתי, ומשמשים לאימון מודלים ייעודיים שיכולים לזהות ולעצור הוראות פסולות מהר מספיק כדי לפעול בבטחה בדפדפן.

כיצד פועלת הזרקת הנחיות בדפדפן

הזרקת הנחיות היא שפה זדונית המוטמעת בטקסט שקורא ה-AI, והיא מתוכננת לעקוף את הכוונה המקורית שלו. בדפדפן, סוכנים קוראים עמודים שלמים, ולכן התקפות יכולות להסתתר במקומות כמו תגובות, תבניות או כותרות תחתונות ארוכות.

תוקפים משתמשים בנקודות הללו כדי להחדיר הוראות שמפנות את הסוכן הצידה בשקט. מכיוון שהוא קורא הכל, כולל תוכן שרוב האנשים כלל אינם שמים לב אליו, הודעות אלו יכולות לחטוף את התנהגותו ללא הגנות חזקות.

התקפות אלו נמנעות לרוב מביטויים בולטים לעין ויכולות להיות כתובות בטקסט מהוקצע או רב-לשוני, או להיות ממוקמות באלמנטים של HTML של לעולם אינם מוצגים על המסך, כגון מאפייני נתונים (data attributes) או שדות טופס שהדפדפנים אינם מציגים באופן חזותי אך הסוכנים עדיין מנתחים.

BrowseSafe-Bench: קידום אבטחת סוכנים בסביבות בעולם האמיתי

כדי ללמוד על התקפות אלו בסביבה המדמה את האינטרנט האמיתי, בנינו את BrowseSafe, מודל זיהוי שאמנו ושחררנו כקוד פתוח, ואת BrowseSafe‑Bench, מדד ייחוס ציבורי המכיל 14,719 דוגמאות המחקות עמודי ייצור (production). הוא כולל HTML מורכב, תוכן רועש, ושילוב של דוגמאות זדוניות ולא מזיקות המשתנות לאורך שלושה צירים: מה שהתוקף מנסה לעשות, היכן ממוקמת ההוראה בעמוד, וכיצד השפה כתובה.

מדד הייחוס כולל 11 סוגי התקפות, תשע אסטרטגיות הזרקה המשתרעות משדות נסתרים ועד פסקאות וכותרות תחתונות גלויות, ושלושה סגנונות לשוניים, החל מפקודות מפורשות וכלה בטקסט עקיף ומוסווה.

גישת הגנה לעומק (Defense in depth)

במודל האיומים שלנו, העוזר עצמו פועל בסביבה מהימנה, אך כל מה שמגיע מהאינטרנט אינו מהימן. תוקפים עשויים לשלוט באתרים שלמים או פשוט להזריק תוכן, כגון תיאורי מוצרים, תגובות ופוסטים אל תוך עמודים שחיקים אחרים שהעוזר מבקר בהם. כדי לנהל סיכון זה, כלים שיכולים להחזיר תוכן בלתי מהימן, כגון עמודי אינטרנט, הודעות דוא"ל או קבצים, מסומנים, והפטיטים הגולמיים שלהם נסкрим תמיד על ידי BrowseSafe לפני שהסוכן יכול לקרוא אותם או לפעול לפיהם.

BrowseSafe היא שכבה אחת בגישת הגנה רחבה יותר. תוכן גולמי נסרק לפני השימוש, הרשאות הכלים מוגבלות כברירת מחדל, ופעולות רגישות עשויות לדרוש אישור מפורש מהמשתמש, והכל בנוסף לתכונות אבטחת הדפדפן הקיימות. הגנה לעומק מאפשרת למשתמשים לאמץ עוזרי דפדפן עוצמתיים מבלי להקריב את הבטיחות לטובת יכולות.

מה משפיע על יעילות ההתקפה?

תוצאות ההערכה ב-BrowseSafe‑Bench מציגות דפוסים ברורים. התקפות ישירות, כגון בקשה מהסוזר לחשוף את הנחיית המערכת (system prompt) שלו או להוציא מידע באמצעות מקטעי URL, הן מהקלות ביותר לזיהוי עבור מודלים. בניגוד לכך, התקפות רב-לשוניות ואלו הכתובות כהוראות עקיפות או היפותטיות קשות משמעותית, משום שהן נמנעות ממילות המפתח המובהקות שמודדי זיהוי רבים מתבססים עליהן באופן משתמע.

גם המיקום משנה. התקפות המוסתרות בתגובות מזוהות היטב יחסית, בעוד שגרסאות שנכתבו מחדש בכותרות תחתונות גלויות, תאי טבלאות או פסקאות בתוך השורה מתגלות כקשות הרבה יותר, מה שחושף הטיה מבנית כלפי הזרקות "נסתרות". אימון קפדני על דוגמאות מעוצבות היטב יכול לשפר משמעותית את יכולתם של מודלים לזהות דפוסים אלו.

בניית סוכנים בטוחים יותר בעזרת BrowseSafe

BrowseSafe ו-BrowseSafe-Bench הם בקוד פתוח מלא. כל מפתח שבונים סוכנים אוטונומיים יכול לחסן באופן מיידי את המערכות שלהם מפני הזרקת הנחיות – ללא צורך בבניית מסילות בטיחות מאפס. מודל הזיהוי פתוח-המשקולות (open-weight) פועל באופן מקומי ומסמן הוראות זדוניות לפני שהן מגיעות ללוגיקת הליבה של הסוכן שלך, במהירות המספקת לסריקת כל עמוד מבלי להאט את המשתמשים.

השתמש בלמעלה מ-14,000 תרחישי התקפה מהעולם האמיתי של BrowseSafe-Bench כדי לבחון בעומס את המודלים שלך מול מלכודות ה-HTML המבולגנות ששובקות מודלי שפה גדולים סטנדרטיים (LLMs). טכניקות החיתוק (chunking) והסריקה המקבילה שלנו מאפשרות לסוכנים לעבד עמודים עצומים שאינם מהימנים ביעילות – יכולות גלישה עוצמתיות מבלי לחשוף משתמשים לסכנה. למידע נוסף על האופן שבו בנינו את BrowseSafe ואת BrowseSafe-Bench, עיין בבלוג המחקר של Perplexity.