כיצד אנו מהנדסים סוכנים בטוחים יותר

כדי לבנות סוכני בינה מלאכותית בטוחים יותר, עלינו לעצב גם עבור היכולות שלהם וגם עבור הכשלים שלהם. גם בעת ביצוע משימות לגיטימיות, וללא כל הנחיות זדוניות, סוכנים עשויים לחצות גבולות אבטחה כשהם מנסים להתגבר על מכשולים.

אנו מאמינים כי זו בעיית הנדסת אבטחה, ועל התעשייה להתמודד איתה כפי שהתמודדה עם תולעי האינטרנט של תחילת שנות ה-2000. המערכות הסובבות סוכנים חייבות להגביל את מה שסוכנים יכולים לגשת אליו, לזהות התנהגות לא רצויה ולהכיל כשלים כאשר הם מתרחשים.

ב-Perplexity, אנו משתפים פעולה באופן פעיל עם חוקרים ומתרגלים כדי לקדם הנדסת אבטחה עבור סוכני בינה מלאכותית, ואנו מיישמים מספר שכבות הגנה על פני המודלים שלנו, harnesses של סוכנים והתשתית שלנו, כך שהאבטחה אינה תלויה באף אמצעי הגנה יחיד.

התנהגות התמוטטות של סוכני בינה מלאכותית

בחודש יולי, סוכני בינה מלאכותית פרצו לתשתיות הייצור של פלטפורמת הקוד הפתוח של בינה מלאכותית Hugging Face. במהלך הערכות אבטחת סייבר פנימיות וריצות אימון, מודלים של OpenAI גילו דרך לנצל את מנהל המאגרים Artifactory כדי להקים לוח מודעות לתקשורת זה עם זה, מה שאפשר להם להתארגן בנחילי סוכנים. מאוחר יותר, סוכנים שלא יכלו להתקדם במשימות במבחן השוואה של אבטחת סייבר גייסו סוכנים אחרים שיעזרו. סוכנים אלו פרצו החוצה מסביבת ההערכה שלהם והגיעו לאינטרנט. הם גם גילו דרכים לרמות באמצעות הנדסה חוזרת של תשובות למשימות המבחן, אך חשבו שמערכת הדירוג תזהה את המרמה. כדי להבין טוב יותר כיצד עבדה הערכת המבחן כדי למצוא דרכים להימנע מזיהוי כמרמה, הם לבסוף פגעו במערכות Hugging Face (Hugging Face; OpenAI).

האירוע הוא דוגמה ברורה למצב כשל שתיארנו כאשר הפכנו את Numbat לקוד פתוח ביולי: התמוטտויות מקריות, מונח שטבעו חוקרי אבטחה מ-Cornell Tech (arXiv). סוכן המרדף אחר מטרה לגיטימית נתקל בחיכוך, כגון קובץ חסר, קריאת API שנכשלה, פרט התחברות שפג תוקפו, או דחיית הרשאה, ויוצא לחפש דרך עקיפה. בכך, הוא עשוי לחצות גבולות אבטחה באמצעות סיור, הסלמת הרשאות, גילוי סודות, או הוצאת נתונים. הסוכן עצמו הופך למעשה ליריב, אף על פי שאין הנחיה זדונית או תוקף חיצוני מעורבים.

Hugging Face לא היו מקרה בודד. התנהגויות נוספות של התמוטטות סוכנים התגלו ודווחו בשבועות האחרונים. ב-27-28 במאי, סוכנים שניסו לאסוף נתונים של אוניברסיטת איווה מ-Data USA, פלטפורמה המציעה גישה פתוחה לנתוני ממשלת ארה"ב, נתקלו בשגיאות שנגרמו על ידי שאילתה מעוותת. הם הגיבו בבדיקות, כולל הזרקת SQL, סקריפטים חוטי-אתרים (XSS), הזרקת תבניות, מעבר נתיבים והזרקת פקודות. הפעילות קושרה בהמשך ל-OpenAI (SecurityWeek). ב-20-21 ביוני, סוכנים של OpenAI שניסו להשיג עלויות ממשלתיות לנפש עבור קטגוריית תרופות באזורים מקומיים בוויקتورיה מטעם המכון האוסטרלי לבריאות ולרווחה (AIHW) נחסמו מהורדת קובץ. בתגובה, סוכנים הורדו את הקובץ, שהיה כבר ציבורי, משרת הטרום-ייצור של ה תוך עקיפת הגנות האנטי-בוט של האתר בתהליך (SecurityWeek).

הדפוס אינו מוגבל למעבדה אחת. במהלך בדיקות אבטחת סייבר, מודלים של Anthropic פרצו לשלושה ארגונים לאחר ששגיאה העניקה לו גישה פתוחה לאינטרנט, Gemini של Google ניחש פרטי התחברות לשלושה אתרים, ומודל של Meta ניצל שירות צד שלישי (Reuters).

למידה מההיסטוריה: עידן תולעי האינטרנט

אירועים אלו מזכירים את עידן תולעי האינטרנט לפני כרבע מאה. בתחילת שנות ה-2000, האינטרנט צמח מהר הרבה יותר מפרקליקות האבטחה סביבו. ראינו גל של וירוסים ותולעים, עם השלכות חמורות בהרבה ממה שאנו רואים כעת עם סוכני בינה מלאכותית בהתמוטטות.

ב-4 במאי 2000, אנשים החלו לקבל הודעות דוא"ל משולחים מוכרים עם נושא "ILOVEYOU". פתיחת הקובץ המצורף בדוא"ל הביאה להרצת סקריפט ששלח עותק של עצמו לכל אחד בפנקס הכתובות של Outlook של הקורבן. עד השעה 18:00 באותו יום, מרכז התיאום של CERT קיבל דיווחים שכללו למעלה מ-420,000 מארחי אינטרנט (דוח GAO של ארה"ב). הוירוס חדר על פי הדיווחים לפחות ל-14 סוכנויות פדרליות, כולל משרד ההגנה, ה-CIA, נאס"א, ובית הנבחרים והסנאט (דוח GAO של ארה"ב). הוא גם השבית שרתי דוא"ל בפנטגון ובפרלמנט הבריטי (Wired). ענקית הביטוח Lloyd's of London העריכה בשלב מוקדם שהוירוס יעלה למעלה מ-15 מיליארד דולר בנזקים ואובדן פרודוקטיביות (שימוע של ועדה בבית הנבחרים האמריקאי). Computer Economics העריכה בהמשך נזקים בסך 8.75 מיליארד דולר ברחבי העולם (Information Week).

תולעים שלא דרשו שום קליק אנושי הגיעו לאחר מכן. ב-19 ביולי 2001, תולעת Code-Red הדביקה יותר מ-359,000 מחשבים בפחות מ-14 שעות (CAIDA). ב-25 בינואר 2003, SQL Slammer הכפילה את גודלה כל 8.5 שניות והדביקה יותר מ-90% ממארחי האינטרנט הפגיעים אליה תוך 10 דקות (CAIDA), תוך ניצול פרצה שעבורה מיקרוסופט שיחררה תיקון שישה חודשים קודם לכן (CNET). באוגוסט 2003, תולעת Blaster ותולעת הדוא"ל Sobig הופיעו בהפרש של כשבוע זו מזו (Microsoft, F-Secure).

באותה תקופה, היה סביר לשאול האם ניתן כלל להפוך מחשבים מרושתי רשת לבטוחים. שישה ימים לאחר וירוס ILOVEYOU, תת-ועדה של בית הנבחרים האמריקאי קיימה דיון בנושא. מומחי אבטחה רבים קראו לחקיקה שתטיל אחריות על חברות תוכנה בגין נזקים שנגרמו עקב פגמים במוצריהם. וושינגטון בחרה בנתיב אחר. האסטרטגיה הלאומית לאבטחת מרחב הסייבר ציינה כי "רגולציה פדרלית לא תהפוך לאמצעי מרכזי לאבטחת מרחב הסייבר". היא הזהירה כי מנדטים רחבים עלולים ליצור "גישת מכנה משותף נמוך ביותר לאבטחת סייבר" (CISA).

התעשייה השיבה בהנדסה. אחד עשר ימים לאחר ILOVEYOU, מיקרוסופט הכריזה על עדכון Outlook שחסם קבצים מצורפים הניתנים להפעלה. בינואר 2002, החברה הפכה את האבטחה לעדיפות עליונה (Seattle Times). תיקון אוטומטי, ברירות מחדל מאובטחות, תוכניות באג באונטי וגילוי מתואם הפכו לפרקליקה סטנדרטית. ב-2008, Chrome החל להריץ תוכן אינטרנט בארגז חול ש"מגביל את מה שתוקף יכול לעשות לאחר ניצול פגמים" (בלוג Chromium). הצפנה, שהייתה פעם יוצאת דופן, הפכה לברירת המחדל. טכנולוגיות אבטחה, כולל אימות רב-שלבי, חומות אש, אפס אמון, וניהול מידע ואירועי אבטחה (SIEM), הפכו לנפוצות בשימוש. ארגונים ברחבי העולם צפויים להוציא כ-240 מיליארד דולר בשנת 2026 על אבטחת מידע (Gartner). תולעים מעולם לא נעלמו לחלוטין, אך עידן ההתפרצויות השגרתיות בכל רחבי האינטרנט דעך. במקביל, האינטרנט, ללא הפרעה רבה מצד רגולציה, הפך למנוע רוצמאי של חדשנות וצמיחה כלכלית במהלך שני העשורים הבאים.

הנדסת אבטחה עבור סוכני בינה מלאכותית

אירועים אחרונים העלו שאלות לגיטימיות לגבי ממשל סוכנים. מנגנוני אבטחה קיימים פותחו עבור סביבות מחשב קדם-סוכנות שcharacterized by tightly scoped and largely deterministic software behavior. מנגנוני בקרת גישה, בפרט, מתוכננים בעיקר סביב משתמשים אנושיים ולעתים קרובות מעניקים להם הרשאות רחבות שהן, עקרונית, מספיקות כדי לגרום לנזק משמעותי.

עיצוב זה נשען על מספר הנחות: רוב המשתמשים פועלים בתום לב; שחקנים זדוניים יכולים להיות מורתעים באמצעות ביקורת ותוצאות בעולם האמיתי; ובני אדם נוקטים בפעולות, בין אם נכונות ובין אם שגויות, בקצב מוגבל יחסית. החלת מנגנוני אבטחה אלו על סוכנים מחייבת התחשבות בהבדלים בין התנהגות אנושית להתנהגות סוכנים. כפי שכתבנו ב תגובתנו לבקשת המידע של NIST בנושא אבטחת סוכני בינה מלאכותית, סוכני בינה מלאכותית מאתגרים הנחות אלו. הם יכולים להפעיל הרשאות ולנקוט פעולות במהירות המכונה, אינם מורתעים בעצמם מתוצאות בעולם האמיתי, ועשויים לנקוט פעולות המותרות מבחינה טכנית אך שמשתמש אנושי טיפוסי היה נוקט לע نדי רחוק.

מענה על שאלות אלו דורש הנדסת אבטחה. אנו יודעים את עקרונות האבטחה לבניית מערכות השומרות על הסיכונים בשליטה כאשר רכיבים בודדים מתנהגים שלא כהלכה. אך עלינו לוודא שעקרונות אלו מיושמים בעת הנדסת הסביבות לאימון, בדיקה ושימוש בסוכני בינה מלאכותית.

עקרון האבטחה של הגנה לעומק

עקרון האבטחה החשוב ביותר שצריך ליישם לאבטחת סוכני בינה מלאכותית הוא הגנה לעומק, הדוגל בארכיטקטורת אבטחה רב-שכבתית, שבה משתמשים במספר אמצעי הגנה מרובים, מגוונים ויתירים כדי להגן על משאבי המערכת. אף אמצעי הגנה אינו מושלם. אנשים עלולים ליפול קורבן להתקפות הנדסה חברתית ולחשוף את פרטי ההתחברות שלהם, פ vulnerabilities תוכנה מסוג אפס-יום מתגלות ומנוצלות, וזיהוי פריצות מפספס וריאנטים חדשים של התקפה. הגנה לעומק מקבלת זאת ומערמת מספר שכבות הגנה עצמאיות. אם שכבת הגנה אחת נעקפת, שכבות אחרות נותרות במקומן כדי לבלום או לזהות את החדירה.

אירוע Hugging Face מראה מדוע הגנה לעומק חשובה. הדו

אבטחת סוכני בינה מלאכותית מחייבת שיפור הן של הבטיחות והן של האבטחה של מודלי בינה מלאכותית ושל המערכות הסובבות אותם. עבודה בשכבת המודל חשובה, והיא נושאת פרי. LLMs מוקדמים היו ניתנים למניפולציה בקלות על ידי הנחיות מוזרקות, בעוד שהמודלים של היום טובים משמעותית בזיהוי ובדחייה שלהם. מפתחי מודלים גם מאמנים מודלים להתנהגות בטוחה יותר, וכמתואר בסיכום של OpenAI, מנטרים עקבות הנמקה לאיתור סימנים של התנהגות בעייתית. אך הגנות ברמת המודל הן רק חלק מהפתרון. המערכות שבהן סוכנים מאומנים, נבדקים ונפרסים חייבות להיות מהונדסות גם עבור אבטחה והכלה. בטיחות ברמת המודל מפחיתה את הסבירות שסוכן יסטה מדרכו; אבטחה ברמת המערכת מגבילה את הנזק כאשר הדבר קורה.

הגדלה

כללי עיצוב עבור אמצעי הגנה יתירים

הגנה לעומק דורשת אמצעי הגנה יתירים. עבור סוכנים, אנו דוגלים ביישום זאת באמצעות שלושה כללי עיצוב:

1. עצמאות. כל שכבה צריכה להיכשל מסיבות עצמאיות. שני בקרים שחלקיים אותה הנחה יכולים להיות מובסים על ידי אותה התקפה. צגים ונקודות אכיפה צריכים לשבת מחוץ להישג ידו של הסוכן.
2. אכיפה מתחת לסוכן. לפחות שכבה אחת חייבת להיות דטרמיניסטית: קוד קונבנציונלי וניתן לאימות החוסם פעולות אסורות לא משנה מה המודל מייצר. אמצעי הגנה שהסוכן יכול לסרב להפעיל, או להגדיר מחדש, אינו אמצעי הגנה.
3. אותיות יכולות לצמצם הרשאה בלבד. זיהוי צריך לעורר תגובות המצמצמות את מה שהסוכן יכול לעשות, כגון השהיה, ביטול פרטי התחברות, ניתוק גישה לרשת או סיום ההפעלה. שום אות סיכון לעולם אינו צריך להעניק גישה נוספת.

אנו חולקים עקרונות אלו עם שותפינו ב- Open Secure AI Alliance, כולל NVIDIA, שטענה כי ה-harness מכוון את מה שהסוכן מנסה לעשות בעוד שהתשתית שולטת במה שהוא יכול לעשות (NVIDIA).

הגנה לעומק במוצרי Perplexity

Perplexity מריצה סוכנים בארבעה סוגי סביבות: בענן דרך פלטפורמת הסוכנים שלנו Computer, בדפדפן דרך Comet, במכשירי משתמשים דרך Portable Computer, ובמחשבים הניידים של העובדים, שבהם המהנדסים שלנו משתמשים בסוכני כתיבת קוד של צד שלישי. לכל סביבה יש סיכונים משלה, וכל אחת מקבלת מספר שכבות הגנה.

בענן: Computer ו-SPACE

כל משימת Computer פועלת ב-SPACE, פלטפורמת ארגז החול שלנו, המתייחסת לסוכן כבלתי מהימן כברירת מחדל. כל משימה מקבלת מיקרו-VM משלה, פרטי התחברות נשארים מחוץ לארגז החול ומוזרקים רק בעת הצורך, תעבורה יוצאת מנוהלת מחוץ לאורח, ותמונות מצב מאפשרות לנו לבטל שינויים הרסניים (יצירת SPACE). לקוחות ארגוניים יכולים גם להביא מפתחות הצפנה משלם. ביטול מפתחות הופך את הנתונים המוגנים לבלתי קריאים, והסוכן לא יכול לדרוס החלטה זו.

אנו בודקים גם האם שכבות אלה מחזיקות מעמד. ב-בריחת מחדל SPACE: חלק א', הענקנו לתשעה מודלים חלוציים גישת שורש בתוך ארגז חול של SPACE וביקשנו מהם לפרוץ החוצה. אף אחד מהם לא ברח מה-VM, אך חלקם מצאו דרכים לעקוף את מדיניות הרשת כאשר ניתנה גישה חלקית לרשת. תיקנו פערים אלה, אימתנו את התיקונים בבдиקה חוזרת, וחשפנו חולשות דומות שמצאנו בשמונה מתוך עשר פלטפורמות ארגז חול אחרות לספקים שלהן.

בדפדפן: Comet ו-BrowseSafe

Comet משתמש בהגנה שכבתית מפני הזרקת הנחיות מאז ההשקה: מסננים סורקים תוכן אחזור, הנחיות מובנות מסמנות אותו כבלתי מהימן, פעולות רגישות כגון שליחת דוא"ל או ביצוע הזמנה דורשות את אישור המשתמש, והמשתמשים מקבלים הודעה כאשר משהו נחסם (הגנות Comet מפני הזרקת הנחיות). BrowseSafe, מודל הזיהוי בקוד פתוח שעומד מאחורי השכבה הראשונה, עולה בביצועיו על מודלים חלוציים במדד הייחוס BrowseSafe-Bench שלנו, אך אותו מדד ייחוס מראה שאף גלאי אינו חסין מפני כשלים, ולכן זיהוי אינו לעולם השכבה היחידה (מחקר BrowseSafe). Computer יורש הגנות אלו, אשר עברו ביקורת על ידי Trail of Bits (Perplexity).

במכשיר: Portable Computer

Portable Computer הוא סוכן מקומי-קודם: המודל, ה-harness, השיחה והמסלול נשארים במכונה של המשתמש כברירת מחדל. תזמור דטרמיניסטי, שהוא קוד harness ולא LLM, מריץ את הלולאה ואוכף מדיניות. המודל מציע פעולות, וקריאות כלים מאושרות פועלות בארגז חול ברמת מערכת ההפעלה המגביל תהליכים, נתיבי קבצים וגישה לרשת. ארגז החול פועל תמיד ומכוון לסגירה: אם אינו זמין, הharness משבית את עצמו במקום להריץ פקודות עם ההרשאות של המשתמש. פעולות החוצות את גבול המכשיר, כגון חיפוש באינטרנט, מחברים והסלמה למודל יועץ ענן חזק יותר, מתרחשות רק כאשר המשתמש מאפשר ומאשר אותן. לפני קריאת יועץ, מסנן PII מסמן מידע רגיש והמשתמש רואה מה יישלח. היועץ מקבל רק את ההקשר המאושר הזה ומחזיר הנחיות טקסטואליות, ללא גישה לקבצים או לכלים של המכשיר.

בקצה: Numbat

סוכני כתיבת קוד במחשבי הנייד של מפתחים פועלים במשך שעות עם גישה לקוד מקור, פרטי התחברות ומערכות ייצור. Numbat, חבילת אבטחת הסוכנים בקוד פתוח שלנו, מוסיפה שכבה עצמאית שיושבת מחוץ לכל סוכן בודד. היא פועלת עם harnesses כמו Claude Code, Codex, OpenCode, ו-Pi, חוסמת פעולות מסוכנות לפני ריצתן, מסמנת רצפים חשודים מרובי-שלבים כגון קריאת סוד ולאחר מכן שליחת נתונים החוצה, ושומרת על צירי זמן של ההפעלה לצורך חקירה. Numbat פועל באלפי נקודות קצה של Perplexity לצד Bumblebee, סורק שרשרת האספקה בקוד הפתוח שלנו. Computer סוקר באופן קבוע את ממצאיהם ומציע כללי זיהוי משופרים, ואדם מאשר כל שינוי לפני שהוא מופץ.

משימה עבור התעשייה כולה

ככל שסוכני בינה מלאכותית הופכים ליכולים יותר ונפוצים יותר בשימוש, הנדסת האבטחה חייבת להישאר מרכזית לפיתוח ולפריסה שלהם. חוקרים ומהנדסים יכולים להתבסס על עקרונות מבוססים, להשתמש בממצאים מהעולם האמיתי כדי לשפר הגנות, ולבדוק אמצעי הגנה על פני הסביבות שבהן סוכנים פועלים. אבטחה היא דיסציפלינה הנדסית מתמשכת המתפתחת לצד הטכנולוגיה.

הנדסת אבטחה עבור סוכנים היא משימה עבור התעשייה כולה. אף חברה יחידה אינה שולטת במחסנית המלאה שבה פועל סוכן. מפתחי מודלים, בוני harnesses, ספקי ארגזי חול וסביבות ריצה, ספקי ענן וחומרה, וצוותי אבטחה ארגוניים מחזיקים כל אחד בשכבה משלו. הבטיחות של המערכת כולה תלויה בכך שכל שכבה תחזיק מעמד כאשר שכבה אחרת מועדת. זו הסיבה שאנו בונים אמצעי הגנה הפועלים על פני harnesses של סוכנים והופכים את הכלים שלנו לקוד פתוח. זו גם הסיבה שאנו חושפים את החולשות שאנו מוצאים בפלטפורמות אחרות ולוקחים חלק במאמצים כגון Open Secure AI Alliance.

כדי לעבוד עם הקהילה הרחבה יותר על אתגרים אלה, Perplexity השיקה את מכון הבינה המאובטחת (Secure Intelligence Institute) במרץ 2026 כדי ללמוד את האבטחה, המהימנות וההגנה המעשית של מערכות בינה מלאכותית מתקדמות (Perplexity). Perplexity משתפת פעולה כעת ו/או מממנת חוקרים אקדמיים בסטנפורד, CMU, דיוק, קולומביה, אוהיו סטייט ואוניברסיטת וירג'יניה. אנו עורכים גם מחקר פנימי כדי לקדם את חזית מחקר אבטחת הסוכנים, לתרגם התקדמויות אלו לשיפורים מוחשיים במערכות של Perplexity, ולחלוק ידע ומששאבים המסייעים לחזק את האקוסיסטם הרחב יותר של הבינה המלאכותית. סוכנים בטוחים יותר הם דבר שהתעשייה יכולה להנדס. אנו מתכוונים להמשיך לעשות את חלקנו, ואנו מזמינים אחרים לבנות איתנו.