כיצד בנינו אבטחה לתוך Comet מהיום הראשון

Comet מעניק לעוזרים מבוססי בינה מלאכותית יכולות עוצמתיות לגלוש באתרי אינטרנט, לקיים אינטראקציה עם תוכן ולהשלים משימות מורכבות בשם המשתמשים. יכולות אלו דורשות אמצעי הגנה עוצמתיים לא פחות. לפני השקת Comet לציבור, שכרנו את שירותי Trail of Bits כדי לבצע בדיקות מאמץ להגנות שלנו באמצעות ביקורות פורמליות. העבודה שלהם סייעה לנו לזהות פגיעות ולחזק את אמצעי המיטיגציה שלנו לפני שמשתמשים החלו להסתמך על Comet למשימות רגישות.

בניית הגנה מהיסוד

התקפות הזרקת הנחיות (Prompt injection) מתפתחות כל העת, וההגנה מפניהן דורשת גישה רב-ש שכבתית. ידענו מההתחלה שמנגנון הגנה יחיד לא יספיק. העיקרון המרכזי שלנו פשוט: הגנות חופפות מבטיחות שאם שכבה אחת נעקפת, שכבות אחרות נשארות כדי לשמור על בטיחות המשתמשים. כך אנו מיישמים זאת הלכה למעשה.

מסע האבטחה שלנו: אבני דרך עיקריות

אפריל 2025: ביקורת אבטחה טרום-הדחה

לפני השקת Comet לציבור, שכרנו את Trail of Bits כדי לבצע מידול איומים שיטתי של הארכיטקטורה שלנו. הצוות שלהם בחן תרחישי התקפה אמיתיים, תוך ניסיון לעקוף את ההגנות שלנו באמצעות טכניקות שיריבינו עשויים להפעיל בשטח. הביקורת זיהתה פערים ספציפיים במערכת ההגנה שלנו והתחילה תהליך תיקון איטרטיבי. שיפרנו את אמצעי המיטיגציה וסגَرנו פגיעויות לפני שהן יכלו להשפיע על משתמשים.

אוקטובר 2025: פרסום ארכיטקטורת ההגנה שלנו

פרסמנו פוסט טכני מפורט המסביר את מסגרת ארכיטקטורת ההגנה בעלת ארבע השכבות שלנו ואת ההיגיון שמאחורי כל רכיב. הפוסט פירט סוגי התקפות ספציפיים שאנו מתגוננים מפניהם, החל מהזרקות HTML ו-CSS נסתרות וכלה בבלבול תוכן וחטיפת יעדים. כמו כן, הודענו על תוכנית הבאג באונטי שלנו, והזמנו חוקרי אבטחה לבדוק את ההגנות שלנו ולדווח על פגיעויות. שקיפות הייתה תמיד מרכזית לגישת האבטחה שלנו: אנו מאמינים ששיתוף המתודולוגיה שלנו מחזק את תעשיית הבינה המלאכותית כולה.

דצמבר 2025: פתיחת קוד המקור של BrowseSafe

האבטחה משתפרת כאשר כל קהילת הבינה המלאכותית יכולה ללמוד ממחקר משותף. שחררנו את BrowseSafe, מודל הניטור ובנצ'מרק ההערכה שלנו, ככלי קוד פתוח. BrowseSafe-Bench כולל 14,719 דוגמאות המכסות 11 סוגי התקפות, 9 אסטרטגיות הזרקה ו-3 סגנונות לשוניים. על ידי פרסום המתודולוגיה ומערכי הנתונים שלנו, אנו עוזרים למפתחי בינה מלאכותית אחרים לבנות מערכות בטוחות יותר ותורמים לתקני אבטחה כלל-תעשייתיים. התגובה מקהילת המפתחים הייתה מעודדת, כאשר צוותים כבר משתמשים ב-BrowseSafe כדי לשפר את אבטחת העוזר החכם שלהם.

מה שלמדנו

בניית אבטחה עבור עוזרי בינה מלאכותית לימדה אותנו לקחים קריטיים על נוף האיומים המתפתח. בדיקות יריב חיצוניות חושפות נקודות עיוורות שצוותים פנימיים יכולים לפספס, לא משנה כמה הם מוכשרים. מידול איומים אינו תרגיל חד-פעמי אלא דיסציפלינה מתמשכת שחייבת להתפתח ככל ששכלול טכניקות ההתקפה מתקדם. חשוב מכל, אבטחה דורשת שיתוף פעולה ברחבי התעשייה. על ידי שיתוף המחקר שלנו, מעורבות מומחים חיצוניים ותרומה לתקנים פתוחים, אנו עוזרים לבנות אקולוגיה בטוחה יותר.

המחויבות המתמשכת שלנו

אנו מקיימים הערכות אבטחה סדירות ככל ש-Comet מתפתח, ומבטיחים שתכונות חדשות עוברות בחינה מדוקדקת לפני השקה. כדי לעזור להפחית מידע שגוי במחקר אבטחה של בינה מלאכותית, אנו משקיעים בפרקטיקות הערכה חסונות ובדיווח שקוף כך ממצאים על הגנות Comet יהיו מדויקים, ניתנים לשחזור, ולא מעוותים על ידי טענות אבטחה סנסציוניות או חלקיות.

הצוות שלנו מפעיל גם תוכנית חשיפת פגיעויות משגשגת ותוכנית פרסי באגים פרטית, המזמינה חוקרי אבטחה מכל מקום לבדוק את ההגנות שלנו. ככל שעוזרי בינה מלאכותית הופכים ליכולים יותר ומטפלים במשימות רגישות יותר ויותר, השקעות האבטחה שלנו ימשיכו לגדול בהתאם.