BrowseSafe++: Δημιουργώντας ισχυρότερες άμυνες κατά της έγχυσης εντολών στον πραγματικό κόσμο

Οι πράκτορες που μπορούν να περιηγούνται στο διαδίκτυο, όπως ο βοηθός που είναι ενσωματωμένος στο Comet ή στο Computer, πρέπει να αλληλεπιδρούν με ιστοσελίδες, διαβάζοντας περιεχόμενο και χρησιμοποιώντας το για να εκτελούν ενέργειες εκ μέρους των χρηστών τους. Αυτό τους καθιστά ευάλωτους στην έμμεση έγχυση εντολών, όπου ένας επιτιθέμενος τοποθετεί κακόβουλο κείμενο σε μια ιστοσελίδα. Αν ο πράκτορας ακολουθήσει αυτές τις οδηγίες, μπορεί να δώσει μια παραπλανητική απάντηση ή να εκτελέσει μια ενέργεια που ο χρήστης δεν ζήτησε.

Τον Δεκέμβριο του 2025 κυκλοφορήσαμε το BrowseSafe, ένα benchmark και ένα μοντέλο ανίχνευσης για αυτή την απειλή. Το δημιουργήσαμε προσθέτοντας συνθετικές επιθέσεις σε ρεαλιστικές ιστοσελίδες που ήταν πιθανό να συναντήσουν οι πράκτορες. Τον τελευταίο χρόνο, οι επιθέσεις έχουν γίνει πιο εξελιγμένες και μοιάζουν περισσότερο με συνηθισμένο περιεχόμενο σελίδας. Αντί να χρησιμοποιούν φράσεις που τις προδίδουν, όπως «αγνόησε τις προηγούμενες οδηγίες», συχνά μιμούνται περιεχόμενο που ο πράκτορας είναι πιθανό να εμπιστευτεί, όπως μια επίσημη ανακοίνωση του ιστότοπου ή μια σημείωση σχετικά με τις προτιμήσεις του χρήστη.

Με αφορμή αυτές τις αλλαγές, δημιουργήσαμε ένα ενημερωμένο benchmark, το BrowseSafe++, για να μετρήσουμε αν οι σημερινοί ανιχνευτές εγχύσεων εντοπίζουν αυτές τις επιθέσεις και αν οι πράκτορες μπορούν να τους αντισταθούν. Περιέχει 38.675 ζεύγη σελίδων (με επίθεση και καθαρές), βασισμένα κυρίως σε εγχύσεις που συλλέχθηκαν στον πραγματικό κόσμο. Για κάθε σελίδα, αναδιατυπώνουμε το περιβάλλον περιεχόμενο για την προστασία του απορρήτου, αλλά διατηρούμε την επίθεση αυτούσια. Κάθε σελίδα διατίθεται στις τέσσερις μορφές που διαβάζουν οι πράκτορες περιήγησης: HTML, Markdown, δέντρα προσβασιμότητας και στιγμιότυπα οθόνης. Χρησιμοποιήσαμε ένα υποσύνολο του benchmark για να εκπαιδεύσουμε το BrowseSafe-Guard, ένα ζεύγος ανιχνευτών 0,8 δισ. παραμέτρων: έναν ανιχνευτή κειμένου και έναν πολυτροπικό ανιχνευτή. Οι δύο ανιχνευτές του Guard εντοπίζουν εγχύσεις με μεγαλύτερη ορθότητα από τα μοντέλα με προτροπή που δοκιμάσαμε, συμπεριλαμβανομένων των μοντέλων αιχμής. Είναι επίσης ταχύτεροι, φθηνότεροι και επισημαίνουν κατά λάθος πολύ λιγότερες συνηθισμένες σελίδες.

Διαθέτουμε το BrowseSafe++ ως ανοιχτό benchmark. Ο ιστότοπος του έργου παραπέμπει στο σύνολο δεδομένων, στο SDK, στη δημοσίευση έρευνας και σε έναν δημόσιο πίνακα κατάταξης. Οποιαδήποτε ομάδα μπορεί να αξιολογήσει τον ανιχνευτή της σε σελίδες δοκιμής των οποίων οι ετικέτες δεν παρέχονται και να υποβάλει τις ετικέτες για βαθμολόγηση και πιθανή συμπερίληψη στον πίνακα κατάταξης. Για να αξιολογήσετε και να υποβάλετε τα αποτελέσματά σας, ανατρέξτε στην ενότητα Πρώτα βήματα.

Δημιουργία benchmark από εγχύσεις που παρατηρήθηκαν

Το BrowseSafe++ βασίζεται σε εγχύσεις εντολών που παρατηρήθηκαν σε πραγματικούς ιστοτόπους. Από τον Σεπτέμβριο του 2025 έως τον Σεπτέμβριο του 2026, ο ανιχνευτής εγχύσεων εντολών του Comet επισήμανε 1,15 εκατομμύρια εγχύσεις σε σελίδες που διάβασε ο πράκτοράς του. Δημιουργήσαμε 32.187 ζεύγη γύρω από αυτές τις εγχύσεις και προσθέσαμε 6.488 ζεύγη από το αρχικό benchmark BrowseSafe, για συνολικά 38.675 ζεύγη. Κάθε ζεύγος περιλαμβάνει μια σελίδα με επίθεση και τη «δίδυμη» καθαρή εκδοχή της, δηλαδή την ίδια σελίδα χωρίς την έγχυση.

Πώς εμφανίζονται οι εγχύσεις στον πραγματικό κόσμο

Δύο παραδείγματα από το benchmark δείχνουν πώς μοιάζουν αυτές οι εγχύσεις στην πράξη.

Σε ένα από αυτά, ένα ψεύτικο αίτημα αγοράς ωθεί τον πράκτορα να εκτελέσει μια μη εξουσιοδοτημένη ενέργεια. Ο ανιχνευτής του Comet επισήμανε αυτό το τμήμα αγγλικού κειμένου σε μια ρωσόγλωσση σελίδα τεκμηρίωσης για προγραμματιστές τον Οκτώβριο του 2025:

Το κείμενο ξεκινά και κλείνει με εντολές, ενώ στη μέση παρεμβάλλεται συνηθισμένο προωθητικό περιεχόμενο για ένα token. Ισχυρίζεται ότι προέρχεται από τον ίδιο τον δημιουργό του πράκτορα και καταλήγει σε έναν κωδικό εξουσιοδότησης, ώστε η αγορά να φαίνεται εγκεκριμένη.

Σε ένα άλλο, μια πλαστή συνομιλία στοχεύει να διαταράξει την εργασία του πράκτορα. Το κείμενο αυτό εντοπίστηκε σε σελίδα αποθετηρίου κώδικα τον Μάρτιο του 2026:

Το κείμενο είναι σχεδιασμένο ώστε να μοιάζει με συνομιλία μεταξύ χρήστη και πράκτορα: τα <|im_start|> και <|im_end|> είναι δείκτες που χρησιμοποιούν ορισμένα μοντέλα συνομιλίας για να διαχωρίζουν τους γύρους μιας συνομιλίας. Ένας πράκτορας που θα έπεφτε θύμα αυτής της επίθεσης θα απαντούσε στο πλαστό ερώτημα του χρήστη με τη φράση του επιτιθέμενου.

Παρατηρούμε παρόμοια μοτίβα σε όλες τις επισημασμένες εγχύσεις:

• Μιμούνται αξιόπιστες πηγές. Και τα δύο παραδείγματα κάνουν το κείμενο της σελίδας να μοιάζει με πηγή που εμπιστεύεται ο πράκτορας: τον δημιουργό του στο πρώτο, τη δική του συνομιλία στο δεύτερο. Οι εγχύσεις μπορούν επίσης να παρουσιάζονται ως ο ίδιος ο ιστότοπος, μιμούμενες ελέγχους ασφαλείας και ανακοινώσεις πολιτικής, ή ως ο χρήστης, προβάλλοντας ψεύτικες προτιμήσεις. Περίπου δύο στις τρεις είναι γραμμένες σε επίσημο ύφος.
• Πολλές είναι γραμμένες σε διαφορετικές γλώσσες. Στο 24,4% των ζευγών, η έγχυση χρησιμοποιεί γλώσσα διαφορετική από την υπόλοιπη σελίδα της. Συνήθως πρόκειται για μια οδηγία στα αγγλικά σε μη αγγλόφωνη σελίδα, όπως στο πρώτο παράδειγμα. Τέτοιες επιθέσεις απευθύνονται σαφώς σε έναν πράκτορα που διαβάζει κάθε γλώσσα και συνήθως έχει ως μητρική τα αγγλικά. Οι αλλαγές γλώσσας δυσκολεύουν επίσης την ανίχνευση: στην αρχική αξιολόγηση του BrowseSafe, οι πολύγλωσσες επιθέσεις ήταν από τις πιο δύσκολες στον εντοπισμό.
• Οι περισσότερες ζητούν ενέργειες, όχι λόγια. Περισσότερες από τέσσερις στις δέκα ωθούν τον πράκτορα σε μια ενέργεια που ο χρήστης δεν ζήτησε ποτέ, όπως η αγορά token στο πρώτο παράδειγμα, και περίπου το ένα τρίτο επιχειρεί να τον κάνει να εγκαταλείψει την εργασία του χρήστη, όπως στο δεύτερο παράδειγμα. Μόνο περίπου το 3% επιχειρεί να εισαγάγει ψευδείς πληροφορίες στην απάντηση.
• Συχνά αξιοποιούν περιεχόμενο που μπορεί να δημοσιεύσει οποιοσδήποτε. Ένας επιτιθέμενος δεν χρειάζεται να ελέγχει έναν ιστότοπο. Αρκεί μια ανάρτηση σε φόρουμ ή ένα κοινόχρηστο έγγραφο σε συνηθισμένους ιστότοπους, και περισσότερες από 23.000 εγχύσεις στο BrowseSafe++ προήλθαν με αυτόν τον τρόπο. Ακόμη και ένας αξιόπιστος τομέας μπορεί να χρησιμοποιηθεί για την έγχυση του κειμένου ενός επιτιθέμενου.

Οι εγχύσεις στο τελικό benchmark καλύπτουν 12 τύπους ιστοτόπων, 24 τύπους επιθέσεων, 6 στόχους επιτιθεμένων και 18 θέσεις στη σελίδα.

Μεγέθυνση

Από μια επισημασμένη σελίδα σε ένα ζεύγος του benchmark

Δεν μπορούμε να χρησιμοποιήσουμε τις επισημασμένες σελίδες ως έχουν στο benchmark, επειδή ενδέχεται να περιέχουν προσωπικά στοιχεία του χρήστη για τον οποίο εργαζόταν ο πράκτορας. Η μετατροπή μιας σελίδας σε ζεύγος benchmark που μπορεί να κοινοποιηθεί απαιτεί τρία κύρια στάδια:

1. Εντοπισμός της έγχυσης: Συλλέγουμε τις επισημασμένες σελίδες, αφαιρούμε τα διπλότυπα και αποκρύπτουμε τα προσωπικά στοιχεία με το PII-Tracer. Στη συνέχεια, επιβεβαιώνουμε ότι η σελίδα περιέχει έγχυση· συγκεκριμένα, απαιτούμε από μια ομάδα μοντέλων να συμφωνήσει ότι περιέχει μια οδηγία που επιχειρεί να απομακρύνει τον πράκτορα από την εργασία που επιδίωκε ο χρήστης.
2. Δημιουργία του ζεύγους: Ένας πράκτορας αφαιρεί το κείμενο της έγχυσης από κάθε σελίδα και αναδιατυπώνει το περιβάλλον περιεχόμενο της σελίδας, αντικαθιστώντας στοιχεία όπως ονόματα και επωνυμίες με φανταστικά. Ένας δεύτερος πράκτορας ελέγχει τη σελίδα που αναδιατυπώθηκε για υπολείμματα πραγματικού περιεχομένου και επιστρέφει τις αποτυχίες με σχόλια. Ανθρώπινοι αξιολογητές επιθεωρούν ένα τυχαίο 10% των σελίδων· τα προβλήματα που εντοπίζουν διορθώνονται στη διαδικασία και οι διορθώσεις εφαρμόζονται σε όλο το σώμα δεδομένων. Η έγχυση επανεισάγεται στη σελίδα που αναδιατυπώθηκε για τη δημιουργία του αντιγράφου με επίθεση και παραλείπεται από το καθαρό αντίγραφο. Οι δύο σελίδες έχουν την ίδια εργασία, το ίδιο αναμενόμενο αποτέλεσμα και τις ίδιες συνηθισμένες οδηγίες.
3. Επαλήθευση: Οι πράκτορες διαβάζουν τις σελίδες σε διαφορετικές μορφές, γι' αυτό αποδίδουμε τον κώδικα HTML κάθε σελίδας ως Markdown, ως δέντρο προσβασιμότητας (μια δομημένη λίστα με τα στοιχεία της διεπαφής μιας σελίδας και τις ετικέτες τους) και ως στιγμιότυπο οθόνης. Ένας άλλος πράκτορας ελέγχει ότι η έγχυση εμφανίζεται και στις τέσσερις προβολές της σελίδας με επίθεση και ότι η καθαρή σελίδα κρίνεται αβλαβής σε κάθε προβολή. Αν η έγχυση λείπει από κάποια προβολή, τη μετακινούμε σε άλλο σημείο της σελίδας και αποδίδουμε ξανά τη σελίδα, διασφαλίζοντας ότι η έγχυση εμφανίζεται στην τελική σελίδα με επίθεση σε όλες τις προβολές. Ένα τελικό σύνολο αυτοματοποιημένων ελέγχων διορθώνει όσα ζεύγη εξακολουθούν να φέρουν ίχνη της πηγής τους, όπως πραγματικά ονόματα κεντρικών υπολογιστών ή επωνυμίες.

Μεγέθυνση

BrowseSafe-Guard: Γρήγοροι και ακριβείς ανιχνευτές για κάθε προβολή

Ένας χρήσιμος ανιχνευτής πρέπει να ελέγχει κάθε σελίδα γρήγορα και με χαμηλό κόστος. Πρέπει επίσης να έχει υψηλή ορθότητα τόσο στις σελίδες με επίθεση όσο και στις καθαρές. Η υψηλή ακρίβεια είναι ιδιαίτερα σημαντική, καθώς οι περισσότερες σελίδες είναι ασφαλείς· ακόμη και ένα σχετικά χαμηλό ποσοστό ψευδώς θετικών θα έκανε τις περισσότερες ειδοποιήσεις ψευδείς συναγερμούς. Τα μοντέλα γενικής χρήσης με προτροπή συχνά υστερούν σε ακρίβεια και είναι πολύ αργά και δαπανηρά για να εκτελούνται σε κάθε σελίδα.

Ένας ανιχνευτής που εκπαιδεύεται σε σελίδες με επίθεση και σε καθαρές σελίδες που έχουν συλλεχθεί ξεχωριστά θα μπορούσε να μάθει συντομεύσεις που τυχαίνει να διαχωρίζουν τα δύο σύνολα, όπως το θέμα ή η διάταξη μιας σελίδας. Ένας τέτοιος ανιχνευτής, ωστόσο, δεν γενικεύει καλά. Αντίθετα, το Guard εκπαιδεύεται σε ζεύγη των οποίων η μόνη διαφορά είναι η ίδια η έγχυση, κάτι που βοηθά στη βελτίωση της ακρίβειας (precision) του ανιχνευτή. Για κάθε ζεύγος, το Guard διαβάζει ξεχωριστά τη σελίδα με την επίθεση και την καθαρή δίδυμη εκδοχή της και δίνει σε καθεμία μια βαθμολογία για το πόσο πιθανό είναι να περιέχει έγχυση. Για την ενημέρωση του μοντέλου χρησιμοποιούνται δύο στόχοι εκπαίδευσης: ο τυπικός στόχος ταξινόμησης και ένας στόχος κατάταξης που επιβάλλει ποινή στο Guard, εκτός αν η σελίδα με την επίθεση λάβει υψηλότερη βαθμολογία από τη δίδυμη εκδοχή της κατά τουλάχιστον ένα σταθερό περιθώριο. Διαισθητικά, ο στόχος ταξινόμησης διδάσκει στο Guard ποια απόφαση να πάρει, ενώ ο στόχος κατάταξης συνδέει αυτή την απόφαση με την ίδια την έγχυση και αγνοεί τους αβλαβείς αντιπερισπασμούς. Έτσι, το Guard εκπαιδεύεται να αντιδρά στην ίδια την έγχυση και όχι στο περιεχόμενο της σελίδας γύρω της.

Το Guard αποτελείται από δύο ανιχνευτές, καθένας από τους οποίους έχει προκύψει μέσω fine-tuning του Qwen3.5-0.8B. Ο ανιχνευτής κειμένου διαβάζει μία προβολή κειμένου μιας σελίδας: HTML, Markdown ή δέντρο προσβασιμότητας. Ο πολυτροπικός ανιχνευτής διαβάζει ένα στιγμιότυπο οθόνης ολόκληρης της σελίδας. Σε παραγωγική χρήση, το Guard διαβάζει μια σελίδα σε ένα μόνο forward pass και εξάγει μια βαθμολογία έγχυσης, και η σελίδα επισημαίνεται αν η βαθμολογία ξεπεράσει ένα κατώφλι. Επειδή το Guard έχει μόνο 0,8 δισ. παραμέτρους και εξάγει μία μόνο βαθμολογία, είναι αρκετά γρήγορο και φθηνό ώστε να εκτελείται σε κάθε σελίδα.

Αξιολόγηση απόδοσης

Συγκρίναμε το Guard με 18 μοντέλα στα οποία δόθηκε προτροπή να ανιχνεύουν εγχύσεις, σε ένα υποσύνολο του benchmark που είχε εξαιρεθεί από την εκπαίδευση. Αναφέρουμε τέσσερις μετρικές, μετρημένες στο BrowseSafe++:

• Η ανάκληση (recall) είναι το ποσοστό των σελίδων με έγχυση που επισημαίνει ο ανιχνευτής και μετρά πόσες επιθέσεις εντοπίζει, επομένως όσο υψηλότερη τόσο καλύτερα.
• Το ποσοστό ψευδώς θετικών (FPR) είναι το ποσοστό των καθαρών σελίδων που ο ανιχνευτής επισημαίνει κατά λάθος και μετρά πόσο συχνά προκαλεί ψευδείς συναγερμούς, επομένως όσο χαμηλότερο τόσο καλύτερα.
• Η ακρίβεια (precision) είναι το ποσοστό των επισημασμένων σελίδων που περιέχουν πράγματι έγχυση και μετρά πόσο συχνά μια ειδοποίηση είναι σωστή, επομένως όσο υψηλότερη τόσο καλύτερα.
• Το F1 είναι ο αρμονικός μέσος της ανάκλησης και της ακρίβειας· είναι υψηλό μόνο όταν ένας ανιχνευτής εντοπίζει τις περισσότερες επιθέσεις και λίγες από τις επισημάνσεις του είναι ψευδείς συναγερμοί.

Χρησιμοποιούμε το F1 ως κύρια μετρική, καθώς ένας καλός ανιχνευτής πρέπει να έχει υψηλή ακρίβεια και ανάκληση. Και οι τέσσερις μετρικές υπολογίζονται ως μέσος όρος στις τρεις προβολές κειμένου.

Μεγέθυνση

Μεγέθυνση

Συγκρίσεις μοντέλων

Τα μικρά μοντέλα ανοιχτών βαρών που δοκιμάσαμε βρέθηκαν στις τελευταίες θέσεις. Τα Mistral NeMo και Qwen3 30B-A3B επισημαίνουν το καθένα περίπου τις μισές καθαρές σελίδες, ενώ το Llama 3.1 8B σπάνια επισημαίνει οτιδήποτε, με αποτέλεσμα να του διαφεύγουν οι περισσότερες επιθέσεις. Ακόμη και το ισχυρότερο μοντέλο της ομάδας, το GPT-OSS 20B, φτάνει μόνο σε F1 70,97%. Το DeepSeek V3.1, ένα πολύ μεγαλύτερο μοντέλο ανοιχτών βαρών, τα πηγαίνει ελαφρώς καλύτερα, με F1 75,23%.

Τα ελαφριά μοντέλα API, όπως τα GPT-5.4 nano, Gemini 3.1 Flash-Lite και Claude Haiku 4.5, εντοπίζουν περισσότερες επιθέσεις, με ανάκληση μεταξύ 85% και 97%. Ωστόσο, το κόστος είναι ένα υψηλό ποσοστό ψευδών συναγερμών· το Gemini 3.1 Flash-Lite έχει το χαμηλότερο FPR της ομάδας, στο 35,2%, και το FPR του Haiku φτάνει σχεδόν το 69%. Ως αποτέλεσμα, η μέγιστη βαθμολογία F1 της ομάδας είναι 80,9% και επιτυγχάνεται από το Gemini 3.1 Flash-Lite.

Τα υπόλοιπα μοντέλα είναι ισχυρότερα μοντέλα γενικής χρήσης, με βαθμολογίες F1 μεταξύ 85% και 92%. Ωστόσο, εξακολουθούν να αντιμετωπίζουν συμβιβασμούς μεταξύ ανάκλησης και FPR· τα μοντέλα που τείνουν προς την επιφυλακτικότητα μπλοκάρουν νόμιμες σελίδες, ενώ τα μοντέλα που επισημαίνουν λιγότερο συχνά αφήνουν επιθέσεις να διαφύγουν. Το Claude Sonnet 5 έχει την υψηλότερη ανάκληση από όλους τους ανιχνευτές, 98,73%, αλλά FPR 24,65%. Τα Gemini 3.1 Pro και GPT-5.5 φτάνουν σε ανάκληση 97,78% και 97,19%, με FPR 19,80% και 20,44% αντίστοιχα. Το GPT-6 Astra έχει την υψηλότερη συνολική ορθότητα, με ανάκληση 96,42% και FPR 14,41%. Δεύτερο έρχεται το Decider, με ανάκληση 96,02% και FPR 17,44%. Το Claude Opus 5.5 έχει το χαμηλότερο FPR, μόλις 4,21%, αλλά η ανάκλησή του, 77,71%, σημαίνει ότι του διαφεύγουν περισσότερες από μία στις πέντε επιθέσεις. Το Claude Fable 5.1 φαίνεται ισχυρό στις σελίδες στις οποίες απαντά, με ανάκληση 89,31% και FPR 7,92%, αλλά αρνείται να απαντήσει σε περίπου 30% των σελίδων, τις οποίες η γραμμή «(all)» μετρά ως επισημάνσεις.

Μεγέθυνση

Το Guard μετατοπίζει το μέτωπο Pareto, επιτυγχάνοντας καλύτερη ισορροπία μεταξύ επιθέσεων που διαφεύγουν και ψευδών συναγερμών. Φτάνει σε F1 περίπου 95% και κατατάσσεται πρώτο σε κάθε προβολή κειμένου. Επισημαίνει μόνο περίπου μία στις 20 καθαρές σελίδες, περίπου το ένα τρίτο του ποσοστού του Astra, του μοντέλου με προτροπή με την υψηλότερη ορθότητα. Η διαφορά αυτή οφείλεται στην εκπαίδευσή μας· το βασικό Qwen3.5-0.8B, πάνω στο οποίο βασίζεται το Guard, όταν λαμβάνει την ίδια προτροπή με τα άλλα μοντέλα, φτάνει μόνο σε F1 64% και επισημαίνει σχεδόν τρεις στις τέσσερις καθαρές σελίδες. Στο σενάριο της προβολής στιγμιότυπων οθόνης, συγκρίνουμε τον πολυτροπικό ανιχνευτή του Guard με τέσσερα μοντέλα που υποστηρίζουν εικόνες. Με στιγμιότυπα ολόκληρης της σελίδας, το Guard επιτυγχάνει F1 περίπου 93%, έναντι περίπου 79% για το καλύτερο από τα άλλα μοντέλα που αξιολογήσαμε.

Η αναγνώριση μιας επίθεσης δεν ισοδυναμεί με την αντίσταση σε αυτήν

Διαισθητικά, ένα μοντέλο που μπορεί να αναγνωρίσει σωστά μια έγχυση θα έπρεπε επίσης να την αγνοεί όταν συναντά τη σελίδα κατά την εκτέλεση εργασιών των χρηστών. Ωστόσο, τα πειράματά μας δείχνουν ότι οι υψηλές βαθμολογίες ανίχνευσης δεν εγγυώνται ότι ένα μοντέλο θα αντισταθεί σε μια επίθεση. Δώσαμε σε κάθε μοντέλο την ίδια σελίδα με επίθεση δύο φορές: μία για να κρίνει αν περιείχε έγχυση και μία για να εκτελέσει την εργασία του χρήστη χωρίς να βλέπει την προηγούμενη ετυμηγορία. Ένας ξεχωριστός κριτής έλεγξε αν ακολούθησε την έγχυση. Όλα τα μοντέλα που δοκιμάστηκαν εξακολούθησαν να ακολουθούν ορισμένες εγχύσεις που είχαν επισημάνει, από το 1,64% των επισημασμένων σελίδων για το GPT-6 Astra έως το 24,73% για το Llama 3.1 8B.

Μεγέθυνση

Οι βαθμολογίες ανίχνευσης δεν προβλέπουν αξιόπιστα τις διαφορές μεταξύ των μοντέλων. Το Claude Sonnet 5 και το GPT-5.5 ανιχνεύουν εγχύσεις περίπου εξίσου καλά, με βαθμολογίες F1 περίπου 88% και 89% αντίστοιχα. Ωστόσο, το Sonnet 5 ακολούθησε μια έγχυση που είχε επισημάνει στο 19,74% των σελίδων, δέκα φορές συχνότερα από το GPT-5.5, που κατέγραψε 1,97%.

Ένα σύστημα άμυνας κατά των εγχύσεων, έτοιμο για παραγωγική χρήση

Τα αποτελέσματα αυτά υποδηλώνουν ότι αξίζει να ανατίθεται η απόφαση για το μπλοκάρισμα μιας σελίδας σε ένα μοντέλο ειδικού σκοπού, αντί να βασιζόμαστε στο μοντέλο που εκτελεί την εργασία του χρήστη. Ένας ξεχωριστός ανιχνευτής που ελέγχει κάθε σελίδα πριν ενεργήσει ο πράκτορας παρέχει ένα επιπλέον επίπεδο άμυνας και δεν έχει εργασία που μπορεί να υποκλαπεί ή εργαλεία που μπορούν να χρησιμοποιηθούν κακόβουλα.

Το Guard έχει σχεδιαστεί για να είναι αυτός ο ανιχνευτής. Πέρα από το ότι έχει την υψηλότερη βαθμολογία F1 και ακρίβεια από όλα τα μοντέλα που δοκιμάσαμε, το μικρό του μέγεθος το καθιστά αρκετά φθηνό ώστε να εκτελείται σε κάθε σελίδα. Κατά μέσο όρο, το Guard χρησιμοποίησε περίπου 0,15 δευτερόλεπτα χρόνου GPU ανά σελίδα κειμένου. Σε μια μισθωμένη H200, εκτιμούμε κόστος 0,18 $ ανά 1.000 σελίδες, σε σύγκριση με 18,95–180,61 $ για τα μοντέλα αιχμής μέσω API με τις τιμές καταλόγου. Αυτό καθιστά τον συχνό έλεγχο πολύ φθηνότερο στη σύγκρισή μας, διατηρώντας παράλληλα υψηλές βαθμολογίες ανίχνευσης.

Το παρακάτω γράφημα απεικονίζει την ορθότητα κάθε ανιχνευτή σε σχέση με τον χρόνο ανά σελίδα και το κόστος ανά 1.000 σελίδες, και τα δύο σε λογαριθμική κλίμακα. Το Guard βρίσκεται μόνο του στην επάνω αριστερή γωνία και των δύο διαγραμμάτων: υπερέχει σε ορθότητα, ταχύτητα και κόστος. Κάθε μοντέλο με προτροπή χρειάζεται περίπου ένα δευτερόλεπτο ή περισσότερο ανά σελίδα, και τα δύο με την υψηλότερη ορθότητα, το GPT-6 Astra και το Claude Fable 5.1, κοστίζουν πάνω από 100 $ ανά 1.000 σελίδες.

Μεγέθυνση

Δοκιμή αμυνών απέναντι σε προσαρμοστικές επιθέσεις

Το benchmark BrowseSafe++ περιέχει ένα πεπερασμένο σύνολο εγχύσεων. Ωστόσο, ένας πραγματικός επιτιθέμενος μπορεί να εξαπολύσει μια προσαρμοστική επίθεση· όταν μια έγχυση αποτυγχάνει, μπορεί να την αναδιατυπώσει και να δοκιμάσει ξανά. Ως αποτέλεσμα, ένας πράκτορας που αντιστέκεται στην αρχική έγχυση θα μπορούσε να παραμένει ευάλωτος σε μελλοντικές επιθέσεις. Επιπλέον, τα μοντέλα εκπαιδεύονται με δεδομένα που συλλέγονται από το διαδίκτυο, επομένως ενδέχεται να μάθουν να αντιστέκονται στις περισσότερες εγχύσεις του benchmark· καθώς το δημοσιεύουμε, είναι πιθανό να κορεστεί και να μην διαφοροποιεί πλέον καλά τα μοντέλα. Για να αντιμετωπίσουμε και τα δύο προβλήματα, δημιουργήσαμε το BrowseSafe-Adapt, ένα περιβάλλον δοκιμών στο οποίο ένα μοντέλο-επιτιθέμενος μπορεί να αναδιατυπώνει εγχύσεις. Κάθε δοκιμή έχει τρία στάδια:

1. Ορισμός της περίπτωσης. Μια περίπτωση συνδυάζει μια καταχώριση του BrowseSafe++ με έναν πράκτορα-στόχο. Η καταχώριση του BrowseSafe++ περιλαμβάνει ένα σενάριο με ένα ερώτημα και μια εργασία του χρήστη, μια σελίδα που έχει δεχθεί επίθεση και το επιθυμητό αποτέλεσμα του επιτιθέμενου. Ο πράκτορας λειτουργεί σε ένα Sandbox που παρέχει τα εργαλεία και τα συνθετικά δεδομένα που απαιτούνται για την εκτέλεση της εργασίας. Ένα ξεχωριστό μοντέλο επαλήθευσης αξιολογεί αν η επίθεση πέτυχε τον στόχο της.
2. Εκτέλεση απόπειρας: Εισάγουμε την τρέχουσα έγχυση στη σελίδα και αφήνουμε τον πράκτορα να εκτελέσει την εργασία. Ο επαληθευτής ελέγχει την απάντηση του πράκτορα και τυχόν αλλαγές που έκανε στο sandbox, για να διαπιστώσει αν η επίθεση πέτυχε. Η πρώτη απόπειρα χρησιμοποιεί την έγχυση από την αρχική καταχώριση του BrowseSafe++.
3. Αναθεώρηση και επανάληψη: Αν μια επίθεση αποτύχει, αρχειοθετούμε την απόπειρα και ένα μοντέλο-κριτής εξετάζει τι πήγε στραβά. Ένα μοντέλο-επιτιθέμενος χρησιμοποιεί αυτή την ανατροφοδότηση για να αναδιατυπώσει την έγχυση· μπορεί να αλλάξει τη διατύπωση, τη μορφοποίηση ή τη θέση της επίθεσης στη σελίδα. Ο στόχος της επίθεσης, τα κριτήρια επιτυχίας και το περιβάλλον περιεχόμενο της σελίδας παραμένουν ίδια. Η επόμενη απόπειρα χρησιμοποιεί την ενημερωμένη επίθεση. Η διαδικασία επαναλαμβάνεται μέχρι να πετύχει η επίθεση ή να φτάσει ο επιτιθέμενος σε ένα καθορισμένο όριο απόπειρων.

Μεγέθυνση

Δοκιμάσαμε επτά πράκτορες, ο καθένας βασισμένος σε διαφορετικό μοντέλο: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite και τα μοντέλα ανοιχτών βαρών DeepSeek V3.1 και Kimi K2. Κάθε πράκτορας αντιμετώπισε τις ίδιες 1.024 εργασίες, με έως 64 απόπειρες ανά εργασία. Στην πρώτη απόπειρα, η επιτυχία των επιθέσεων ήταν χαμηλή και στους επτά πράκτορες. Οι αρχικές εγχύσεις πέτυχαν το πολύ στο 4% των εργασιών που αξιολογήθηκαν, για οποιονδήποτε πράκτορα. Στο προσαρμοστικό πλαίσιο, η επιτυχία των επιθέσεων αυξήθηκε δραματικά. Ο επιτιθέμενος πέτυχε σε τουλάχιστον 79% των εργασιών απέναντι σε πέντε από τους επτά πράκτορες. Ακόμη και οι πιο ανθεκτικοί πράκτορες ήταν ευάλωτοι: οι επιθέσεις εξακολουθούσαν να πετυχαίνουν σε περίπου δύο στις τρεις εργασίες απέναντι στο GPT-5.5 και σε περίπου μία στις τρεις απέναντι στο Claude Sonnet 5.

Η διαφορά μεταξύ των πρακτόρων είναι μεγαλύτερη όταν ο στόχος του επιτιθέμενου είναι να κάνει τον πράκτορα να εκτελέσει μια συγκεκριμένη κλήση εργαλείου. Στις εργασίες με αυτόν τον τύπο στόχου, το Sonnet 5 υπέκυψε σε περίπου 8% των εργασιών και το GPT-5.5 σε περίπου 29%. Οι άλλοι πέντε εκτέλεσαν τον στόχο του επιτιθέμενου σε περισσότερες από τις μισές εργασίες τους.

Εκτελέσαμε επίσης το BrowseSafe-Adapt απέναντι στον πράκτορα Gemini 3.5 Flash-Lite, με το Guard να ελέγχει πρώτα κάθε σελίδα. Το Guard μπλόκαρε το 94,5% των αρχικών εγχύσεων και σχεδόν διπλασίασε τον μέσο αριθμό απόπειρων που χρειάστηκαν οι επιτιθέμενοι, από 9,7 σε 17,0. Ωστόσο, με όλες τις 64 απόπειρες, ο επιτιθέμενος πέτυχε τελικά στο 84,2% των εργασιών (93,6% χωρίς το Guard), σχεδόν πάντα με μια έγχυση που το Guard δεν επισήμανε. Αυτό συμφωνεί με την άποψη που διατυπώσαμε όταν κυκλοφορήσαμε το BrowseSafe: κανένα μοντέλο ανίχνευσης δεν είναι πανάκεια, οπότε ένας ανιχνευτής πρέπει να αποτελεί μέρος μιας πολυεπίπεδης άμυνας.

Μεγέθυνση

Συμπέρασμα

Οι πράκτορες περιήγησης είναι συχνά ευάλωτοι στην έμμεση έγχυση εντολών, όπου επιθέσεις κρυμμένες σε συνηθισμένες σελίδες επιδιώκουν να παρεμποδίσουν την ικανότητα των πρακτόρων να εκτελούν τις εργασίες των χρηστών. Οι κίνδυνοι ολοένα αυξάνονται με τον καιρό, τόσο επειδή οι πράκτορες αποκτούν πρόσβαση σε περισσότερα δεδομένα και εργαλεία, ανεβάζοντας το διακύβευμα των επιθέσεων, όσο και επειδή οι επιτιθέμενοι μπορούν να αναθεωρούν τις εγχύσεις τους ώστε να γίνονται πιο αποτελεσματικές.

Η σουίτα BrowseSafe αντιμετωπίζει αυτές τις απειλές. Το benchmark BrowseSafe++ περιέχει 38.675 ζεύγη ιστοσελίδων που βασίζονται κυρίως σε πραγματικές εγχύσεις, επιτρέποντας πιο αξιόπιστη εκπαίδευση και αξιολόγηση ανιχνευτών. Οι ανιχνευτές BrowseSafe-Guard, εκπαιδευμένοι σε αυτά τα ζεύγη, προσφέρουν ανίχνευση με υψηλή ορθότητα, γρήγορα και με χαμηλό κόστος, ώστε να είναι δυνατός ο έλεγχος των σελίδων πριν ενεργήσει ένας πράκτορας με βάση αυτές. Το πλαίσιο BrowseSafe-Adapt επιτρέπει τη δοκιμή μοντέλων απέναντι σε αναθεωρημένες εγχύσεις, αναδεικνύοντας ευπάθειες που ενδέχεται να μην είναι εμφανείς από μεμονωμένες απόπειρες με σταθερές εγχύσεις.

Ελπίζουμε ότι, συνολικά, αυτά τα εργαλεία θα διευκολύνουν ερευνητές και μηχανικούς να εντοπίζουν αστοχίες και να βελτιώνουν τις άμυνες απέναντι σε επιθέσεις έγχυσης εντολών μέσω του διαδικτύου. Επίσης, αξιολογούμε και βελτιώνουμε συνεχώς τις ενσωματωμένες άμυνες του Comet και του Computer, ώστε να προστατεύουμε τους χρήστες μας.

Πρώτα βήματα

1. Εγκαταστήστε το SDK και αποκτήστε πρόσβαση στα δεδομένα. Το SDK εγκαθίσταται από το GitHub:

Η πρόσβαση στο σύνολο δεδομένων είναι περιορισμένη. Ζητήστε πρόσβαση μία φορά στη σελίδα του στο Hugging Face και, στη συνέχεια, συνδεθείτε με hf auth login.

2. Υποβάλετε στον πίνακα κατάταξης. Αξιολογήστε τον δικό σας ανιχνευτή στο σύνολο δοκιμών του BrowseSafe++:

Αυτό καταγράφει μία απόφαση ανά σελίδα για κάθε προβολή που παραθέτετε· παραθέστε και τις τρεις προβολές κειμένου για να λάβετε μέσο όρο στον πίνακα κατάταξης κειμένου. Συνδεθείτε στο Space του πίνακα κατάταξης με τον λογαριασμό σας στο Hugging Face και ανεβάστε το predictions.jsonl. Το Space επιστρέφει F1, ακρίβεια, ποσοστό ψευδώς θετικών και τις υπόλοιπες μετρικές για κάθε προβολή και, αν το επιλέξετε, δημοσιεύει το αποτέλεσμα στον πίνακα κατάταξης. Κάθε λογαριασμός (ηλικίας τουλάχιστον 60 ημερών) δικαιούται μία βαθμολογημένη υποβολή ανά εβδομάδα UTC. Οι σελίδες δοκιμής προορίζονται μόνο για αξιολόγηση: μην τις χρησιμοποιείτε για εκπαίδευση και μην τις αναδιανέμετε. Ο οδηγός υποβολής καλύπτει τη μορφή του αρχείου και τους κανόνες δημοσίευσης.

Παραπομπή

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}