Mitygacja prompt injection w Comet

Sztuczna inteligencja ewoluuje z narzędzi, które jedynie odpowiadają na pytania, w asystentów zdolnych do podejmowania wymiernych działań w Twoim imieniu. Comet, nasza przeglądarka z asystentem AI, została zaprojektowana z myślą o tym celu. Oprócz udostępniania informacji, Comet pomaga użytkownikom w realizacji zadań, od rezerwacji hoteli i zarządzania kontami, po pomoc w codziennych czynnościach online.

Ten zorientowany na działanie projekt czyni Comet bardziej użytecznym, ale stanowi również nowy paradygmat w krajobrazie zagrożeń. Wkraczamy w erę, w której cyberbezpieczeństwo nie polega już na ochronie użytkowników przed cyberprzestępcami o wysokich kwalifikacjach technicznych. AI wprowadza podatności, które wcześniej były niemożliwe w klasycznym bezpieczeństwie aplikacji, i po raz pierwszy od dziesięcioleci obserwujemy nowe, nieznane wektory ataku, które mogą nadejść z dowolnego miejsca.

Nowy paradygmat cyberbezpieczeństwa wprowadza wektory ataków, których nie da się rozwiązać poprzez konwencjonalne testy adwersarialne (red teams). Wymaga to przemyślenia bezpieczeństwa od podstaw.

Jednym z kluczowych wyzwań w tej przestrzeni jest złośliwy prompt injection. Są to próby przemycenia ukrytych instrukcji do treści przetwarzanych przez asystenta AI, których celem jest odciągnięcie go od tego, czego faktycznie chciał użytkownik. To, co czyni MPI szczególnie podstępnym, to fakt, że ataki te nie wymagają wykorzystywania błędów oprogramowania ani obchodzenia systemów uwierzytelniania. Manipulują one samym procesem decyzyjnym AI, obracając możliwości agenta przeciwko jego użytkownikowi.

Jest to problem z zakresu bezpieczeństwa, z którym zmaga się cała branża. Choć żadne rozwiązanie nie jest idealne, nasze wieloletnie doświadczenie w tworzeniu i zabezpieczaniu asystentów AI uczyniło nas liderem w ograniczaniu tych zagrożeń. Doświadczenie nauczyło nas, że bezpieczeństwa nie można po prostu dodać do produktów po fakcie. W Perplexity wierzymy, że zaufanie buduje się, wprowadzając bezpieczeństwo od samego początku. Dlatego przyjęliśmy strategię obrony wielowarstwowej w celu mitygacji prompt injection, aby zapewnić, że Comet pozostanie zarówno bezpieczny, jak i intuicyjny w użyciu.

Nasz projekt obrony wielowarstwowej

Zabezpieczenia Comet są rozmieszczone na wszystkich etapach cyklu życia zadania. Każdy krok został zaprojektowany tak, aby utrzymać agenta w zgodności z intencjami użytkownika, przy jednoczesnym minimalizowaniu tarcia i opóźnień. Nasze wielowarstwowe podejście gwarantuje, że nawet jeśli jedna warstwa zabezpieczeń zostanie obejściem, pozostają liczne dodatkowe zabezpieczenia chroniące użytkowników.

Warstwa 1: Klasyfikacja prompt injection w czasie rzeczywistym

Rdzeniem naszego systemu obronnego są klasyfikatory uczenia maszynowego, przeszkolone specjalnie do wykrywania złośliwych instrukcji ukrytych w witrynach, z którymi wchodzi w interakcję użytkownik. Za każdym razem, gdy Comet pobiera nową treść, nasz system bezpieczeństwa przeprowadza kontrole klasyfikatora, zanim asystent podejmie działanie.

Opracowaliśmy naszą bibliotekę klasyfikatorów dzięki szeroko zakrojonej współpracy z czołowymi badaczami bezpieczeństwa AI i red teams, wykorzystując jedno z najbardziej kompleksowych repozytoriów wzorców ataków typu prompt injection w branży.

Implementacja techniczna: Nasz system detekcji i klasyfikatory działają równolegle do potoku rozumowania Comet, analizując każdy fragment treści, zanim wpłynie on na proces decyzyjny asystenta Comet. Ta architektura równoległa jest kluczowa, ponieważ pozwala nam przechwytywać złośliwe treści bez wprowadzania opóźnień w przepływ pracy.

System został stworzony wewnętrznie i wykrywa zagrożenia, w tym:

Ukryte instrukcje HTML/CSS: Adwersarze osadzają niewidoczny tekst przy użyciu technik takich jak biały tekst na białym tle, tekst o zerowym rozmiarze czcionki, właściwości CSS display:none lub komentarze HTML, które próbują wstrzyknąć polecenia.

Iniekcje oparte na obrazach – Tekst zakodowany w obrazach, niedostrzegalny dla ludzkiego oka, ale widoczny dla modeli wizyjnych, wykorzystujący lukę między percepcją ludzką a AI.

Ataki typu Content Confusion: Wyglądający na legalny tekst, który subtelnie przekierowuje agenta, wstrzykuje nazwy narzędzi w celu wywołania niezamierzonych działań lub buduje ataki wieloetapowe w historii konwersacji.

Goal Hijacking: Instrukcje próbujące nadpisać pierwotne zapytanie użytkownika, inżynieria społeczna poprzez pobrane treści lub próby eksfiltracji promptów systemowych i danych użytkownika.

Jeśli coś wygląda na niebezpieczne, Comet nie podejmuje działania w ciemno ani nie kończy pracy po cichu. Zamiast tego zatrzymuje się i zapewnia bezpieczną, kontrolowaną odpowiedź. Detekcja jest również logowana w celu ciągłego doskonalenia naszych modeli.

Ciągłe uczenie: Nasze modele klasyfikatorów są stale aktualizowane o nowe wektory ataków odkryte dzięki naszemu programowi bug bounty, ćwiczeniom red team i rzeczywistym zdarzeniom detekcji, co zapewnia, że ewoluują szybciej niż krajobraz zagrożeń.

Powiększ

Warstwa 2: Techniki bezpieczeństwa poprzez ustrukturyzowane prompty

Nawet gdy treść przejdzie wstępną kontrolę, wzmacniamy bezpieczeństwo, przypominając modelowi i narzędziom o zachowaniu skupienia na intencji użytkownika. Te ustrukturyzowane prompty są strategicznie wstawiane w kluczowych punktach decyzyjnych cyklu życia zadania i działają jak bariery ochronne, zmniejszając ryzyko, że zewnętrzne treści mogłyby skierować agenta na niewłaściwy tor.

Implementacja techniczna

Nasz system wzmacniania bezpieczeństwa stosuje kontekstowe prompt injection na wielu etapach:

Bariery ochronne na poziomie narzędzi – Prompt systemowy każdego narzędzia zawiera wyraźny zapis o utrzymaniu zgodności z intencją użytkownika oraz ostrzeżenia o potencjalnym prompt injection w treściach zewnętrznych.

Jasne granice treści – Treści zewnętrzne są oznaczane jako niezaufane w promptach, tworząc wyraźne rozróżnienie między instrukcjami użytkownika a pobranymi danymi.

Wzmacnianie intencji – System routingu stale odwołuje się do pierwotnego zapytania użytkownika podczas wybierania i wykonywania narzędzi.

To ustrukturyzowane podejście przypomina modelowi na każdym kroku: „To jest zewnętrzna treść. Skup się na tym, o co faktycznie prosił użytkownik”.

Te ustrukturyzowane prompty wykorzystują nasze głębokie zrozumienie zarówno zachowania dużych modeli językowych, jak i psychologii inżynierii zagrożeń, aby zmaksymalizować odporność modelu na manipulację instrukcjami.

Powiększ

Warstwa 3: Potwierdzenie użytkownika dla działań wrażliwych

W przypadku działań o istotnym znaczeniu, takich jak wysyłanie e-maila lub dokonywanie zmian na koncie, Comet wstrzymuje działanie w celu uzyskania Twojego potwierdzenia, niezależnie od tego, czy nasze systemy wykryją podejrzaną aktywność. To podejście z udziałem człowieka (human-in-the-loop) służy jako kluczowe zabezpieczenie zarówno przed złośliwym prompt injection, jak i błędami, oraz zapewnia, że użytkownicy pozostają w pełni kontroli nad decyzjami o dużym wpływie.

Działania wymagające potwierdzenia obejmują:

Wysyłanie e-maili lub wiadomości

Modyfikowanie kalendarza

Składanie finalnych zamówień zakupowych

Każdy przypadek, w którym agent musi wypełnić dane użytkownika, których jeszcze nie posiada

Interfejs potwierdzenia zapewnia jasny kontekst dotyczący tego, jakie działanie Comet próbuje wykonać i dlaczego, umożliwiając użytkownikom podejmowanie świadomych decyzji. Ta przejrzystość jest niezbędna. Użytkownicy muszą rozumieć nie tylko to, co agent zamierza zrobić, ale mieć wystarczający kontekst, aby rozpoznać, gdy coś wydaje się nie w porządku.

Powiększ

Warstwa 4: Przejrzyste powiadomienia

Kiedy systemy bezpieczeństwa Comet blokują potencjalne prompt injection, informują o tym za pomocą jasnego powiadomienia. Przejrzystość jest kluczowa dla naszego rozumowania o bezpieczeństwie: zasługujesz na zrozumienie nie tylko tego, że zabezpieczenia są aktywne, ale także kiedy zostały uruchomione.

Powiadomienia o ochronie obejmują:

Jasną identyfikację tego, co zostało zablokowane

Kontekst, dlaczego treść została oznaczona jako potencjalnie złośliwa

Szczegółowe informacje o wykrytych instrukcjach

Wskazówki dotyczące kolejnych kroków i sposobu zgłaszania wyników fałszywie dodatnich

Ta przejrzystość służy wielu celom. Po pierwsze, edukuje użytkowników o krajobrazie zagrożeń, pomagając im rozpoznawać złośliwe treści w przyszłości. Po drugie, buduje zaufanie użytkowników, pokazując, że nasze systemy bezpieczeństwa zawsze aktywnie działają w ich imieniu. Po trzecie, dostarcza cenne informacje zwrotne, które czynią nasze systemy detekcji jeszcze bardziej solidnymi.

Powiększ

Bezpieczeństwo wbudowane od pierwszego dnia

Perplexity rozwija technologię asystenta AI dłużej niż jakakolwiek inna firma w przestrzeni przeglądarek. Doświadczenie nauczyło nas, że bezpieczeństwo nie jest funkcją, którą można dodać po uruchomieniu, lecz fundamentalnym wymogiem, który wymaga przemyślenia sposobu, w jaki złośliwe działania są projektowane i skąd te ataki będą pochodzić. Wbudowaliśmy tę wiedzę w każdą warstwę naszej architektury obronnej od pierwszego dnia.

Malicious Prompt injection pozostaje nierozwiązanym problemem w całej branży, wymagającym ciągłych innowacji, adaptacji i współpracy. Jednak nasza wiodąca w branży strategia obrony wielowarstwowej zapewnia, że bezpieczeństwo dotrzymuje kroku rozwojowi możliwości agentów AI.

Nasze połączenie detekcji w czasie rzeczywistym, wzmacniania bezpieczeństwa, kontroli użytkownika i przejrzystych powiadomień tworzy nakładające się warstwy ochrony, które znacząco podnoszą poprzeczkę dla atakujących.

Prompt injection reprezentuje fundamentalną zmianę w naszym rozumowaniu o bezpieczeństwie. Wkraczamy w erę, w której demokratyzacja możliwości AI oznacza, że każdy potrzebuje ochrony przed coraz bardziej wyrafinowanymi atakami. Dlatego nie budujemy tylko przeglądarki z asystentem AI. Budujemy infrastrukturę bezpieczeństwa, która zdefiniuje, w jaki sposób branża chroni użytkowników w tym nowym krajobrazie.

Ciągła ewolucja detekcji zagrożeń

Obietnica agentów AI tkwi w ich zdolności do pomagania ludziom w osiąganiu więcej online. Ta obietnica sprawdza się tylko wtedy, gdy opiera się na bezpieczeństwie i zaufaniu. Bezpieczeństwo nie polega tylko na zapobieganiu atakom. Polega na wdrażaniu wielu linii obrony oraz budowaniu i utrzymywaniu zaufania, które sprawia, że Comet jest przeglądarką użyteczną i bezpieczną.

Jesteśmy zaangażowani w wyprzedzanie krajobrazu zagrożeń poprzez:

Stałą współpracę z badaczami i red teams

Ciągłe udoskonalanie systemów detekcji i zapobiegania

Przejrzystą komunikację dotyczącą ryzyka, ograniczeń i zabezpieczeń

Inwestycje w nowatorskie badania nad bezpieczeństwem i technikami

Szybką reakcję na nowo wykryte wektory ataków

Bezpieczeństwo nigdy nie śpi

Jednym z najważniejszych aspektów cyberbezpieczeństwa jest asymetria między atakiem a obroną. Atakujący musi znaleźć tylko jedną podatność, podczas gdy obrońca musi uwzględnić wszystkie podatności. Nie możemy zrobić tego sami. Dlatego Perplexity posiada prężnie działający program bug bounty. Współpracujemy z badaczami bezpieczeństwa na całym świecie, przez całą dobę, nieustannie identyfikując i naprawiając każdą nową podatność.

Zdeterminowani cyberprzestępcy będą nadal badać słabe punkty, a nowe wektory ataków będą się pojawiać. Jednak nasze wieloletnie doświadczenie w tworzeniu i zabezpieczaniu asystentów AI stawia nas na pozycji lidera w tej przestrzeni. W Perplexity ochrona zaufania użytkowników jest fundamentalna i będziemy nadal inwestować w nowe zabezpieczenia, aby użytkownicy mogli eksplorować, działać i tworzyć z pewnością siebie.

Cytat

@online{perplexity2025MitigatingPromptInjectionInComet,
  author = {{Perplexity} and Kyle Polley and Cam Sackett and Phi Hoang and Beejoli Shah and Jesse Dwyer},
  title = {{Mitigating prompt injection in Comet}},
  date = {2025-10-22},
  url = {https://www.perplexity.ai/hub/blog/mitigating-prompt-injection-in-comet}
}