BrowseSafe++: Uppbygging sterkari varna gegn raunverulegum innspýtingum fyrirmæla

Gervigreindarfulltrúar sem geta vafrað um vefinn, eins og aðstoðarmaðurinn sem er innbyggður í Comet eða Computer, þurfa að eiga samskipti við vefsíður, lesa efni og nota það til að framkvæma aðgerðir fyrir hönd notenda sinna. Þetta gerir þá berskjaldaða fyrir óbeinni fyrirmælainnspýtingu, þar sem árásaraðili setur illgjarnan texta á vefsíðu. Ef gervigreindarfulltrúinn fylgir þessum fyrirmælum getur hann skilað villandi svari eða gripið til aðgerðar sem notandinn bað ekki um.

Í desember 2025 gáfum við út BrowseSafe, viðmiðunarpróf og greiningarlíkan fyrir þessa ógn. Við smíðuðum það með því að bæta tilbúnum árásum inn á raunsæjar vefsíður sem gervigreindarfulltrúar voru líklegir til að rekast á. Undanfarið ár hafa árásir orðið fágaðri og líkjast nú frekar venjulegu efni á vefsíðum. Í stað þess að nota augljósar setningar á borð við „hunsaðu fyrri fyrirmæli“ líkja þær oft eftir efni sem gervigreindarfulltrúinn er líklegur til að treysta, svo sem opinberri tilkynningu frá vefsvæðinu eða athugasemd um óskir notandans.

Í ljósi þessara breytinga smíðuðum við uppfært viðmiðunarpróf, BrowseSafe++, til að mæla hvort núverandi greiningarlíkön fyrir innspýtingar grípi þessar árásir og hvort gervigreindarfulltrúar geti staðist þær. Það inniheldur 38.675 pör af síðum með árás og hreinum síðum, sem byggja fyrst og fremst á innspýtingum sem safnað var í raunheimum. Fyrir hverja síðu endurritum við efnið umhverfis til að vernda friðhelgi en höldum árásinni orðréttri. Hver síða er til í þeim fjórum sniðum sem gervigreindarfulltrúar í vöfrum lesa: HTML, Markdown, aðgengistrjám og skjámyndum. Við notuðum hluta viðmiðunarprófsins til að þjálfa BrowseSafe-Guard, tvö greiningarlíkön með 0,8 milljörðum færibreyta: textagreiningarlíkan og fjölháttagreiningarlíkan. Greiningarlíkönin tvö í Guard bera kennsl á innspýtingar af meiri hittni en þau fyrirmælastýrðu líkön sem við prófuðum, þar á meðal fremstu líkön. Þau eru einnig hraðari, ódýrari og merkja mun færri venjulegar síður fyrir mistök.

Við gefum BrowseSafe++ út sem opið viðmiðunarpróf. Vefsvæði verkefnisins vísar á gagnasafnið, SDK, rannsóknargreinina og opinbera stigatöflu. Hvaða teymi sem er getur metið greiningarlíkan sitt á prófunarsíðum sem eru ekki með uppgefnum merkingum og sent inn merkingarnar til einkunnagjafar og mögulegrar birtingar á stigatöflunni. Til að meta og senda inn niðurstöður þínar, sjá Hafist handa.

Smíði viðmiðunarprófs úr innspýtingum sem fundust

BrowseSafe++ er byggt á fyrirmælainnspýtingum sem sáust á raunverulegum vefsvæðum. Á tímabilinu september 2025 til september 2026 merkti greiningarlíkan Comet fyrir fyrirmælainnspýtingar 1,15 milljónir innspýtinga á síðum sem gervigreindarfulltrúi þess las. Við smíðuðum 32.187 pör í kringum þessar innspýtingar og bættum við 6.488 pörum úr upprunalega BrowseSafe-viðmiðunarprófinu, samtals 38.675 pör. Hvert par inniheldur bæði síðu með árás og hreinan tvíbura hennar, sem er sama síða án innspýtingarinnar.

Hvernig innspýtingar líta út í raunheimum

Tvö dæmi úr viðmiðunarprófinu sýna hvernig þessar innspýtingar líta út í reynd.

Í einu dæminu hvetur fölsk kaupbeiðni gervigreindarfulltrúann til að grípa til óheimillar aðgerðar. Greiningarlíkan Comet merkti þennan enska textabút á rússneskri síðu með skjölun fyrir forritara í október 2025:

Textinn hefst og endar á skipunum og fyllir miðjuna með venjulegu markaðsefni um rafmyntir. Hann segist koma frá þróunaraðila gervigreindarfulltrúans sjálfs og endar á heimildarkóða til að láta kaupin líta út fyrir að vera samþykkt.

Í öðru dæmi miðar falsað samtal að því að trufla verkefni gervigreindarfulltrúans. Þessi texti fannst á síðu í kóðageymslu í mars 2026:

Textinn er hannaður til að líta út eins og samtal milli notanda og gervigreindarfulltrúa: <|im_start|> og <|im_end|> eru merki sem sum spjalllíkön nota til að aðskilja umferðir í samtali. Gervigreindarfulltrúi sem félli fyrir þessari árás myndi bregðast við fölsuðu fyrirspurninni frá notandanum og svara með setningu árásaraðilans.

Við sjáum svipuð mynstur í merktu innspýtingunum:

• Þær líkja eftir traustum heimildum. Bæði dæmin láta texta síðunnar hljóma eins og heimild sem gervigreindarfulltrúinn treystir: þróunaraðili hans í því fyrra og hans eigið samtal í því síðara. Innspýtingar geta einnig þóst vera vefsvæðið sjálft, með því að líkja eftir öryggisathugunum og tilkynningum um reglur, eða notandinn, með því að setja fram falskar óskir. Um tvær af hverjum þremur eru skrifaðar á formlegu máli.
• Margar eru skrifaðar á öðrum tungumálum. Í 24,4% para notar innspýtingin annað tungumál en restin af síðunni. Þetta birtist yfirleitt sem ensk fyrirmæli á síðu sem er ekki á ensku, eins og í fyrra dæminu. Slíkum árásum er greinilega beint að gervigreindarfulltrúa sem les öll tungumál og hefur yfirleitt ensku að móðurmáli. Tungumálaskipti gera greiningu einnig erfiðari: í upprunalega BrowseSafe-matinu okkar voru fjöltyngdar árásir meðal þeirra sem erfiðast var að greina.
• Flestar vilja aðgerðir, ekki orð. Meira en fjórar af hverjum tíu ýta gervigreindarfulltrúanum í átt að aðgerð sem notandinn bað aldrei um, eins og kaupunum á rafmyntinni í fyrra dæminu, og um þriðjungur reynir að fá hann til að hætta við verkefni notandans, eins og í seinna dæminu. Aðeins um 3% reyna að koma röngum upplýsingum fyrir í svarinu.
• Þær nýta sér oft efni sem hver sem er getur birt. Árásaraðili þarf ekki að stjórna vefsvæði. Færsla á spjallborði eða samnýtt skjal á venjulegum vefsvæðum dugar, og meira en 23.000 innspýtingar í BrowseSafe++ bárust með þessum hætti. Traust lén getur samt sem áður nýst til að lauma inn texta árásaraðila.

Innspýtingarnar í endanlega viðmiðunarprófinu ná yfir 12 tegundir vefsvæða, 24 tegundir árása, 6 markmið árásaraðila og 18 staðsetningar á síðunni.

Stækka

Frá merktri síðu að pari í viðmiðunarprófinu

Við getum ekki notað merktar síður óbreyttar í viðmiðunarprófinu, því þær gætu innihaldið persónuupplýsingar frá notandanum sem gervigreindarfulltrúinn vann fyrir. Til að breyta síðu í viðmiðunarpar sem hægt er að deila þarf þrjú meginstig:

1. Afla innspýtingarinnar: Við söfnum merktu síðunum, fjarlægjum tvítekningar og hyljum persónuupplýsingar með PII-Tracer. Síðan staðfestum við að síðan innihaldi innspýtingu; nánar tiltekið krefjumst við þess að hópur líkana sé sammála um að hún innihaldi fyrirmæli sem reyna að beina gervigreindarfulltrúa frá því verkefni sem notandinn ætlaði honum.
2. Smíða parið: Gervigreindarfulltrúi fjarlægir innspýtingartextann af hverri síðu og endurritar efnið umhverfis á síðunni og skiptir út upplýsingum á borð við nöfn og vörumerki fyrir skálduð. Annar gervigreindarfulltrúi athugar endurrituðu síðuna með tilliti til raunverulegs efnis sem eftir er og sendir síður sem standast ekki til baka með endurgjöf. Mannlegir yfirlesarar skoða 10% síðna af handahófi; vandamál sem þeir finna eru lagfærð í ferlinu og lagfæringunum er beitt á allt safnið. Innspýtingunni er skotið aftur inn í endurrituðu síðuna til að búa til eintakið með árás en henni er sleppt í hreina eintakinu. Síðurnar tvær hafa sama verkefni, væntanlega niðurstöðu og venjuleg fyrirmæli.
3. Staðfesta: Gervigreindarfulltrúar lesa síður á mismunandi formi, svo við umbreytum HTML hverrar síðu í Markdown, aðgengistré (skipulagðan lista yfir viðmótseiningar síðu og merkimiða þeirra) og skjámynd. Annar gervigreindarfulltrúi athugar hvort innspýtingin birtist í öllum fjórum sýnum síðunnar með árás og hvort hreina síðan sé metin skaðlaus í öllum sýnum. Ef innspýtinguna vantar í eina sýnina færum við hana á annan stað á síðunni og umbreytum aftur, til að tryggja að innspýtingin komi fram á endanlegu síðunni með árás í öllum sýnum. Lokasett sjálfvirkra athugana lagfærir öll pör sem bera enn ummerki um uppruna sinn, svo sem raunveruleg hýsilheiti eða vörumerki.

Stækka

BrowseSafe-Guard: Hröð og nákvæm greiningarlíkön fyrir hverja sýn

Gagnlegt greiningarlíkan þarf að athuga hverja síðu hratt og ódýrt. Það þarf einnig að hafa góða hittni bæði á síðum með árás og hreinum síðum. Mikil nákvæmni er sérstaklega mikilvæg þar sem flestar síður eru öruggar; jafnvel tiltölulega lágt hlutfall falskra jákvæðra myndi gera flestar viðvaranir að fölskum viðvörunum. Fyrirmælastýrð almenn líkön standa sig oft illa hvað nákvæmni varðar og eru of hæg og dýr til að keyra á hverri síðu.

Greiningarlíkan sem þjálfað er á síðum með árásum og hreinum síðum sem safnað er hvorum í sínu lagi gæti lært flýtileiðir sem fyrir tilviljun aðgreina söfnin tvö, svo sem efni eða útlit síðu. Slíkt greiningarlíkan alhæfir hins vegar ekki vel. Guard er þess í stað þjálfað á pörum þar sem eini munurinn er innspýtingin sjálf, sem hjálpar til við að auka nákvæmni greiningarinnar. Fyrir hvert par les Guard síðuna með árásinni og hreinan tvíbura hennar hvora í sínu lagi og gefur hvorri um sig einkunn fyrir það hversu líklegt sé að hún innihaldi innspýtingu. Tvö þjálfunarmarkmið eru notuð til að uppfæra líkanið: hefðbundið flokkunarmarkmið og röðunarmarkmið sem refsar Guard nema síðan með árásinni fái hærri einkunn en tvíburinn hennar sem nemur að minnsta kosti föstu bili. Í einföldu máli kennir flokkunarmarkmiðið Guard hvaða ákvörðun eigi að taka og röðunarmarkmiðið tengir þá ákvörðun við innspýtinguna sjálfa og hunsar meinlausa truflunarþætti. Þannig er Guard þjálfað í að bregðast við innspýtingunni sjálfri frekar en öðru efni á síðunni.

Guard samanstendur af tveimur greiningarlíkönum, sem hvort um sig er fínstillt út frá Qwen3.5-0.8B. Textagreiningarlíkanið les eina textaframsetningu síðu: annaðhvort HTML, Markdown eða aðgengistré. Fjölháttar greiningarlíkanið les skjámynd af allri síðunni. Í notkun les Guard síðu í einni framvirkri umferð og skilar innspýtingarskori, og síðan er merkt ef skorið fer yfir þröskuldsgildi. Þar sem Guard hefur aðeins 0,8 milljarða færibreytna og skilar einu skori er það nógu hratt og ódýrt til að keyra á hverri síðu.

Mæling á frammistöðu

Við bárum Guard saman við 18 líkön sem fengu fyrirmæli um að greina innspýtingar á hluta viðmiðunarprófsins sem haldið var utan þjálfunar. Við birtum fjóra mælikvarða, mælda á BrowseSafe++:

• Heimt er hlutfall síðna með innspýtingu sem greiningarlíkanið merkir, sem mælir hversu margar árásir það grípur, svo hærra er betra.
• Hlutfall falskra jákvæðra (FPR) er hlutfall hreinna síðna sem greiningarlíkanið merkir fyrir mistök, sem mælir hversu oft það gefur falskar viðvaranir, svo lægra er betra.
• Nákvæmni er hlutfall merktra síðna sem innihalda í raun innspýtingu, sem mælir hversu oft viðvörun er rétt, svo hærra er betra.
• F1 er harmónískt meðaltal heimtar og nákvæmni; það er aðeins hátt þegar greiningarlíkan grípur flestar árásir og fáar merkingar þess eru falskar viðvaranir.

Við notum F1 sem aðalmælikvarða, þar sem gott greiningarlíkan ætti að hafa mikla nákvæmni og heimt. Allir fjórir mælikvarðarnir eru meðaltöl yfir textasýnirnar þrjár.

Stækka

Stækka

Samanburður líkana

Litlu líkönin með opnum vigtum sem við prófuðum lentu neðst. Mistral NeMo og Qwen3 30B-A3B merkja hvort um sig um helming hreinu síðnanna, á meðan Llama 3.1 8B merkir sjaldan nokkuð og missir af flestum árásum. Jafnvel sterkasta líkanið í hópnum, GPT-OSS 20B, nær aðeins F1-gildi upp á 70,97%. DeepSeek V3.1, mun stærra líkan með opnum vigtum, stendur sig aðeins betur, með F1-gildi upp á 75,23%.

Létt API-líkön, þar á meðal GPT-5.4 nano, Gemini 3.1 Flash-Lite og Claude Haiku 4.5, greina fleiri árásir, með heimt á bilinu 85% til 97%. Gallinn er hins vegar hátt hlutfall falskra viðvarana; Gemini 3.1 Flash-Lite er með lægsta FPR hópsins, 35,2%, og FPR Haiku er nærri 69%. Fyrir vikið er hæsta F1-skor hópsins 80,9%, sem Gemini 3.1 Flash-Lite nær.

Hin líkönin eru öflugri almenn líkön og ná F1-gildum á bilinu 85% til 92%. Þau standa þó enn frammi fyrir málamiðlunum milli heimtar og FPR; líkön sem hallast að varkárni loka á lögmætar síður og líkön sem merkja sjaldnar missa af árásum. Claude Sonnet 5 hefur mesta heimt allra greiningarlíkana, 98,73%, en FPR upp á 24,65%. Gemini 3.1 Pro og GPT-5.5 ná heimt upp á 97,78% og 97,19%, með FPR upp á 19,80% og 20,44%, í sömu röð. GPT-6 Astra hefur mesta heildarhittni, með heimt upp á 96,42% og FPR upp á 14,41%. Decider er í öðru sæti, með heimt upp á 96,02% og FPR upp á 17,44%. Claude Opus 5.5 hefur lægsta FPR, aðeins 4,21%, en heimt þess upp á 77,71% þýðir að það missir af meira en einni af hverjum fimm árásum. Claude Fable 5.1 virðist öflugt á þeim síðum sem það svarar, með heimt upp á 89,31% og FPR upp á 7,92%, en það neitar að svara á um 30% síðna, sem línan „(all)“ telur sem merkingar.

Stækka

Guard færir Pareto-jaðarinn fram og nær betra jafnvægi milli árása sem sleppa í gegn og falskra viðvarana. Það nær F1-gildi upp á um 95% og er í fyrsta sæti í öllum textasýnum. Það merkir aðeins um eina af hverjum 20 hreinum síðum, sem er um þriðjungur af tíðni Astra, fyrirmælastýrða líkansins með mesta hittni. Þessi munur stafar af þjálfun okkar; óbreytt Qwen3.5-0.8B, sem Guard byggir á, nær aðeins F1-gildi upp á 64% þegar það fær sömu fyrirmæli og hin líkönin og merkir nærri þrjár af hverjum fjórum hreinum síðum. Í skjámyndasýninni berum við saman fjölháttagreiningarlíkan Guard og fjögur líkön sem geta unnið með myndir. Með skjámyndum af heilum síðum nær Guard um 93% F1, á móti um 79% hjá besta hinna líkananna sem við mátum.

Að bera kennsl á árás er ekki það sama og að standast hana

Innsæi segir okkur að líkan sem getur borið rétt kennsl á innspýtingu ætti einnig að hunsa þá innspýtingu þegar það rekst á síðuna við að sinna verkefnum notenda. Tilraunir okkar sýna hins vegar að góðar niðurstöður í greiningu tryggja ekki að líkan standist árás. Við gáfum hverju líkani sömu síðu með árás tvisvar, einu sinni til að meta hvort hún innihéldi innspýtingu og einu sinni til að sinna verkefni notandans án þess að sjá fyrri úrskurðinn. Sérstakur dómari kannaði hvort það fylgdi innspýtingunni. Öll líkönin sem voru prófuð fylgdu samt sumum innspýtingum sem þau höfðu merkt, frá 1,64% merktra síðna hjá GPT-6 Astra upp í 24,73% hjá Llama 3.1 8B.

Stækka

Niðurstöður greiningar spá ekki áreiðanlega fyrir um mun á líkönum. Claude Sonnet 5 og GPT-5.5 greina innspýtingar álíka vel, með F1-gildi upp á um 88% og 89%, í sömu röð. Sonnet 5 fylgdi hins vegar innspýtingu sem það hafði merkt á 19,74% síðna, tíu sinnum oftar en GPT-5.5 með 1,97%.

Kerfi til varnar gegn innspýtingum, tilbúið til notkunar

Þessar niðurstöður benda til þess að það sé gagnlegt að fela sérhæfðu líkani ákvörðunina um að loka á síðu, í stað þess að treysta á líkanið sem sinnir verkefni notandans. Sérstakt greiningarlíkan sem skimar hverja síðu áður en gervigreindarfulltrúinn bregst við veitir aukið varnarlag og hefur hvorki verkefni sem hægt er að ræna né verkfæri sem hægt er að misnota.

Guard er smíðað til að vera slíkt greiningarlíkan. Auk þess að vera með hæsta F1-skor og réttleika allra líkana sem við prófuðum gerir smæð þess það nógu ódýrt til að keyra á hverri síðu. Að meðaltali notaði Guard um 0,15 sekúndur af GPU-tíma á hverja textasíðu. Á leigðum H200 áætlum við kostnaðinn 0,18 $ á hverjar 1.000 síður, samanborið við 18,95–180,61 $ fyrir fremstu API-líkönin á listaverði. Þetta gerir tíða skimun mun ódýrari í samanburði okkar en heldur jafnframt háum greiningarskorum.

Myndin hér að neðan sýnir hittni hvers greiningarlíkans á móti tíma á hverja síðu og kostnaði á hverjar 1.000 síður, hvort tveggja á lógaritmískum kvarða. Guard situr eitt í efra vinstra horni beggja hluta myndarinnar: það stendur sig best hvað varðar hittni, hraða og kostnað. Hvert fyrirmælastýrt líkan tekur um sekúndu eða meira á hverja síðu og þau tvö sem hafa mesta hittni, GPT-6 Astra og Claude Fable 5.1, kosta yfir 100 USD á hverjar 1.000 síður.

Stækka

Prófun varna gegn aðlögunarhæfum árásum

Viðmiðunarprófið BrowseSafe++ inniheldur takmarkað safn innspýtinga. Raunverulegur árásaraðili getur hins vegar gert aðlögunarhæfa árás; þegar innspýting mistekst getur árásaraðilinn endurritað hana og reynt aftur. Fyrir vikið gæti gervigreindarfulltrúi sem stenst upprunalegu innspýtinguna samt verið berskjaldaður fyrir framtíðarárásum. Auk þess eru líkön þjálfuð á gögnum sem safnað er af netinu, svo þau gætu lært að standast flestar innspýtingar viðmiðunarprófsins; þar sem við gefum viðmiðunarprófið út opinberlega mun það líklega mettast og hætta að greina vel á milli líkana. Til að takast á við bæði vandamálin smíðuðum við BrowseSafe-Adapt, prófunarumhverfi þar sem árásarlíkan getur endurritað innspýtingar. Hvert próf hefur þrjú stig:

1. Settu upp tilvikið. Tilvik tengir færslu úr BrowseSafe++ við þann gervigreindarfulltrúa sem prófaður er. Færslan úr BrowseSafe++ inniheldur atburðarás með fyrirspurn og verkefni notanda, síðu sem ráðist hefur verið á og þá niðurstöðu sem árásaraðilinn sækist eftir. Gervigreindarfulltrúinn vinnur í sandkassa sem veitir þau verkfæri og tilbúnu gögn sem þarf til að framkvæma verkefnið. Sérstakt sannprófunarlíkan metur hvort árásin hafi náð markmiði sínu.
2. Keyra tilraun: Við setjum núverandi innspýtingu inn á síðuna og látum gervigreindarfulltrúann sinna verkefninu. Sannprófarinn athugar svar gervigreindarfulltrúans og allar breytingar sem hann gerði á sandkassanum til að ákvarða hvort árásin heppnaðist. Fyrsta tilraunin notar innspýtinguna úr upprunalegu BrowseSafe++-færslunni.
3. Endurskoða og endurtaka: Ef árás mistekst geymum við tilraunina í safni og gagnrýnislíkan fer yfir hvað fór úrskeiðis. Árásarlíkan notar þá endurgjöf til að endurrita innspýtinguna; það getur breytt orðalagi, sniði eða staðsetningu árásarinnar á síðunni. Markmið árásarinnar, árangursviðmið og efnið umhverfis á síðunni haldast óbreytt. Næsta tilraun notar uppfærðu árásina. Þetta ferli er endurtekið þar til árásin heppnast eða árásaraðilinn nær tilteknu hámarki tilrauna.

Stækka

Við prófuðum sjö gervigreindarfulltrúa, sem hver um sig byggir á mismunandi líkani: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite og líkönunum með opnum vigtum DeepSeek V3.1 og Kimi K2. Hver gervigreindarfulltrúi fékk sömu 1.024 verkefnin, með allt að 64 tilraunum á hvert verkefni. Í fyrstu tilraun var árangur árása lítill hjá öllum sjö gervigreindarfulltrúunum. Upprunalegu innspýtingarnar heppnuðust í mesta lagi í 4% metinna verkefna gegn hvaða gervigreindarfulltrúa sem var. Innan aðlögunarrammans jókst árangur árása verulega. Árásaraðilanum tókst ætlunarverk sitt í að minnsta kosti 79% verkefna gegn fimm af sjö gervigreindarfulltrúum. Jafnvel sterkustu gervigreindarfulltrúarnir voru berskjaldaðir: árásir heppnuðust samt í um tveimur af hverjum þremur verkefnum gegn GPT-5.5 og um einu af hverjum þremur gegn Claude Sonnet 5.

Munurinn á gervigreindarfulltrúum er mestur þegar markmið árásaraðilans er að fá gervigreindarfulltrúann til að framkvæma tiltekið verkfærakall. Í verkefnum með slíkt markmið lét Sonnet 5 undan í um 8% verkefna og GPT-5.5 í um 29%. Hinir fimm framfylgdu markmiði árásaraðilans í meira en helmingi verkefna sinna.

Við keyrðum einnig BrowseSafe-Adapt gegn gervigreindarfulltrúanum sem byggir á Gemini 3.5 Flash-Lite, þar sem Guard skimaði hverja síðu fyrst. Guard stöðvaði 94,5% af upprunalegu innspýtingunum og nærri tvöfaldaði meðalfjölda tilrauna sem árásaraðilarnir þurftu, úr 9,7 í 17,0. Með allar 64 tilraunirnar tókst árásaraðilanum þó samt ætlunarverk sitt í 84,2% verkefna (93,6% án Guard), nær alltaf með innspýtingu sem Guard merkti ekki. Þetta er í samræmi við þá sýn sem við settum fram þegar við gáfum út BrowseSafe: ekkert greiningarlíkan er töfralausn, svo greiningarlíkan þarf að vera hluti af lagskiptum vörnum.

Stækka

Niðurstaða

Gervigreindarfulltrúar í vöfrum eru oft berskjaldaðir fyrir óbeinni fyrirmælainnspýtingu, þar sem árásir sem faldar eru á venjulegum síðum reyna að trufla getu gervigreindarfulltrúanna til að sinna verkefnum notenda. Hætturnar aukast aðeins með tímanum, bæði eftir því sem gervigreindarfulltrúar fá aðgang að fleiri gögnum og verkfærum, sem eykur það sem er í húfi í árásum, og eftir því sem árásaraðilar geta endurskoðað innspýtingar sínar til að gera þær áhrifaríkari.

BrowseSafe-safnið okkar tekur á þessum ógnum. Viðmiðunarprófið BrowseSafe++ inniheldur 38.675 vefsíðupör sem byggja fyrst og fremst á raunverulegum innspýtingum, sem gerir þjálfun og mat greiningarlíkana áreiðanlegra. Greiningarlíkönin í BrowseSafe-Guard, sem þjálfuð eru á þessum pörum, gera mjög nákvæma, hraða og ódýra greiningu mögulega, svo hægt er að skima síður áður en gervigreindarfulltrúi bregst við þeim. Ramminn BrowseSafe-Adapt gerir kleift að prófa líkön gegn endurskoðuðum innspýtingum og varpar ljósi á veikleika sem koma hugsanlega ekki í ljós í stökum tilraunum með föstum innspýtingum.

Við vonum að saman auðveldi þessi verkfæri rannsakendum og verkfræðingum að finna bresti og bæta varnir gegn fyrirmælainnspýtingum á vefnum. Við erum einnig stöðugt að meta og bæta innbyggðar varnir Comet og Computer til að tryggja öryggi notenda okkar.

Hafist handa

1. Settu upp SDK-ið og fáðu aðgang að gögnunum. Hægt er að setja SDK upp frá GitHub:

Aðgangur að gagnasafninu er takmarkaður. Óskaðu einu sinni eftir aðgangi á Hugging Face-síðu þess og skráðu þig svo inn með hf auth login.

2. Sendu inn á stigatöfluna. Mettu þitt eigið greiningarlíkan á prófunarhluta BrowseSafe++:

Þetta skrifar eina ákvörðun á hverja síðu fyrir hverja framsetningu sem þú tilgreinir; tilgreindu allar þrjár textaframsetningarnar til að fá meðaltal á textastigatöflunni. Skráðu þig inn á Space-svæði stigatöflunnar með Hugging Face-aðganginum þínum og hladdu upp predictions.jsonl. Space-svæðið skilar F1-skori, réttleika, hlutfalli falskra jákvæðra og hinum mælikvörðunum fyrir hverja framsetningu og birtir niðurstöðuna, ef þú kýst, á stigatöflunni. Hver aðgangur (að minnsta kosti 60 daga gamall) fær eina innsendingu sem hlýtur einkunn í hverri viku (UTC). Prófunarsíðurnar eru eingöngu ætlaðar til mats: ekki þjálfa á þeim eða dreifa þeim áfram. Í leiðbeiningum um innsendingar er fjallað um skráarsniðið og reglur um birtingu.

Tilvitnun

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}