BrowseSafeతో సురక్షితమైన AI బ్రౌజర్‌లను నిర్మించడం

నేడు, మేము BrowseSafeను విడుదల చేస్తున్నాము, ఇది ఏజెంట్ వెబ్‌లో నావిగేట్ చేస్తున్నప్పుడు వినియోగదారులను సురక్షితంగా ఉంచే లక్ష్యంతో రూపొందించப்பட்ட ఓపెన్ రీసెర్చ్ బెంచ్‌మార్క్ మరియు కంటెంట్ డిటెక్షన్ మోడల్.

AI అసిస్టెంట్లు సెర్ச் బాక్సుల నుండి బ్రౌజర్‌లోకి మారుతున్న కొద్దీ, వెబ్ యొక్క తదుపరి తరం పేజీల నుండి ఏజెంట్లకు మారుతుందని మేము ఆశిస్తున్నాము: సమాచారం ఎక్కడ ఉంది అనే దాని కంటే, దాన్ని ఎవరు సేకరించి దానిపై చర్య తీసుకుంటున్నారు అనేదానిపై ఎక్కువ దృష్టి ఉంటుంది. Comet బ్రౌజర్‌ను కేవలం ప్రశ్నలకు సమాధానం ఇవ్వడమే కాకుండా, అసిస్టెంట్ పనులను పూర్తి చేయగల ప్రదేశంగా మారుస్తుంది, కాబట్టి ఒక సూత్రం రాజీపడలేనిది: ఇది ఎల్లప్పుడూ వినియోగదారు వైపే ఉండాలి.

BrowseSafe: రియల్‌టైమ్ కంటెంట్ స్కాన్ ద్వారా ఏజెంట్లు మరియు వినియోగదారులను రక్షించడం

BrowseSafe అనేది ఒకే కేంద్రీకృత ప్రశ్నకు సమాధానం ఇవ్వడానికి ఫైన్-ట్యూన్ చేయబడిన డిటెక్షన్ మోడల్: ఒక పేజీ యొక్క HTML ఇవ్వబడితే, అది ఏజెంట్‌ను లక్ష్యంగా చేసుకున్న హానికరమైన సూచనలను కలిగి ఉందా? పెద్ద జనరల్-పర్పస్ మోడల్స్ ఈ కేసుల గురించి బాగా ఆలోచించగలవు, కానీ ప్రతి పేజీలో అమలు చేయడానికి అవి చాలా నెమ్మదిగా మరియు ఖరీదైనవిగా ఉంటాయి. BrowseSafe బ్రౌజర్‌ను నెమ్మదించకుండా పూర్తి వెబ్ పేజీలను రియల్ టైమ్‌లో స్కాన్ చేస్తుంది. డిఫెన్స్ ప్రభావాన్ని అంచనా వేయడానికి మరియు మెరుగుపరచడానికి మేము BrowseSafe‑Bench ఎవాల్యుయేషన్ సూట్‌ను కూడా రిసోర్స్‌గా విడుదల చేస్తున్నాము.

ట్రస్ట్ బౌండరీస్ మరియు లేయర్డ్ డిఫెన్సెస్

అయినప్పటికీ, AI బ్రౌజింగ్ యొక్క కొత్త తరం అంటే వినియోగదారులను సురక్షితంగా ఉంచడానికి నూతన విధానాలు అవసరమయ్యే సైబర్‌సెక్యూరిటీ బెదిరింపుల కొత్త తరం అని కూడా అర్థం. మునుపటి పోస్ట్‌లో, వెబ్‌సైట్ ప్రాంప్ట్ ఇన్‌జెక్షన్తో దానిని హైజాక్ చేయడానికి ప్రయత్నించినప్పుడు కూడా, వినియోగదారు అడిగిన పనిని అసిస్టెంట్ చేసేలా ఉంచడానికి Comet బ్రౌజర్ బహుళ రక్షణ పొరలను ఎలా ఉపయోగిస్తుందో మేము వివరించాము. నేడు మేము ఆ సమస్యను ఎలా పరిష్కరిస్తాము అనే దానిపై దృష్టి పెడుతున్నాము: ఆ బెదిరింపులు ఎలా నిర్వచించబడ్డాయి, వాస్తవ ప్రపంచ దాడిలపై ఎలా పరీక్షించబడతాయి మరియు బ్రౌజర్‌లో సురక్షితంగా అమలు చేయడానికి తగినంత వేగంగా చెడు సూచనలను గుర్తించి ఆపగల ప్రత్యేక నమూనాలను శిక్షణ ఇవ్వడానికి ఎలా ఉపయోగించబడతాయి.

బ్రౌజర్ ప్రాంప్ట్ ఇన్‌జెక్షన్ ఎలా పనిచేస్తుంది

ప్రాంప్ట్ ఇన్‌జెక్షన్ అనేది AI చదివే టెక్స్ట్‌లో పొందుపరచబడిన హానికరమైన భాష, ఇది దాని అసలు ఉద్దేశ్యాన్ని భర్తీ చేయడానికి రూపొందించబడింది. బ్రౌజర్‌లో, ఏజెంట్లు संपूर्ण పేజీలను చదువుతాయి, కాబట్టి దాడులు వ్యాఖ్యలు, టెంప్లేట్లు లేదా సుదీర్ఘ ఫూటర్‌ల వంటి ప్రదేశాలలో దాచగలవు.

దాడి చేసేవారు ఏజెంట్‌ను నిశ్శబ్దంగా దారి మళ్లించే సూచనలను జారవిడుచుకోవడానికి ఆ ప్రదేశాలను ఉపయోగిస్తారు. ఇది ప్రతిదీ చదువుతుంది కాబట్టి, చాలా మంది ప్రజలు ఎప్పుడూ గమనించని కంటెంట్‌తో సహా, ఆ సందేశాలు బలమైన రక్షణలు లేకుండా ప్రవర్తనను హైజాక్ చేయగలవు.

ఈ దాడులు తరచుగా స్పష్టమైన పదబంధాలను నివారిస్తాయి మరియు పాలిష్ చేయబడిన లేదా బహుభాషా టెక్స్ట్‌లో వ్రాయబడవచ్చు లేదా తెరపై ఎప్పటికీ కనిపించని HTML మూలకాలలో ఉంచబడవచ్చు, ఉదాహరణకు డేటా అట్రిబ్యూట్‌లు లేదా బ్రౌజర్‌లు కనిపించే విధంగా రెండర్ చేయని కానీ ఏజెంట్లు ఇప్పటికీ పార్స్ చేసే ఫార్మ్ ఫీల్డ్‌లు.

BrowseSafe-Bench: వాస్తవ ప్రపంచ వాతావరణాలలో ఏజెంట్ భద్రతను ముందుకు తీసుకెళ్లడం

అసలు వెబ్ లాగా కనిపించే సెట్టింగ్‌లో ఈ దాడులను అధ్యయనం చేయడానికి, మేము శిక్షణ పొందిన మరియు ఓపెன்-సోర్స్ చేసిన డిటెక్షన్ మోడల్ BrowseSafeను మరియు ప్రొడక్షన్ పేజీలను అనుకరించే 14,719 ఉదాహరణల పబ్లిక్ బెంచ్‌మార్క్ అయిన BrowseSafe‑Benchను రూపొందించాము. ఇది సంక్లిష్టమైన HTML, శబ్దంతో కూడిన కంటెంట్ మరియు మూడు అక్షాల వెంట మారే హానికరమైన మరియు హానిచేయని నమూనాల మిశ్రమాన్ని కలిగి ఉంటుంది: దాడి చేసే వ్యక్తి ఏమి చేయడానికి ప్రయత్నిస్తున్నాడు, పేజీలో సూచన ఎక్కడ ఉంది మరియు భాష ఎలా వ్రాయబడింది.

బెంచ్‌మార్క్‌లో 11 దాడి రకాలు, దాచిన ఫీల్డ్‌ల నుండి కనిపించే పేరాగ్రాఫ్‌లు మరియు ఫూటర్‌ల వరకు విస్తరించి ఉన్న తొమ్మిది ఇన్‌జెక్షన్ వ్యూహాలు మరియు స్పష్టమైన கட்டளைల నుండి పరోక్ష, మారువేషంలో ఉన్న టెక్స్ట్ వరకు మూడు భాషా శైలులు ఉన్నాయి.

రక్షణలో లోతైన విధానం

మా బెదిరింపు నమూనాలో, అసిస్టెంట్ స్వయంగా విశ్వసనీయ వాతావరణంలో నివసిస్తుంది, అయితే వెబ్ నుండి వచ్చేది ఏదైనా విశ్వసించబడదు. దాడి చేసేవారు మొత్తం సైట్‌లను నియంత్రించవచ్చు లేదా అసిస్టెంట్ సందర్శించే హాని లేని పేజీలలో ఉత్పత్తి వివరణలు, వ్యాఖ్యలు మరియు పోస్ట్‌ల వంటి కంటెంట్‌ను ఇన్‌జెక్ట్ చేయవచ్చు. ఆ ప్రమాదాన్ని నిర్వహించడానికి, వెబ్ పేజీలు, ఇమెయిల్‌లు లేదా ఫైల్‌ల వంటి విశ్వసనీయత లేని కంటెంట్‌ను అందించగల సాధనాలు ఫ్లాగ్ చేయబడతాయి మరియు వాటి ముడి అవుట్‌పుట్‌లు ఏజెంట్ వాటిని చదవడానికి లేదా వాటిపై చర్య తీసుకోవడానికి ముందు ఎల్లప్పుడూ BrowseSafe ద్వారా స్కాన్ చేయబడతాయి.

BrowseSafe అనేది విస్తృత రక్షణ విధానంలో ఒక పొర. ముడి కంటెంట్ ఉపయోగించే ముందు స్కాన్ చేయబడుతుంది, టూల్ అనుమతులు డిఫాల్ట్‌గా పరిమితం చేయబడతాయి మరియు సున్నితమైన చర్యలకు స్పష్టమైన వినియోగదారు నిర్ధారణ అవసరం కావచ్చు, ఇవన్నీ ఇప్పటికే ఉన్న బ్రౌజర్ భద్రతా లక్షణాలపై ఉంటాయి. రక్షణలో లోతైన విధానం వినియోగదారులు భద్రతను సామర్థ్యం కోసం త్యాగం చేయకుండా శక్తివంతమైన బ్రౌజర్ అసిస్టెంట్‌లను స్వీకరించడానికి వీలు కల్పిస్తుంది.

దాడి ప్రభావాన్ని ఏది ప్రభావితం చేస్తుంది?

BrowseSafe‑Benchపై మూల్యాంకన ఫలితాలు స్పష్టమైన నమూనాలను చూపుతున్నాయి. సిస్టమ్ ప్రాంప్ట్‌ను బహిర్గతం చేయమని అసిస్టెంట్‌ను కోరడం లేదా URL సెగ్మెంట్ల ద్వారా సమాచారాన్ని ఎక్స్‌ఫిల్ట్రేట్ చేయడం వంటి ప్రత్యక్ష దాడులు, మోడల్స్ సులభంగా పట్టుకోగల వాటిలో ఉన్నాయి. దీనికి విరుద్ధంగా, బహుభాషా దాడులు మరియు పరోక్ష లేదా హైపోథెటికల్ సూచనలుగా వ్రాయబడినవి చాలా కష్టంగా ఉంటాయి, ఎందుకంటే అవి అనేక డిటెక్టర్లు అంతర్గతంగా ఆధారపడే స్పష్టమైన కీలక పదాలను నివారిస్తాయి.

స్థానం కూడా ముఖ్యం. వ్యాఖ్యలలో దాచబడిన దాడులు సాపేక్షంగా బాగా గుర్తించబడతాయి, అయితే కనిపించే ఫూటర్‌లు, టేబుల్ సెల్‌లు లేదా ఇన్‌లైన్ పేరాగ్రాఫ్‌లలో తిరిగి వ్రాయబడిన వెర్షన్‌లు చాలా కష్టంగా నిరూపించబడతాయి, ఇది "దాచిన" ఇన్‌జెక్షన్‌ల వైపు నిర్మాణపరమైన పక్షపాతాన్ని వెల్లడిస్తుంది. చక్కగా రూపొందించబడిన ఉదాహరణలపై జాగ్రత్తగా శిక్షణ ఇవ్వడం ఈ నమూనాలను గుర్తించే మోడల్స్ సామర్థ్యాన్ని గణనీయంగా మెరుగుపరుస్తుంది.

BrowseSafeతో సురక్షితమైన ఏజెంట్లను నిర్మించండి

BrowseSafe మరియు BrowseSafe-Bench పూర్తిగా ఓపెన్-సోర్స్. స్వయంప్రతిపత్త ఏజెంట్లను నిర్మించే ఏ డెవలపర్ అయినా ప్రాంప్ట్ ఇన్‌జెక్షన్‌కు వ్యతిరేకంగా తమ సిస్టమ్‌లను వెంటనే గట్టిపరుచుకోవచ్చు - భద్రతా రైళ్లను మొదటి నుండి నిర్మించాల్సిన అవసరం లేదు. ఓపెన్-వెయిట్ డిటెక్షన్ మోడల్ స్థానికంగా నడుస్తుంది మరియు హానికరమైన సూచనలు మీ ఏజెంట్ కోర్ లాజిక్‌ను చేరుకోవడానికి ముందే వాటిని ఫ్లాగ్ చేస్తుంది, వినియోగదారులను నెమ్మదించకుండా ప్రతి పేజీని స్కాన్ చేయడానికి తగినంత వేగంగా ఉంటుంది.

ప్రామాణిక LLMలను విచ్ఛిన్నం చేసే గజిబిజి HTML ట్రాప్‌లకు వ్యతిరేకంగా మీ స్వంత నమూనాలను స్ట్రెస్-టೆಸ್ಟ್ చేయడానికి BrowseSafe-Bench యొక్క 14,000+ వాస్తవ ప్రపంచ దాడి దృశ్యాలను ఉపయోగించండి. మా చంకింగ్ మరియు సమాంతర స్కాన్ పద్ధతులు ఏజెంట్లు భారీ, విశ్వసనీయత లేని పేజీలను సమర్థవంతంగా ప్రాసెస్ చేయడానికి అనుమతిస్తాయి - వినియోగదారులను ప్రమాదానికి గురి చేయకుండా శక్తివంతమైన బ్రౌజింగ్ సామర్థ్యాలు.

మేము BrowseSafe మరియు BrowseSafe-Bench ఎలా నిర్మించాము అనే దాని గురించి మరింత తెలుసుకోవడానికి, Perplexity రీసెర్చ్ బ్లాగ్ను చూడండి.