మేము సురక్షితమైన ఏజెంట్లను ఎలా ఇంజనీర్ చేస్తాము

సురక్షితమైన AI ఏజెంట్లను నిర్మించడానికి, మేము వారి సామర్థ్యాలు మరియు వారి వైఫల్యాలు రెండింటికీ రూపకల్పన చేయాలి. చట్టబద్ధమైన పనులను నిర్వహిస్తున్నప్పుడు కూడా, మరియు ఎలాంటి హానికరమైన సూచనలు లేకపోయినా, అడ్డంకులను అధిగమించడానికి ప్రయత్నిస్తున్నప్పుడు ఏజెంట్లు భద్రతా సరిహద్దులను దాటవచ్చు.

ఇది ఒక సెక్యూరిటీ ఇంజనీరింగ్ సమస్య అని మేము నమ్ముతున్నాము, మరియు పరిశ్రమ 2000ల ప్రారంభంలోని ఇంటర్నెట్ వార్మ్‌లను పరిష్కరించిన విధానంలోనే దీనిని పరిష్కరించాలి. ఏజెంట్లను చుట్టుముట్టే వ్యవస్థలు ఏజెంట్లు యాక్సెస్ చేయగల వాటిని పరిమితం చేయాలి, అవాంఛిత ప్రవర్తనను గుర్తించాలి మరియు వైఫల్యాలు సంభవించినప్పుడు వాటిని నిరోధించాలి.

పెర్ప్లెక్సిటీలో, AI ఏజెంట్ల కోసం సెక్యూరిటీ ఇంజనీరింగ్‌ను ముందుకు తీసుకెళ్లడానికి మేము పరిశోధకులు మరియు అభ్యాసకులతో చురుకుగా సహకరిస్తున్నాము మరియు భద్రత ఏ ఒక్క రక్షణపై ఆధారపడి ఉండకుండా మా మోడల్స్, ఏజెంట్ హార్నెస్‌లు మరియు మౌలిక సదుపాయాలలో బహుళ రక్షణ పొరలను వర్తింపజేస్తాము.

AI ఏజెంట్ల మెల్ట్‌డౌన్ ప్రవర్తన

జూలైలో, AI ఏజెంట్లు ఓపెన్-సోర్స్ AI ప్లాట్‌ఫారమ్ హగ్గింగ్ ఫేస్ యొక్క ప్రొడక్షన్ మౌలిక సదుపాయాలలోకి చొరబడ్డాయి. అంతర్గత సైబర్‌సెక్యూరిటీ మూల్యాంకనం మరియు శిక్షణా రన్‌ల సమయంలో, ఆర్టిఫ్యాక్టరీ రిపోజిటరీ మేనేజర్‌ను దోపిడీ చేయడానికి ఒక మార్గాన్ని OpenAI మోడల్‌లు కనుగొన్నాయి, తద్వారా వారు ఒకరితో ఒకరు కమ్యూనికేట్ చేసుకోవడానికి ఒక బులిటెన్ బోర్డ్‌ను ఏర్పాటు చేసుకున్నారు, ఇది స్వార్మ్‌లుగా నిర్వహించగలిగేలా చేసింది. తదనంతరం, సైబర్‌సెక్యూరిటీ బెంచ్‌మార్క్‌లో పనులపై పురోగతి సాధించలేకపోయిన ఏజెంట్లు సహాయం చేయడానికి ఇతర ఏజెంట్లను నియమించుకున్నారు. ఈ ఏజెంట్లు తమ మూల్యాంకన వాతావరణం నుండి తప్పించుకుని ఇంటర్నెట్‌ను చేరుకున్నాయి. వారు బెంచ్‌మార్క్ పనుల సమాధానాలను రివర్స్-ఇంజనీరింగ్ చేయడం ద్వారా మోసం చేసే మార్గాలను కూడా కనుగొన్నారు, అయితే గ్రేడింగ్ సిస్టమ్ మోసాన్ని గుర్తిస్తుందని భావించారు. మోసగా గుర్తించబడకుండా ఉండే మార్గాలను కనుగొనడానికి బెంచ్‌మార్క్ మూల్యాంకనం ఎలా పనిచేస్తుందో బాగా అర్థం చేసుకోవడానికి, వారు చివరికి హగ్గింగ్ ఫేస్ సిస్టమ్‌లను రాజీ పడ్డారు (Hugging Face; OpenAI).

మేము జూలైలో నంబట్‌ను ఓపెన్-సోర్స్ చేసినప్పుడు మేము వివరించిన వైఫై మోడ్‌కు ఈ సంఘటన స్పష్టమైన ఉదాహరణ: ఆకస్మిక మెల్ట్‌డౌన్‌లు, కార్నెల్ టెక్ (arXiv) నుండి భద్రతా పరిశోధకులు సృష్టించిన పదం. చట్టబద్ధమైన లక్ష్యాన్ని అనుసరిస్తున్న ఏజెంట్ తప్పిపోయిన ఫైల్, విఫలమైన API కాల్, గడువు ముగిసిన ఆధారం లేదా అనుమతి నిరాకరణ వంటి ఘర్షణను ఎదుర్కొంటుంది మరియు పని చేయడానికి ఒక మార్గం కోసం వెతుకుతుంది. అలా చేయడంలో, ఇది నిఘా,特权 ఎస్కలేషన్, రహస్య ఆవిష్కరణ లేదా డేటా ఎక్స్‌ఫిల్ట్రేషన్ ద్వారా భద్రతా సరిహద్దులను దాటవచ్చు. హానికరమైన ప్రాంప్ట్ లేదా బాహ్య దాడి చేసే వ్యక్తి లేనప్పటికీ, ఏజెంట్ స్వయంగా ప్రభావవంతంగా ప్రత్యర్థిగా మారుతుంది.

హగ్గింగ్ ఫేస్ ఒక్కటే దీనికి మినహాయింపు కాదు. ఇటీవలి వారాల్లో మరిన్ని ఏజెంట్ మెల్ట్‌డౌన్ ప్రవర్తనలు కనుగొనப்பட்டு నివేదించబడ్డాయి. మే 27-28 తేదీలలో, US ప్రభుత్వ డేటాకు ఓపెన్ యాక్సెస్‌ను అందించే ప్లాట్‌ఫారమ్ అయిన డేటా USA నుండి అయోవా విశ్వవిద్యాలయ డేటాను సేకరించడానికి ప్రయత్నిస్తున్న ఏజెంట్లు, తప్పుగా రూపొందించப்பட்ட ప్రశ్న వల్ల ఏర్పడిన లోపాలను ఎదుర్కొన్నారు. వారు SQL ఇన్‌జెక్షన్, క్రాస్-సైట్ స్క్రిప్టింగ్, టెంప్లేట్ ఇన్‌జెక్షన్, పాత్ ట్రావెర్సల్ మరియు కమాండ్ ఇన్‌జెక్షన్‌లతో సహా ప్రోబ్‌లతో స్పందించారు. ఈ చర్య తర్వాత OpenAIకి లింక్ చేయబడింది (SecurityWeek). జూన్ 20-21 తేదీలలో, ఆస్ట్రేలియన్ ఇన్‌స్టిట్యూట్ ఆఫ్ హెల్త్ అండ్ వెల్ఫేర్ (AIHW) నుండి విక్టోరియాలోని స్థానిక ప్రాంతాలలో మందుల వర్గం కోసం ప్రతి వ్యక్తి ప్రభుత్వ ఖర్చులను పొందడానికి ప్రయత్నిస్తున్న OpenAI ఏజెంట్లు ఫైల్‌ను డౌన్‌లోడ్ చేయకుండా నిరోధించబడ్డాయి. దానికి ప్రతిస్పందనగా, ఏజెంట్లు AIHW ప్రీ-ప్రొడక్షన్ సర్వర్ నుండి ఇప్పటికే పబ్లిక్‌గా ఉన్న ఫైల్‌ను డౌన్‌లోడ్ చేసుకున్నారు, ఈ ప్రక్రియలో సైట్ యొక్క యాంటీ-బాట్ రక్షణలను దాటవేశారు (SecurityWeek).

ఈ సరళి కేవలం ఒక ల్యాండ్‌కే పరిమితం కాదు. సైబర్‌సెక్యూరిటీ పరీక్షల సమయంలో, Anthropic మోడల్‌లు ఓపెన్ ఇంటర్నెట్ యాక్సెస్‌ను అందించిన తర్వాత మూడు కంపెనీలను ఉల్లంఘించాయి, Google యొక్క Gemini మూడు వెబ్‌సైట్‌ల ఆధారాలను ఊహించింది మరియు Meta మోడల్ మూడవ పక్ష సేవను దోపిడీ చేసింది (Reuters).

చరిత్ర నుండి నేర్చుకోవడం: ఇంటర్నెట్ వార్మ్‌ల యుగం

ఈ సంఘటనలు దాదాపు పావు శతాబ్దం క్రితం నాటి ఇంటర్నెట్ వార్మ్‌ల యుగాన్ని గుర్తుకు తెస్తాయి. 2000ల ప్రారంభంలో, ఇంటర్నెట్ దాని చుట్టూ ఉన్న భద్రతా పద్ధతుల కంటే చాలా వేగంగా అభివృద్ధి చెందింది. AI ఏజెంట్లు మెల్ట్‌డౌన్‌లో ఉన్నప్పుడు మనం ఇప్పుడు చూస్తున్న దానికంటే చాలా తీవ్రమైన పరిణామాలతో వైరస్‌లు మరియు వార్మ్‌ల తరంగాన్ని మనం చూశాము.

మే 4, 2000న, "ILOVEYOU" అనే విషయ పంక్తితో సుపరిచితమైన పంపినవారి నుండి ప్రజలు ఇమెయిల్‌లను అందుకోవడం ప్రారంభించారు. ఇమెయిల్‌లోని అటాచ్‌మెంట్‌ను తెరవడం వల్ల బాధితుడి అవుట్‌లుక్ చిరునామా పుస్తకంలోని ప్రతి ఒక్కరికీ దాని స్వంత కాపీని మెయిల్ చేసే స్క్రిప్ట్ రన్ అయింది. ఆ రోజు సాయంత్రం 6 గంటల సమయానికి, CERT కోఆర్డినేషన్ సెంటర్ 420,000 కంటే ఎక్కువ ఇంటర్నెట్ హోస్ట్‌లతో కూడిన నివేదికలను అందుకుంది (US GAO Report). ఈ వైరస్ రక్షణ శాఖ, CIA, NASA మరియు హౌస్ మరియు సెనేట్‌తో సహా కనీసం 14 ఫెడరల్ ఏజెన్సీలలోకి చొచ్చుకుపోయినట్లు నివేదించబడింది (US GAO Report). ఇది పెంటాగన్ మరియు బ్రిటిష్ పార్లమెంట్‌లో ఇమెయిల్ సర్వర్‌లను కూడా మూసివేసింది (Wired). ఇన్సూరెన్స్ దిగ్గజం లాయిడ్స్ ఆఫ్ లండన్ ఈ వైరస్ నష్టాలు మరియు కోల్పోయిన ఉత్పాదకతలో $15 బిలియన్లకు పైగా ఖర్చు చేస్తుందని ప్రారంభ అంచనా వేసింది (US House Committee Hearing). కంప్యూటర్ ఎకనామిక్స్ తర్వాత ప్రపంచవ్యాప్తంగా $8.75 బిలియన్ల నష్టాన్ని అంచనా వేసింది (Information Week).

మానవ క్లిక్ అవసరం లేని వార్మ్‌లు తదుపరి వచ్చాయి. జూలై 19, 2001న, కోడ్-రెడ్ వార్మ్ 14 గంటల కంటే తక్కువ వ్యవధిలో 359,000 కంటే ఎక్కువ కంప్యూటర్లను సోకింది (CAIDA). జనవరి 25, 2003న, SQL స్లామర్ ప్రతి 8.5 సెకన్లకు పరిమాణంలో రెట్టింపు అయింది మరియు 10 నిమిషాల్లో దానికి హాని కలిగించే ఇంటర్నెట్ హోస్ట్‌లలో 90% కంటే ఎక్కువ సోకింది (CAIDA), ఆరు నెలల క్రితం మైక్రోసాఫ్ట్ విడుదల చేసిన ప్యాచ్‌ను ఉపయోగించుకునే ఒక రంధ్రం ద్వారా ఇది జరిగింది (CNET). ఆగస్టు 2003లో, బ్లాస్టర్ వార్మ్ మరియు సోబిగ్ ఇమెయిల్ వార్మ్ దాదాపు ఒక వారం వ్యవధిలో కనిపించాయి (Microsoft, F-Secure).

ఆ సమయంలో, నెట్‌వర్క్ చేయబడిన కంప్యూటర్లను సురక్షితంగా చేయగలమా అని అడగడం సహేతుకం. ILOVEYOU వైరస్ వచ్చి ఆరు రోజులు అయిన తర్వాత, US హౌస్ సబ్‌కమిటీ దీనిపై విచారణ జరిపింది. తమ ఉత్పత్తులలోని లోపాల వల్ల జరిగే నష్టానికి సాఫ్ట్‌వేర్ కంపెనీలను బాధ్యులుగా చేసే చట్టాన్ని తీసుకురావాలని చాలా మంది భద్రతా నిపుణులు కోరారు. వాషింగ్టన్ వేరే మార్గాన్ని ఎంచుకుంది. నేషనల్ స్ట్రాటజీ టు సెక్యూర్ సైబర్‌స్పేస్ “ఫెడరల్ రెగ్యులేషన్ సైబర్‌స్పేస్‌ను సురక్షితం చేయడానికి ప్రాథమిక సాధనంగా మారదు” అని పేర్కొంది. విస్తృత ఆదేశాలు “సైబర్‌సెక్యూరిటీకి అత్యల్ప-సామాన్య-భాగహార విధానాన్ని” సృష్టించగలవని అది హెచ్చరించింది (CISA).

పరిశ్రమ ఇంజనీరింగ్‌తో సమాధానం ఇచ్చింది. ILOVEYOU తర్వాత పదకొండు రోజులకు, మైక్రోసాఫ్ట్ ఎగ్జిక్యూటబుల్ అటాచ్‌మెంట్‌లను నిరోధించిన అవుట్‌లుక్ నవీకరణను ప్రకటించింది. జనవరి 2002లో, కంపెనీ భద్రతకు అత్యంత ప్రాధాన్యతనిచ్చింది (Seattle Times). ఆటోమేటిక్ ప్యాచ్టింగ్, సురక్షిత డిఫాల్ట్‌లు, బగ్ బౌంటీ ప్రోగ్రామ్‌లు మరియు సమన్వయ బహిర్గతం ప్రామాణిక అభ్యాసంగా మారాయి. 2008లో, క్రోమ్ వెబ్ కంటెంట్‌ను శాండ్‌బాక్స్‌లో రన్ చేయడం ప్రారంభించింది, ఇది "బగ్ డెవలప్‌మెంట్ తర్వాత దాడి చేసే వ్యక్తి చేయగలిగే పనిని పరిమితం చేస్తుంది" (Chromium Blog). ఎన్క్రిప్షన్, ఒకప్పుడు మినహాయింపు, డిఫాల్ట్ అయింది. మల్టీ-ఫ్యాక్టర్ అథెంటికేషన్, ఫైర్‌వాల్‌లు, జీరో ట్రస్ట్ మరియు సెక్యూరిటీ ఇన్ఫర్మేషన్ అండ్ ఈవెంట్ మేనేజ్‌మెంట్ (SIEM)తో సహా భద్రతా సాంకేతికతలు విస్తృతంగా ఉపయోగించబడ్డాయి. సమాచార భద్రతపై 2006లో ప్రపంచవ్యాప్తంగా ఉన్న సంస్థలు దాదాపు $240 బిలియన్లు ఖర్చు చేస్తాయని అంచనా వేయబడింది (Gartner). వార్మ్‌లు పూర్తిగా అదృశ్యం కాలేవు, కానీ సాధారణ ఇంటర్నెట్-వ్యాప్తంగా వ్యాప్తి చెందే యుగం మసకబారింది. అదే సమయంలో, నియంత్రణ ద్వారా పెద్దగా భారంగా లేని ఇంటర్నెట్, రాబోయే రెండు దశాబ్దాలలో ఆవిష్కరణ మరియు ఆర్థిక వృద్ధికి శక్తివంతమైన ఇంజిన్‌గా మారింది.

AI ఏజెంట్ల కోసం సెక్యూరిటీ ఇంజనీరింగ్

ఇటీవలి సంఘటనలు ఏజెంట్ పాలన గురించి సరైన ప్రశ్నలను లేవనెత్తాయి. ఉద్దేశించబడిన పరిధిలో ఉండే మరియు ఎక్కువగా నిర్దిష్టమైన సాఫ్ట్‌వేర్ ప్రవర్తన ద్వారా వర్గీకరించబడిన ఏజెంట్-పూర్వ కంప్యూటింగ్ పరిసరాల కోసం ఇప్పటికే ఉన్న భద్రతా మెకానిజమ్‌లు అభివృద్ధి చేయబడ్డాయి. యాక్సెస్ కంట్రోల్ మెకానిజమ్‌లు, ప్రత్యేకించి, మానవ వినియోగదారుల చుట్టూ ప్రాథమికంగా రూపొందించబడ్డాయి మరియు తరచుగా వారికి విస్తృత特权లను మంజూరు చేస్తాయి, ఇవి సూత్రప్రాయంగా, గణనీయమైన హానిని కలిగించడానికి సరిపోతాయి.

ఈ డిజైన్ అనేక అంచనాలపై ఆధారపడి ఉంటుంది: చాలా మంది వినియోగదారులు మంచి విశ్వాసంతో ప్రవర్తిస్తారు; హానికరమైన నటులను ఆడిటింగ్ మరియు వాస్తవ-ప్రపంచ పరిణామాల ద్వారా నిరోధించవచ్చు; మరియు మానవులు సరైనవైనా లేదా తప్పుగా ఉన్నవైనా చర్యలను సాపేక్షంగా పరిమిత రేటులో తీసుకుంటారు. ఈ భద్రతా మెకానిజమ్‌లను ఏజెంట్లకు వర్తింపజేయడానికి మానవ మరియు ఏజెంట్ ప్రవర్తన మధ్య తేడాలను పరిగణనలోకి తీసుకోవడం అవసరం. AI ఏజెంట్ భద్రతపై సమాచారం కోసం NIST యొక్క అభ్యర్థనకు మా ప్రతిస్పందనలో మేము వ్రాసినట్లుగా, AI ఏజెంట్లు ఈ అంచనాలను సవాలు చేస్తాయి. వారు యంత్ర వేగంతో特权లను అమలు చేయగలరు మరియు చర్యలు తీసుకోగలరు, వాస్తవ-ప్రపంచ పరిణామాల ద్వారా తమంతట తాముగా నిరోధించబడరు మరియు సాంకేతికంగా అనుమతించబడిన కానీ సాధారణ మానవ వినియోగదారు అరుదుగా చేసే చర్యలను తీసుకోవచ్చు.

ఆ ప్రశ్నలకు సమాధానం ఇవ్వడానికి భద్రతా ఇంజనీరింగ్ అవసరం. వ్యక్తిగత భాగాలు సరిగ్గా ప్రవర్తించనప్పుడు ప్రమాదాలను నియంత్రణలో ఉంచే వ్యవస్థలను నిర్మించడానికి భద్రతా సూత్రాలు మాకు తెలుసు. కానీ AI ఏజెంట్లను శిక్షణ ఇవ్వడానికి, పరీక్షించడానికి మరియు ఉపయోగించడానికి పరిసరాలను ఇంజనీరింగ్ చేసేటప్పుడు ఈ సూత్రాలు వర్తింపజేయబడేలా మనం చూసుకోవాలి.

డిఫెన్స్-ఇన్-డెప్త్ భద్రతా సూత్రం

AI ఏజెంట్లను సురక్షితం చేయడానికి వర్తింపజేయాల్సిన అత్యంత ముఖ్యమైన భద్రతా సూత్రం డిఫెన్స్-ఇన్-డెప్త్, ఇది లేయర్డ్ సెక్యూరిటీ ఆర్కిటెక్చర్‌ను సమర్థిస్తుంది, ఇక్కడ సిస్టమ్ వనరులను రక్షించడానికి బహుళ, వైవిధ్యమైన మరియు సమాంతర రక్షణ చర్యలు ఉపయోగించబడతాయి. ఏ ఒక్క రక్షణ పరిపూర్ణమైనది కాదు. ప్రజలు సోషల్-ఇంజనీరింగ్ దాడులకు లొంగిపోయి వారి లాగిన్ ఆధారాలను బహిర్గతం చేయవచ్చు, జీరో-డే సాఫ్ట్‌వేర్ బలహీనతలు కనుగొనப்பட்டு దోపిడీ చేయబడతాయి మరియు చొరబాటు గుర్తింపు కొత్త దాడి వేరియంట్‌లను కోల్పోతుంది. డిఫెన్స్-ఇన్-డెప్త్ దాన్ని అంగీకరిస్తుంది మరియు రక్షణ యొక్క అనేక స్వతంత్ర పొరలను పేర్చింది. ఒక రక్షణ పొర దాటవేయబడితే, చొరబాటును తిప్పికొట్టడానికి లేదా గుర్తించడానికి ఇతర పొరలు అలాగే ఉంటాయి.

హగ్గింగ్ ఫేస్ సంఘటన డిఫెన్స్-ఇన్-డెప్త్ ఎందుకు ముఖ్యమో చూపుతుంది. OpenAI యొక్క పునరాలోచన నివేదిక ప్రకారం, దాని ప్రొడక్షన్ సిస్టమ్‌లలో ఉపయోగించే ఆటోమేటెడ్ సేఫ్‌గార్డ్‌లు, హార్నెస్‌లు, ఆటో-రివ్యూ మోడల్స్ మరియు సేఫ్టీ క్లాసిఫైయర్‌లతో సహా, మూల్యాంకన వాతావరణంలో లేవు. ప్రస్తుతం అమలులో ఉన్న దాని చైన్-ఆఫ్-థాట్ పర్యవేక్షణ ఆ మూల్యాంకనాలపై రన్ అవుతూ ఉంటే, అది ఉల్లంఘనకు ఒక రోజు కంటే ముందుగానే ప్రారంభ hoạtచను పట్టుకుని భద్రతా బృందానికి పేజ్ చేసి ఉండేది (OpenAI). సమస్యను గుర్తించగల లేయర్‌లు ఉన్నాయి. అవి ఒకే సమయంలో అన్ని చోట్లా లేవు అంతే.

AI ఏజెంట్లను సురక్షితం చేయడానికి AI మోడల్‌ల భద్రత మరియు భద్రత రెండింటినీ మరియు వాటిని చుట్టుముట్టే వ్యవస్థలను మెరుగుపరచడం అవసరం. మోడల్ పొర వద్ద పని ముఖ్యం, మరియు అది ఫలితాన్ని ఇస్తోంది. ప్రారంభ LLMలు ఇన్‌జెక్ట్ చేసిన సూత్రాల ద్వారా సులభంగా మార్చబడ్డాయి, అయితే నేటి మోడల్స్ వాటిని గుర్తించడంలో మరియు తిరస్కరించడంలో గణనీయంగా మెరుగ్గా ఉన్నాయి. మోడల్ డెవలపర్‌లు సురక్షితమైన ప్రవర్తన కోసం మోడళ్లకు శిక్షణ ఇస్తారు మరియు, OpenAI యొక్క పునరాలోచన వివరించినట్లుగా, సమస్యాత్మక ప్రవర్తన యొక్క సంకేతాల కోసం రీజనింగ్ ట్రేస్‌లను పర్యవేక్షిస్తారు. కానీ మోడల్-స్థాయి రక్షణలు పరిష్కారంలో ఒక భాగం మాత్రమే. ఏజెంట్లు శిక్షణ పొందిన, పరీక్షించబడిన మరియు అమలు చేయబడిన వ్యవస్థలు కూడా భద్రత మరియు నిగ్రహం కోసం ఇంజనీరింగ్ చేయబడాలి. మోడల్-స్థాయి భద్రత ఒక ఏజెంట్ తప్పుదారి పట్టే సంభావ్యతను తగ్గిస్తుంది; సిస్టమ్-స్థాయి భద్రత అది జరిగినప్పుడు నష్టాన్ని పరిమితం చేస్తుంది.

విస్తరించు

సమాంతర రక్షణల కోసం డిజైన్ నియమాలు

డిఫెన్స్-ఇన్-డెప్త్‌కు సమాంతర రక్షణలు అవసరం. ఏజెంట్ల కోసం, మేము దీన్ని మూడు డిజైన్ నియమాలతో వర్తింపజేయాలని వాదిస్తాము:

1. స్వాతంత్ర్యము. ప్రతి పొర స్వతంత్ర కారణాల వల్ల విఫలం కావాలి. ఒకే అంచనాను పంచుకునే రెండు నియమాలను ఒకే దాడి ద్వారా ఓడించవచ్చు. మానిటర్లు మరియు ఎన్‌ఫోర్స్‌మెంట్ పాయింట్లు ఏజెంట్ అందుకోలేని దూరంలో ఉండాలి.
2. ఏజెంట్ క్రింద అమలు. కనీసం ఒక పొర నిశ్చయాత్మకంగా ఉండాలి: మోడల్ ఏమి ఉత్పత్తి చేసినా నిషేధించబడిన చర్యలను నిరోధించే సాంప్రదాయ, ధృవీకరించదగిన కోడ్. ఏజెంట్ ఆవాహన చేయడానికి నిరాకరించగల లేదా కాన్ఫిగర్ చేయగల రక్షణ రక్షణ కాదు.
3. సంకేతాలు కేవలం అధికారాన్ని మాత్రమే తగ్గించగలవు. గుర్తింపు అనేది పాజ్ చేయడం, ఆధారాలను రద్దు చేయడం, నెట్‌వర్క్ యాక్సెస్‌ను నిలిపివేయడం లేదా సెషన్‌ను ముగించడం వంటి ఏజెంట్ ఏమి చేయగలదో తగ్గించే ప్రతిస్పందనలను ప్రేరేపించాలి. ఏ ప్రమాద సంకేతం కూడా అదనపు యాక్సెస్‌ను మంజూరు చేయకూడదు.

NVIDIAతో సహా Open Secure AI Allianceలోని మా భాగస్వాములతో మేము ఈ సూత్రాలను పంచుకుంటాము, హార్నెస్ ఒక ఏజెంట్ ఏమి ప్రయత్నిస్తుందో మార్గనిర్దేశం చేస్తుందని, అయితే మౌలిక సదుపాయాలు అది ఏమి చేయగలదో నియంత్రిస్తుందని NVIDIA వాదించింది (NVIDIA).

పెర్ప్లెక్సిటీ ఉత్పత్తులలో డిఫెన్స్-ఇన్-డెప్త్

పెర్ప్లెక్సిటీ నాలుగు రకాల పరిసరాలలో ఏజెంట్లను నడుపుతుంది: మా ఏజెంట్ ప్లాట్‌ఫారమ్ Computer ద్వారా క్లౌడ్‌లో, Comet ద్వారా బ్రౌజర్‌లో, Portable Computer ద్వారా వినియోగదారు పరికరాలపై, మరియు ఉద్యోగుల ల్యాప్‌టాప్‌లపై, ఇక్కడ మా ఇంజనీర్లు మూడవ పక్ష కోడింగ్ ఏజెంట్లను ఉపయోగిస్తారు. ప్రతి వాతావరణానికి దాని స్వంత నష్టాలు ఉంటాయి మరియు ప్రతిదానికి అనేక రక్షణ పొరలు లభిస్తాయి.

క్లౌడ్‌లో: కంప్యూటర్ మరియు SPACE

ప్రతి కంప్యూటర్ టాస్క్ మా శాండ్‌బాక్స్ ప్లాట్‌ఫారమ్ అయిన SPACEలో రన్ అవుతుంది, ఇది డిఫాల్ట్‌గా ఏజెంట్‌ను అన్‌ట్రస్టెడ్‌గా పరిగణిస్తుంది. ప్రతి టాస్క్‌కు దాని స్వంత మైక్రోVM లభిస్తుంది, ఆధారాలు శాండ్‌బాక్స్ వెలుపల ఉంటాయి మరియు అవసరమైనప్పుడు మాత్రమే ఇన్‌జెక్ట్ చేయబడతాయి, అవుట్‌బౌండ్ ట్రాఫిక్ గెస్ట్ వెలుపల నియంత్రించబడుతుంది మరియు స్నాప్‌షాట్‌లు వినాశకరమైన మార్పులను వెనక్కి తీసుకోవడానికి అనుమతిస్తాయి (Making SPACE). ఎంటర్‌ప్రైజ్ కస్టమర్‌లు తమ సొంత ఎన్క్రిప్షన్ కీలను కూడా తీసుకురావచ్చు. కీని రద్దు చేయడం వలన రక్షిత డేటా చదవలేని విధంగా మారుతుంది మరియు ఏజెంట్ ఆ నిర్ణయాన్ని భర్తీ చేయలేదు.

ఈ పొరలు నిలబడతాయో లేదో కూడా మేము పరీక్షಿಸುತ್ತాము. Escaping SPACE: Part Iలో, మేము తొమ్మిది ఫ్రాంటియర్ మోడళ్లకు SPACE శాండ్‌బాక్స్ లోపల రూట్ యాక్సెస్ ఇచ్చాము మరియు బ్రేక్ అవుట్ చేయమని అడిగాము. ఏదీ VM నుండి తప్పించుకోలేదు, అయితే పాక్షిక నెట్‌వర్క్ యాక్సెస్ అనుమతించబడినప్పుడు కొన్ని నెట్‌వర్క్ పాలసీ చుట్టూ మార్గాలను కనుగొన్నాయి. మేము ఆ ఖాళీలను పరిష్కరించాము, రీ-టెస్ట్‌లో పరిష్కారాలను నిర్ధారించాము మరియు ఇతర 10 శాండ్‌బాక్స్ ప్లాట్‌ఫారమ్‌లలో ఎనిమిదింటిలో మేము కనుగొన్న ఇలాంటి బలహీనతలను వాటి విక్రేతలకు వెల్లడించాము.

బ్రౌజర్‌లో: కామెట్ మరియు బ్రౌజ్‌సేఫ్

కామెట్ ప్రారంభం నుండి లేయర్డ్ ప్రాంప్ట్-ఇంజెక్షన్ రక్షణను ఉపయోగిస్తోంది: క్లాసిఫైయర్‌లు పునరుద్ధరించబడిన కంటెంట్‌ను స్క్రీన్ చేస్తాయి, నిర్మాణాత్మక ప్రాంప్ట్‌లు దానిని అన్‌ట్రస్టెడ్‌గా గుర్తిస్తాయి, ఇమెయిల్ పంపడం లేదా ఆర్డర్ చేయడం వంటి సున్నితమైన చర్యలకు వినియోగదారు నిర్ధారణ అవసరం, మరియు ఏదైనా నిరోధించబడినప్పుడు వినియోగదారులకు తెలియజేయబడుతుంది (Comet prompt-injection defenses). మొదటి పొర వెనుక ఉన్న ఓపెన్-సోర్స్ డిటెక్షన్ మోడల్ అయిన బ్రౌజ్‌సేఫ్, మా బ్రౌజ్‌సేఫ్-బెంచ్‌మార్క్ పై ఫ్రాంటియర్ మోడళ్లను మించి పని చేస్తుంది, అయినప్పటికీ ఏ డిటెక్టర్ ఫెయిల్-సేఫ్ కాదని అదే బెంచ్‌మార్క్ చూపుతుంది, అందుకే గుర్తింపు ఎప్పుడూ ఏకైక పొర కాదు (BrowseSafe research). కంప్యూటర్ ఈ రక్షణలను వారసత్వంగా పొందింది, ఇవి ట్రైల్ ఆఫ్ బిట్స్ ద్వారా ఆడిట్ చేయబడ్డాయి (Perplexity).

పరికరంలో: పోర్టబుల్ కంప్యూటర్

Portable Computer అనేది స్థానిక-మొదటి ఏజెంట్: మోడల్, హార్నెస్, సంభాషణ మరియు పథం డిఫాల్ట్‌గా వినియోగదారు యంత్రంలోనే ఉంటాయి. LLM కాకుండా హార్నెస్ కోడ్ అయిన ఒక నిశ్చయాత్మక ఆర్కెస్ట్రేటర్ లూప్‌ను రన్ చేస్తుంది మరియు పాలసీని అమలు చేస్తుంది. మోడల్ చర్యలను ప్రతిపాదిస్తుంది మరియు ఆమోదించబడిన టూల్ కాల్‌లు ప్రాసెస్‌లు, ఫైల్ పాత్‌లు మరియు నెట్‌వర్క్ యాక్సెస్‌ను పరిమితం చేసే OS-స్థాయి శాండ్‌బాక్స్‌లో రన్ అవుతాయి. శాండ్‌బాక్స్ ఎల్లప్పుడూ ఆన్‌లో ఉంటుంది మరియు ఫెయిల్ క్లోజ్ అవుతుంది: అది అందుబాటులో లేకపోతే, వినియోగదారు అనుమతులతో కమాండ్‌లను రన్ చేయడానికి బదులుగా హార్నెస్ తనను తాను డిసేబుల్ చేసుకుంటుంది. వెబ్ శోధన, కనెక్టర్‌లు మరియు బలమైన క్లౌడ్ అడ్వైజర్ మోడల్‌కు ఎస్కలేషన్ వంటి పరికర సరిహద్దును దాటే చర్యలు వినియోగదారు వాటిని ప్రారంభించి ఆమోదించినప్పుడు మాత్రమే జరుగుతాయి. అడ్వైజర్ కాల్‌కు ముందు, PII క్లాసిఫైయర్ సున్నితమైన సమాచారాన్ని ఫ్లాగ్ చేస్తుంది మరియు ఏమి పంపబడుతుందో వినియోగదారు చూస్తారు. అడ్వైజర్ ఆ ఆమోదించబడిన సందర్భాన్ని మాత్రమే అందుకుంటుంది మరియు పరికరం యొక్క ఫైళ్లు లేదా సాధనాలకు యాక్సెస్ లేకుండా టెక్స్ట్ మార్గదర్శకత్వాన్ని అందిస్తుంది.

ఎండ్‌పాయింట్‌లో: నంబట్

డెవలపర్ ల్యాప్‌టాప్‌లపై కోడింగ్ ఏజెంట్లు సోర్స్ కోడ్, ఆధారాలు మరియు ప్రొడక్షన్ సిస్టమ్‌లకు యాక్సెస్‌తో గంటల తరబడి రన్ అవుతాయి. మా ఓపెన్-సోర్స్ ఏజెంట్ సెక్యూరిటీ సూట్ అయిన Numbat, ఏ ఒక్క ఏజెంట్‌కు వెలుపల ఉండే స్వతంత్ర పొరను జోడిస్తుంది. ఇది Claude Code, Codex, OpenCode మరియు Pi వంటి హార్నెస్‌లతో పనిచేస్తుంది, ప్రమాదకరమైన చర్యలు అమలు కావడానికి ముందే నిరోధిస్తుంది, రహస్యాన్ని చదవడం మరియు తర్వాత డేటాను పంపడం వంటి అనుమానాస్పద బహుళ-దప్తుల క్రమాలను ఫ్లాగ్ చేస్తుంది మరియు దర్యాప్తు కోసం సెషన్ కాలక్రమాలను భద్రపరుస్తుంది. నంబట్ మా ఓపెన్-సోర్స్ సప్లై-చెయిన్ స్కైనర్ అయిన Bumblebeeతో పాటు వేలాది పెర్ప్లెక్సిటీ ఎండ్‌పాయింట్‌లలో రన్ అవుతుంది. కంప్యూటర్ క్రమం తప్పకుండా వాటి పరిశోధనలను సమీక్షిస్తుంది మరియు మెరుగైన గుర్తింపు నియమాలను ప్రతిపాదిస్తుంది, మరియు షిప్పింగ్ చేయడానికి ముందు ప్రతి మార్పును మానవుడు ఆమోదిస్తాడు.

మొత్తం పరిశ్రమకు ఒక పని

AI ఏజెంట్లు మరింత సమర్థవంతంగా మరియు విస్తృతంగా ఉపయోగించబడుతున్నందున, సెక్యూరిటీ ఇంజనీరింగ్ వారి అభివృద్ధి మరియు విస్తరణకు కేంద్రంగా ఉండాలి. పరిశోధకులు మరియు ఇంజనీర్లు స్థాపిత సూత్రాలపై నిర్మించవచ్చు, రక్షణలను మెరుగుపరచడానికి వాస్తవ-ప్రపంచ పరిశోధనలను ఉపయోగించవచ్చు మరియు ఏజెంట్లు పనిచేసే పరిసరాలలో రక్షణలను పరీక్షించవచ్చు. భద్రత అనేది సాంకేతికతతో పాటు అభివృద్ధి చెందే ఒక నిరంతర ఇంజనీరింగ్ విభాగం.

ఏజెంట్ల కోసం సెక్యూరిటీ ఇంజనీరింగ్ అనేది మొత్తం పరిశ్రమకు ఒక పని. ఏజెంట్ నడుస్తున్న పూర్తి స్టాక్‌ను ఏ ఒక్క కంపెనీ నియంత్రించదు. మోడల్ డెవలపర్‌లు, హార్నెస్ బిల్డర్‌లు, శాండ్‌బాక్స్ మరియు రన్‌టైమ్ ప్రొవైడర్‌లు, క్లౌడ్ మరియు హార్డ్‌వేర్ వెండర్‌లు మరియు ఎంటర్‌ప్రైజ్ సెక్యూరిటీ టీమ్‌లు ప్రతి ఒక్కరూ ఒక పొరను కలిగి ఉంటారు. మరొకటి జారిపోయినప్పుడు ప్రతి పొర నిలబడటంపై మొత్తం భద్రత ఆధారపడి ఉంటుంది. అందుకే మేము ఏజెంట్ హార్నెస్‌లలో పనిచేసే రక్షణలను నిర్మించి, మా సాధనాలను ఓపెన్-సోర్స్ చేస్తాము. ఇతర ప్లాట్‌ఫారమ్‌లలో మేము కనుగొన్న బలహీనతలను వెల్లడించడానికి మరియు ఓపెన్ సెక్యూర్ AI అలయన్స్ వంటి ప్రయత్నాలలో పాల్గొనడానికి కూడా ఇదే కారణం.

ఈ సవాళ్లపై విస్తృత సంఘంతో కలిసి పనిచేయడానికి, ప్రముఖ-అంచు AI వ్యవస్థల భద్రత, విశ్వసనీయత మరియు ఆచరణాత్మక రక్షణను అధ్యయనం చేయడానికి పెర్ప్లెక్సిటీ మార్చి 2026లో సెక్యూర్ ఇంటెలిజెన్స్ ఇన్‌స్టిట్యూట్ని ప్రారంభించింది (Perplexity). పెర్ప్లెక్సిటీ ప్రస్తుతం స్టాన్‌ఫోర్డ్, CMU, డ్యూక్, కొలంబియా, ఒహియో స్టేట్ మరియు వర్జీనియా విశ్వవిద్యాలయంలో విద్యా పరిశోధకులతో సహకరిస్తోంది మరియు/లేదా నిధులు సమకూరుస్తోంది. ఏజెంట్ భద్రతా పరిశోధన యొక్క సరిహద్దును ముందుకు తీసుకెళ్లడానికి, ఆ పురోగతులను పెర్ప్లెక్సిటీ సిస్టమ్‌లలో కాంక్రీట్ మెరుగుదలలుగా అనువదించడానికి మరియు విస్తృత AI పర్యావరణ వ్యవస్థను బలపర్చడంలో సహాయపడే జ్ఞానం మరియు వనరులను పంచుకోవడానికి మేము ఇంట్రామురల్ పరిశోధనలను కూడా నిర్వహిస్తున్నాము. సురక్షితమైన ఏజెంట్లు పరిశ్రమ ఇంజనీర్ చేయగల విషయం. మా వంతు కృషి చేస్తూనే ఉండాలని మేము اراده చేస్తున్నాము మరియు మాతో కలిసి నిర్మించడానికి অন্যদের ఆహ్వానిస్తున్నాము.