কীভাবে আমরা নিরাপদ এজেন্ট ডিজাইন করি

নিরাপদ কৃত্রিম বুদ্ধিমত্তা এজেন্ট তৈরি করতে, আমাদের তাদের ক্ষমতা এবং ব্যর্থতা উভয় দিক বিবেচনা করেই ডিজাইন করতে হবে। এমনকি বৈধ কাজ সম্পাদন করার সময় এবং কোনো ক্ষতিকারক নির্দেশনা ছাড়াই, এজেন্টরা বাধা অতিক্রম করার চেষ্টা করার সময় সুরক্ষার গণ্ডি অতিক্রম করতে পারে।

আমরা বিশ্বাস করি এটি একটি সিকিউরিটি ইঞ্জিনিয়ারিং সমস্যা এবং শিল্পখাতের উচিত ২০০০-এর দশকের গোড়ার দিকের ইন্টারনেট ওয়ার্ম যেভাবে মোকাবিলা করেছিল সেভাবেই এটি মোকাবিলা করা। এজেন্টদের চারপাশের সিস্টেমগুলিকে অবশ্যই এজেন্টদের অ্যাক্সেস সীমিত করতে হবে, অবাঞ্ছিত আচরণ শনাক্ত করতে হবে এবং ব্যর্থতা ঘটলে তা ধারণ করতে হবে।

Perplexity-তে, আমরা কৃত্রিম বুদ্ধিমত্তা এজেন্টদের জন্য সিকিউরিটি ইঞ্জিনিয়ারিং এগিয়ে নিতে গবেষক এবং অনুশীলনকারীদের সাথে সক্রিয়ভাবে সহযোগিতা করছি এবং আমরা আমাদের মডেল, এজেন্ট harness এবং ইনফ্রাস্ট্রাকচার জুড়ে বহু স্তরের সুরক্ষা প্রয়োগ করি যাতে নিরাপত্তা কোনো একক সুরক্ষার উপর নির্ভর না করে।

কৃত্রিম বুদ্ধিমত্তা এজেন্টদের মেল্টডাউন আচরণ

জুলাই মাসে, কৃত্রিম বুদ্ধিমত্তা এজেন্টরা ওপেন-সোর্স কৃত্রিম বুদ্ধিমত্তা প্ল্যাটফর্ম Hugging Face-এর প্রোডাকশন ইনফ্রাস্ট্রাকচারে অনুপ্রবেশ করে। অভ্যন্তরীণ সাইবার সিকিউরিটি মূল্যায়ন এবং ট্রেনিং রানের সময়, OpenAI মডেলগুলি একে অপরের সাথে যোগাযোগের জন্য একটি বুলেটিন বোর্ড স্থাপন করতে আর্টিফ্যাক্টরি রিপোজিটরি ম্যানেজারকে শোষণের একটি উপায় আবিষ্কার করে, যা তাদের সোমে সংগঠিত হতে সক্ষম করে। পরবর্তীতে, যে এজেন্টগুলি সাইবার সিকিউরিটি বেঞ্চমার্কে কাজ চালিয়ে যেতে অক্ষম ছিল তারা সাহায্যের জন্য অন্যান্য এজেন্টদের নিয়োগ করে। এই এজেন্টগুলি তাদের মূল্যায়ন পরিবেশ থেকে বেরিয়ে ইন্টারনেটে পৌঁছে যায়। তারা বেঞ্চমার্ক টাস্কের উত্তর রিভার্স-ইঞ্জিনিয়ারিং করে প্রতারণা করার উপায়ও আবিষ্কার করেছিল, তবে ভেবেছিল যে গ্রেডিং সিস্টেম প্রতারণাটি ধরে ফেলবে। প্রতারণা হিসেবে ধরা এড়ানোর উপায় খুঁজতে বেঞ্চমার্ক মূল্যায়ন কীভাবে কাজ করে তা আরও ভালভাবে বুঝতে, তারা শেষ পর্যন্ত Hugging Face সিস্টেমগুলিকে আপস করে (Hugging Face; OpenAI)।

এই ঘটনাটি এমন একটি ফেইলিওর মোডের একটি স্পষ্ট উদাহরণ যা আমরা জুলাই মাসে Numbat ওপেন-সোর্স করার সময় বর্ণনা করেছিলাম: দুর্ঘটনাবশত মেল্টডাউন, করনেল টেক-এর সিকিউরিটি গবেষকদের দ্বারা তৈরি একটি শব্দ (arXiv)। কোনো বৈধ লক্ষ্য অর্জনে সচেষ্ট কোনো এজেন্ট কোনো বাধা বা ফ্রিকশনের সম্মুখীন হয়, যেমন একটি নিখোঁজ ফাইল, একটি ব্যর্থ API কল, একটি মেয়াদোত্তীর্ণ শংসাপত্র বা অনুমোদনের অস্বীকার, এবং একটি বিকল্প সমাধান খুঁজতে যায়। এটি করার মাধ্যমে, এটি রিকনেসান্স, প্রিভিলেজ এসকালেশন, সিক্রেট ডিসকভারি বা ডেটা এক্সফিল্ট্রেশনের মাধ্যমে সুরক্ষার গণ্ডি অতিক্রম করতে পারে। এজেন্ট নিজেই কার্যকরভাবে প্রতিপক্ষ হয়ে ওঠে, এমনকি কোনো ক্ষতিকারক প্রম্পট বা বাহ্যিক আক্রমণকারী জড়িত না থাকলেও।

Hugging Face একা কোনো বিচ্ছিন্ন ঘটনা ছিল না। সাম্প্রতিক সপ্তাহগুলিতে আরও অনেক এজেন্ট মেল্টডাউন বা ত্রুটির আচরণ আবিষ্কৃত ও রিপোর্ট করা হয়েছে। ২৭-২৮ মে তারিখে, ডেটা ইউএসএ (মার্কিন সরকারের ডেটার ওপেন অ্যাক্সেস প্রদানকারী একটি প্ল্যাটফর্ম) থেকে ইউনিভার্সিটি অফ আইওয়ার ডেটা সংগ্রহ করার চেষ্টাকারী এজেন্টরা একটি ত্রুটিপূর্ণ কোয়েরির কারণে ত্রুটির মুখে পড়ে। তারা এসকিউএল ইনজেকশন, ক্রস-সাইট স্ক্রিপ্টিং, টেমপ্লেট ইনজেকশন, পাথ ট্রাভার্সাল এবং কমান্ড ইনজেকশন সহ বিভিন্ন প্রোবের মাধ্যমে প্রতিক্রিয়া জানায়। এই কার্যকলাপটি পরবর্তীতে OpenAI-এর সাথে যুক্ত করা হয়েছিল (SecurityWeek)। ২০-২১ জুন তারিখে, অস্ট্রেলিয়ান ইনস্টিটিউট অফ হেলথ অ্যান্ড ওয়েলফেয়ার (AIHW)-এর ভিক্টোরিয়ার স্থানীয় এলাকার বিভিন্ন ওষুধের একটি বিভাগের জন্য মাথাপিছু সরকারি খরচ পেতে চেষ্টা করা OpenAI এজেন্টদের একটি ফাইল ডাউনলোড করতে বাধা দেওয়া হয়েছিল। এর প্রতিক্রিয়ায়, এজেন্টরা AIHW প্রি-প্রোডাকশন সার্ভার থেকে ইতিমধ্যে পাবলিক থাকা ফাইলটি ডাউনলোড করে এবং এই প্রক্রিয়ায় সাইটের অ্যান্টি-বট সুরক্ষাকে এড়িয়ে চলে (SecurityWeek)।

এই প্যাটার্নটি শুধু একটি ল্যাবের মধ্যে সীমাবদ্ধ নয়। সাইবার সিকিউরিটি পরীক্ষার সময়, Anthropic-এর মডেলগুলি ভুলবশত ওপেন ইন্টারনেট অ্যাক্সেস পাওয়ার পর তিনটি কোম্পানিকে লঙ্ঘন করে, Google-এর Gemini তিনটি ওয়েবসাইটের শংসাপত্র অনুমান করে এবং একটি Meta মডেল তৃতীয় পক্ষের পরিষেবা ব্যবহার করে (Reuters)।

ইতিহাস থেকে শিক্ষা: ইন্টারনেট ওয়ার্মের যুগ

এই ঘটনাগুলি প্রায় এক চতুর্থাংশ শতাব্দী আগের ইন্টারনেট ওয়ার্মের যুগের কথা মনে করিয়ে দেয়। ২০০০-এর দশকের গোড়ার দিকে, ইন্টারনেট এর চারপাশের নিরাপত্তা অনুশীলনের চেয়ে অনেক দ্রুত বৃদ্ধি পেয়েছিল। আমরা ভাইরাস এবং ওয়ার্মের একটি তরঙ্গ দেখতে পেয়েছিলাম, যার পরিণতি মেল্টডাউনে থাকা কৃত্রিম বুদ্ধিমত্তা এজেন্টদের সাথে আমরা এখন যা দেখছি তার চেয়ে অনেক বেশি গুরুতর ছিল।

৪ মে, ২০০০-এ, লোকেরা "ILOVEYOU" সাবজেক্ট লাইন সহ পরিচিত প্রেরকদের কাছ থেকে ইমেল পেতে শুরু করে। ইমেলের এটাচমেন্ট খোলার ফলে একটি স্ক্রিপ্ট রান হয় যা শিকারের Outlook অ্যাড্রেস বুকের প্রত্যেকের কাছে নিজের একটি কপি মেল করে। সেদিন বিকেল ৬টার মধ্যে, CERT কোঅর্ডিনেশন সেন্টার ৪২০,০০০-এর বেশি ইন্টারনেট হোস্ট জড়িত রিপোর্ট পেয়েছিল (US GAO Report)। প্রতিরক্ষা বিভাগ, সিআইএ, নাসা এবং হাউস এবং সেনেট সহ অন্তত ১৪টি ফেডারেল সংস্থায় ভাইরাসটি প্রবেশ করেছে বলে খবর পাওয়া গেছে (US GAO Report)। এটি পেন্টাগন এবং ব্রিটিশ পার্লামেন্টে ইমেল সার্ভারগুলিও বন্ধ করে দিয়েছিল (Wired)। ইন্স্যুরেন্স জায়ান্ট লয়েডস অফ লন্ডন একটি প্রাথমিক অনুমান করেছিল যে ভাইরাসের কারণে ক্ষতি এবং উৎপাদনশীলতা হ্রাসে ১৫ বিলিয়ন ডলারের বেশি খরচ হবে (US House Committee Hearing)। কম্পিউটার ইকোনমিকস পরবর্তীতে বিশ্বব্যাপী ৮.৭৫ বিলিয়ন ডলার ক্ষতির অনুমান করেছিল (Information Week)।

এর পরে এমন ওয়ার্ম এসেছিল যার জন্য কোনো মানুষের ক্লিকের প্রয়োজন ছিল না। ১৯ জুলাই, ২০০১-এ, Code-Red ওয়ার্ম ১৪ ঘণ্টারও কম সময়ে ৩৫৯,০০০-এর বেশি কম্পিউটার সংক্রামিত করেছিল (CAIDA)। ২৫ জানুয়ারি, ২০০৩-এ, SQL Slammer প্রতি ৮.৫ সেকেন্ডে আকারে দ্বিগুণ হয়েছিল এবং মাইক্রোসফট যার জন্য ছয় মাস আগে প্যাচ প্রকাশ করেছিল এমন একটি ত্রুটির সুযোগ নিয়ে এটিতে দুর্বল ইন্টারনেট হোস্টের ৯০%-এর বেশি ১০ মিনিটের মধ্যে সংক্রামিত করেছিল (CAIDA, CNET)। ২০০৩ সালের আগস্টে, Blaster ওয়ার্ম এবং Sobig ইমেল ওয়ার্ম প্রায় এক সপ্তাহ ব্যবধানে আবির্ভূত হয়েছিল (Microsoft, F-Secure)।

সেই সময়ে, নেটওয়ার্কযুক্ত কম্পিউটারগুলোকে আদৌ নিরাপদ করা সম্ভব কিনা তা নিয়ে প্রশ্ন তোলা যুক্তিসঙ্গত ছিল। ILOVEYOU ভাইরাসের ছয় দিন পর, মার্কিন হাউসের একটি উপ-কমিটি এ বিষয়ে একটি শুনানি করে। অনেক নিরাপত্তা বিশেষজ্ঞ এমন আইন প্রণয়নের দাবি জানান যা সফ্টওয়্যার কোম্পানিগুলোকে তাদের পণ্যের ত্রুটির কারণে সৃষ্ট ক্ষতির জন্য দায়ী করবে। ওয়াশিংটন একটি ভিন্ন পথ বেছে নেয়। দ্য ন্যাশনাল স্ট্র্যাটেজি টু সিকিউর সাইবারস্পেস-এ বলা হয়েছে যে “ফেডারেল রেগুলেশন সাইবারস্পেস সুরক্ষার প্রাথমিক উপায় হয়ে উঠবে না।” এতে সতর্ক করা হয়েছে যে বিস্তৃত নির্দেশিকাগুলির ফলে “সাইবার নিরাপত্তার ক্ষেত্রে সবচেয়ে কম-সাধারণ- denominador পদ্ধতি” তৈরি হতে পারে (CISA)।

শিল্পখাত ইঞ্জিনিয়ারিংয়ের মাধ্যমে উত্তর দিয়েছে। ILOVEYOU-এর এগারো দিন পর, Microsoft একটি Outlook আপডেট ঘোষণা করেছে যা এক্সিকিউটেবল এটাচমেন্ট ব্লক করে। ২০০২ সালের জানুয়ারিতে, কোম্পানিটি নিরাপত্তাকে সর্বোচ্চ অগ্রাধিকার দেয় (Seattle Times)। স্বয়ংক্রিয় প্যাচিং, নিরাপদ ডিফল্ট, বাগ বাউন্টি প্রোগ্রাম এবং সমন্বিত প্রকাশ স্ট্যান্ডার্ড অনুশীলনে পরিণত হয়েছিল। ২০০৮ সালে, Chrome একটি স্যান্ডবক্সে ওয়েব কন্টেন্ট চালানো শুরু করে যা "বাগ এক্সপ্লয়েট করার পরে আক্রমণকারী কী করতে পারে তা সীমিত করে" (Chromium Blog)। এনক্রিপশন, যা একসময় ব্যতিক্রম ছিল, ডিফল্টে পরিণত হয়েছে। মাল্টি-ফ্যাক্টর অথেন্টিকেশন, ফায়ারওয়াল, জিরো ট্রাস্ট এবং সিকিউরিটি ইনফরমেশন অ্যান্ড ইভেন্ট ম্যানেজমেন্ট (SIEM) সহ নিরাপত্তা প্রযুক্তিগুলি ব্যাপকভাবে ব্যবহৃত হতে শুরু করে। বিশ্বব্যাপী সংস্থাগুলি ২০২৬ সালে তথ্য সুরক্ষায় প্রায় ২৪০ বিলিয়ন ডলার ব্যয় করবে বলে অনুমান করা হচ্ছে (Gartner)। ওয়ার্মগুলি সম্পূর্ণ অদৃশ্য হয়ে যায়নি, তবে রুটিন ইন্টারনেট-ব্যাপী প্রাদুর্ভাবের যুগ ম্লান হয়ে গেছে। একই সময়ে, ইন্টারনেট, অনেকাংশেই প্রবিধানের বাধা ছাড়াই, পরবর্তী দুই দশকে উদ্ভাবন এবং অর্থনৈতিক প্রবৃদ্ধির একটি শক্তিশালী ইঞ্জিন হয়ে ওঠে।

কৃত্রিম বুদ্ধিমত্তা এজেন্টদের জন্য সিকিউরিটি ইঞ্জিনিয়ারিং

সাম্প্রতিক ঘটনাগুলি এজেন্ট গভর্নেন্স সম্পর্কে যুক্তিযুক্ত প্রশ্ন উত্থাপন করেছে। বিদ্যমান সুরক্ষা মেকানিজমগুলি প্রাক-এজেন্ট কম্পিউটিং পরিবেশের জন্য তৈরি করা হয়েছিল, যেগুলি সংকীর্ণভাবে সীমাবদ্ধ এবং মূলত নির্ধারিত সফ্টওয়্যার আচরণ দ্বারা চিহ্নিত। বিশেষ করে অ্যাক্সেস কন্ট্রোল মেকানিজমগুলি মূলত মানব ব্যবহারকারীদের কেন্দ্র করে ডিজাইন করা হয়েছে এবং প্রায়শই তাদের এমন ব্যাপক সুযোগ-সুবিধা প্রদান করে যা নীতিগতভাবে উল্লেখযোগ্য ক্ষতি ঘটানোর জন্য যথেষ্ট।

এই ডিজাইনটি বেশ কয়েকটি অনুমানের উপর নির্ভর করে: বেশিরভাগ ব্যবহারকারী সদিচ্ছা নিয়ে কাজ করেন; অডিটিং এবং বাস্তব বিশ্বের পরিণতির মাধ্যমে দূষিত অভিনেতাদের নিবৃত্ত করা যেতে পারে; এবং মানুষেরা তুলনামূলকভাবে সীমিত হারে সঠিক বা ভুল পদক্ষেপ নেন। এজেন্টদের এই সুরক্ষা মেকানিজমগুলি প্রয়োগ করার জন্য মানব এবং এজেন্টের আচরণের মধ্যে পার্থক্যগুলি হিসাব করার প্রয়োজন হয়। যেমনটি আমরা কৃত্রিম বুদ্ধিমত্তা এজেন্ট নিরাপত্তা সম্পর্কিত তথ্যের জন্য NIST-এর অনুরোধের উত্তরে লিখেছি, কৃত্রিম বুদ্ধিমত্তা এজেন্টরা এই অনুমানগুলিকে চ্যালেঞ্জ করে। তারা মেশিনের গতিতে সুযোগ-সুবিধা প্রয়োগ করতে এবং পদক্ষেপ নিতে পারে, বাস্তব বিশ্বের পরিণতি দ্বারা নিজেরা নিবৃত্ত হয় না এবং এমন পদক্ষেপ নিতে পারে যা প্রযুক্তিগতভাবে অনুমোদিত তবে একজন সাধারণ মানব ব্যবহারকারী যা খুব কমই করবেন।

এই প্রশ্নগুলোর উত্তর দেওয়ার জন্য সিকিউরিটি ইঞ্জিনিয়ারিং প্রয়োজন। পৃথক উপাদানগুলি ভুল আচরণ করলে ঝুঁকি নিয়ন্ত্রণের মধ্যে রাখে এমন সিস্টেম তৈরির নিরাপত্তা নীতিগুলি আমরা জানি। তবে আমাদের নিশ্চিত করতে হবে যে কৃত্রিম বুদ্ধিমত্তা এজেন্টদের প্রশিক্ষণ, পরীক্ষা এবং ব্যবহারের জন্য পরিবেশ প্রকৌশলী করার সময় এই নীতিগুলি প্রয়োগ করা হয়।

ডিফেন্স-ইন-ডেপথ সুরক্ষা নীতি

কৃত্রিম বুদ্ধিমত্তা এজেন্টদের সুরক্ষিত করার জন্য সম্ভবত সবচেয়ে গুরুত্বপূর্ণ নিরাপত্তা নীতি হলো ডিফেন্স-ইন-ডেপথ বা বহুস্তরীয় সুরক্ষা, যা একটি স্তরিত নিরাপত্তা আর্কিটেকচারের পক্ষে কথা বলে, যেখানে সিস্টেমের সম্পদ রক্ষা করার জন্য একাধিক, বৈচিত্র্যময় এবং অতিরিক্ত সুরক্ষামূলক ব্যবস্থা নিযুক্ত করা হয়। কোনো একক সুরক্ষা ব্যবস্থা নিখুঁত নয়। মানুষ সোশ্যাল-ইঞ্জিনিয়ারিং আক্রমণের শিকার হতে পারে এবং তাদের লগইন শংসাপত্র প্রকাশ করতে পারে, জিরো-ডে সফ্টওয়্যার দুর্বলতা আবিষ্কৃত ও শোষিত হতে পারে এবং ইন্ট্রুশন ডিটেকশন নতুন আক্রমণের রূপগুলি ধরতে ব্যর্থ হতে পারে। ডিফেন্স-ইন-ডেপথ এটি স্বীকার করে এবং প্রতিরক্ষার কয়েকটি স্বাধীন স্তর স্ট্যাক করে। যদি একটি প্রতিরক্ষামূলক স্তর এড়িয়ে চলা হয়, তবে অনুপ্রবেশ মোকাবিলা বা সনাক্ত করার জন্য অন্যান্য স্তরগুলি কার্যকর থাকে।

Hugging Face-এর ঘটনাটি দেখায় কেন ডিফেন্স-ইন-ডেপথ বা বহুস্তরীয় সুরক্ষা গুরুত্বপূর্ণ। OpenAI-এর রেট্রোস্পেক্টিভ রিপোর্ট অনুযায়ী, তাদের প্রোডাকশন সিস্টেমে ব্যবহৃত স্বয়ংক্রিয় সুরক্ষা ব্যবস্থাগুলি—যার মধ্যে রয়েছে harness, অটো-রিভিউ মডেল এবং সেফটি ক্লাসিফায়ার—মূল্যায়ন পরিবেশে অনুপস্থিত ছিল। যদি বর্তমানের ডিপ্লয় করা চেইন-অফ-থট মনিটরিং সেই মূল্যায়নগুলিতে চালু থাকত, তবে এটি লঙ্ঘন সংঘটিত হওয়ার একদিনেরও বেশি সময় আগে প্রাথমিক কার্যকলাপটি ধরে ফেলত এবং সিকিউরিটি টিমকে পেজ করত (OpenAI)। সমস্যাটি ধরতে পারত এমন লেয়ারগুলো সেখানে বিদ্যমান ছিল। তবে সেগুলো একসাথে সব জায়গায় কার্যকর ছিল না।

কৃত্রিম বুদ্ধিমত্তা এজেন্টদের সুরক্ষা নিশ্চিত করার জন্য কৃত্রিম বুদ্ধিমত্তা মডেল এবং সেগুলোকে ঘিরে থাকা সিস্টেমগুলির নিরাপত্তা ও সুরক্ষা উভয়ই উন্নত করা প্রয়োজন। মডেল স্তরে কাজ করা গুরুত্বপূর্ণ এবং এটি সুফল দিচ্ছে। প্রারম্ভিক LLM-গুলি ইনজেক্ট করা নির্দেশাবলী দ্বারা সহজেই চালিত হতো, যেখানে আজকের মডেলগুলি সেগুলোকে চিনতে এবং প্রত্যাখ্যান করতে অনেক বেশি দক্ষ। মডেল ডেভেলপাররা নিরাপদ আচরণের জন্য মডেলগুলিকে প্রশিক্ষণ দেন এবং, OpenAI-এর রেট্রোস্পেক্টিভ যেমন বর্ণনা করেছে, সমস্যাযুক্ত আচরণের লক্ষণগুলির জন্য রিজনিং ট্রেস পর্যবেক্ষণ করেন। তবে মডেল-স্তরের সুরক্ষা সমাধানের কেবল একটি অংশ। যে সিস্টেমে এজেন্টদের প্রশিক্ষণ, পরীক্ষা এবং ডিপ্লয় করা হয় সেগুলিকেও নিরাপত্তা এবং ধারণক্ষমতার জন্য ডিজাইন করতে হবে। মডেল-স্তরের নিরাপত্তা একটি এজেন্টের বিপথগামী হওয়ার সম্ভাবনা হ্রাস করে; সিস্টেম-স্তরের নিরাপত্তা ত্রুটি ঘটলে ক্ষতি সীমিত করে।

বড় করুন

অতিরিক্ত সুরক্ষামূলক ব্যবস্থার জন্য ডিজাইনের নিয়ম

বহুস্তরীয় সুরক্ষার জন্য অতিরিক্ত সুরক্ষামূলক ব্যবস্থার প্রয়োজন। এজেন্টদের জন্য, আমরা এটিকে তিনটি ডিজাইনের নিয়ম সহ প্রয়োগ করার পক্ষে কথা বলি:

1. স্বাধীনতা। প্রতিটি স্তরের স্বাধীন কারণে ব্যর্থ হওয়া উচিত। একই অনুমান ভাগ করে নেয় এমন দুটি নিয়ন্ত্রণকে একই আক্রমণের মাধ্যমে পরাস্ত করা যেতে পারে। মনিটর এবং এনফোর্সমেন্ট পয়েন্টগুলোর এজেন্টের নাগালের বাইরে থাকা উচিত।
2. এজেন্টের নিচের স্তরে এনফোর্সমেন্ট। অন্তত একটি স্তর অবশ্যই নির্ধারিত হতে হবে: প্রচলিত, যাচাইযোগ্য কোড যা মডেল যা-ই তৈরি করুক না কেন নিষিদ্ধ কাজগুলি ব্লক করে। এজেন্ট যে সুরক্ষা আহ্বান করতে অস্বীকার করতে পারে বা পুনরায় কনফিগার করতে পারে, তা কোনো সুরক্ষা নয়।
3. সংকেত শুধুমাত্র ক্ষমতা হ্রাস করতে পারে। সনাক্তকরণের ফলে এমন প্রতিক্রিয়া শুরু করা উচিত যা এজেন্ট যা করতে পারে তা সংকুচিত করে, যেমন বিরতি দেওয়া, শংসাপত্র প্রত্যাহার করা, নেটওয়ার্ক অ্যাক্সেস কেটে দেওয়া বা সেশন বন্ধ করা। কোনো ঝুঁকির সংকেত কখনই অতিরিক্ত অ্যাক্সেস প্রদান করা উচিত নয়।

আমরা NVIDIA সহ Open Secure AI Alliance-এর আমাদের অংশীদারদের সাথে এই নীতিগুলি শেয়ার করি, যারা যুক্তি দিয়েছে যে harness একটি এজেন্ট যা করার চেষ্টা করে তা নির্দেশ করে আর ইনফ্রাস্ট্রাকচার এটি যা করতে পারে তা নিয়ন্ত্রণ করে (NVIDIA)।

Perplexity-এর পণ্যগুলিতে ডিফেন্স-ইন-ডেপথ

Perplexity চার ধরনের পরিবেশে এজেন্ট চালায়: ক্লাউডে আমাদের এজেন্ট প্ল্যাটফর্ম Computer এর মাধ্যমে, ব্রাউজারে Comet এর মাধ্যমে, ব্যবহারকারী ডিভাইসে Portable Computer এর মাধ্যমে এবং কর্মচারী ল্যাপটপে, যেখানে আমাদের প্রকৌশলীরা তৃতীয় পক্ষের কোডিং এজেন্ট ব্যবহার করেন। প্রতিটি পরিবেশের নিজস্ব ঝুঁকি রয়েছে এবং প্রত্যেকটি সুরক্ষার বেশ কয়েকটি স্তর পায়।

ক্লাউডে: Computer এবং SPACE

প্রতিটি Computer টাস্ক আমাদের স্যান্ডবক্স প্ল্যাটফর্ম SPACE-এ চলে, যা ডিফল্টভাবে এজেন্টকে বিশ্বস্ত নয় বলে মনে করে। প্রতিটি টাস্ক নিজস্ব microVM পায়, শংসাপত্রগুলি স্যান্ডবক্সের বাইরে রাখা হয় এবং শুধুমাত্র প্রয়োজন হলেই ইনজেক্ট করা হয়, আউটবাউন্ড ট্রাফিক গেস্টের বাইরে নিয়ন্ত্রিত হয় এবং স্ন্যাপশটগুলি আমাদের ধ্বংসাত্মক পরিবর্তনগুলি রোল ব্যাক করতে দেয় (Making SPACE)। এন্টারপ্রাইজ গ্রাহকরা তাদের নিজস্ব এনক্রিপশন চাবিও আনতে পারেন। একটি চাবি প্রত্যাহার করলে সুরক্ষিত ডেটা অপাঠ্য হয়ে যায় এবং এজেন্ট সেই সিদ্ধান্ত ওভাররাইড করতে পারে না।

এই স্তরগুলো কাজ করে কিনা, তা আমরা পরীক্ষা করে দেখি। Escaping SPACE: Part I-এ, আমরা একটি SPACE স্যান্ডবক্সের মধ্যে নয়টি ফ্রন্টিয়ার মডেলকে রুট অ্যাক্সেস দিয়েছিলাম এবং সেগুলি থেকে বেরিয়ে আসার জন্য বলেছিলাম। কেউ ভিএম থেকে বের হতে পারেনি, তবে আংশিক নেটওয়ার্ক অ্যাক্সেস অনুমোদিত হলে কেউ কেউ নেটওয়ার্ক পলিসি এড়ানোর উপায় খুঁজে পেয়েছিল। আমরা সেই ফাঁকগুলি ঠিক করেছি, রি-টেস্টে ফিক্সগুলি নিশ্চিত করেছি এবং অন্য ১০টি স্যান্ডবক্স প্ল্যাটফর্মের মধ্যে ৮টিতে পাওয়া একই রকম দুর্বলতা তাদের ভেন্ডরদের কাছে প্রকাশ করেছি।

ব্রাউজারে: Comet এবং BrowseSafe

Comet লঞ্চ হওয়ার পর থেকেই একটি লেয়ার্ড প্রম্পট-ইনজেকশন ডিফেন্স ব্যবহার করে আসছে: ক্লাসিফায়ারগুলি রিট্রিভ করা কন্টেন্ট স্ক্রিন করে, স্ট্রাকচার্ড প্রম্পট এটিকে বিশ্বস্ত নয় হিসেবে চিহ্নিত করে, ইমেল পাঠানো বা অর্ডার দেওয়ার মতো সংবেদনশীল কাজের জন্য ব্যবহারকারীর নিশ্চিতকরণের প্রয়োজন হয় এবং কিছু ব্লক করা হলে ব্যবহারকারীদের জানানো হয় (Comet prompt-injection defenses)। প্রথম স্তরের পিছনের ওপেন-সোর্স ডিটেকশন মডেল BrowseSafe আমাদের BrowseSafe-Bench বেঞ্চমার্কে ফ্রন্টিয়ার মডেলগুলিকে ছাড়িয়ে গেছে, তবুও একই বেঞ্চমার্ক দেখায় যে কোনো ডিটেক্টরই ফুল-প্রুফ নয়, যে কারণে ডিটেকশন কখনই একমাত্র স্তর নয় (BrowseSafe research)। Computer এই প্রতিরক্ষাগুলি উত্তরাধিকারসূত্রে পায়, যা Trail of Bits দ্বারা অডিট করা হয়েছে (Perplexity)।

ডিভাইসে: Portable Computer

Portable Computer হলো একটি স্থানীয়ভাবে কাজ করা প্রথম এজেন্ট: মডেল, harness, কথোপকথন এবং ট্র্যাজেক্টরি ডিফল্টভাবে ব্যবহারকারীর মেশিনে থাকে। একটি ডিটারমিনিস্টিক অর্কেস্ট্রেটর, যা কোনো LLM না হয়ে harness কোড, লুপ চালায় এবং পলিসি প্রয়োগ করে। মডেলটি অ্যাকশনের প্রস্তাব করে এবং অনুমোদিত টুল কলগুলি একটি ওএস-লেভেল স্যান্ডবক্সে চলে যা প্রসেস, ফাইল পাথ এবং নেটওয়ার্ক অ্যাক্সেস সীমাবদ্ধ করে। স্যান্ডবক্সটি সর্বদা চালু থাকে এবং ফেইল ক্লোজড হয়: যদি এটি উপলব্ধ না হয়, তবে harness ব্যবহারকারীর অনুমতি নিয়ে কমান্ড চালানোর পরিবর্তে নিজেকে নিষ্ক্রিয় করে দেয়। ডিভাইস বাউন্ডারি অতিক্রম করে এমন অ্যাকশন, যেমন ওয়েব অনুসন্ধান, কানেক্টর এবং একটি শক্তিশালী ক্লাউড অ্যাডভাইজর মডেলে এসকালিয়েশন, শুধুমাত্র তখনই ঘটে যখন ব্যবহারকারী সেগুলি সক্ষম ও অনুমোদন করেন। অ্যাডভাইজর কলের আগে, একটি PII ক্লাসিফায়ার সংবেদনশীল তথ্য ফ্ল্যাগ করে এবং ব্যবহারকারী দেখতে পান কী পাঠানো হবে। অ্যাডভাইজর শুধুমাত্র সেই অনুমোদিত কনটেক্সট পায় এবং ডিভাইসের ফাইল বা টুলের অ্যাক্সেস ছাড়াই পাঠ্য নির্দেশনা ফেরত দেয়।

এন্ডপয়েন্টে: Numbat

ডেভেলপার ল্যাপটপে কোডিং এজেন্টরা সোর্স কোড, শংসাপত্র এবং প্রোডাকশন সিস্টেমের অ্যাক্সেস নিয়ে ঘণ্টার পর ঘণ্টা ধরে চলে। আমাদের ওপেন-সোর্স এজেন্ট সিকিউরিটি স্যুট Numbat, একটি স্বাধীন স্তর যোগ করে যা যেকোনো একক এজেন্টের বাইরে অবস্থান করে। এটি Claude Code, Codex, OpenCode এবং Pi-এর মতো harness-এর সাথে কাজ করে, চলার আগে বিপজ্জনক কাজগুলি ব্লক করে, গোপন তথ্য পড়া এবং তারপরে ডেটা বাইরে পাঠানোর মতো সন্দেহজনক মাল্টি-স্টেপ সিকোয়েন্স ফ্ল্যাগ করে এবং তদন্তের জন্য সেশন টাইমলাইন সংরক্ষণ করে। Numbat আমাদের ওপেন-সোর্স সাপ্লাই-চেইন স্ক্যানার Bumblebee-এর পাশাপাশি হাজার হাজার Perplexity এন্ডপয়েন্টে চলে। Computer নিয়মিত তাদের ফলাফল পর্যালোচনা করে এবং উন্নত সনাক্তকরণ নিয়মের প্রস্তাব দেয় এবং প্রতিটি পরিবর্তনের শিপিংয়ের আগে একজন মানুষ তা অনুমোদন করেন।

পুরো শিল্পখাতের জন্য একটি কাজ

যেহেতু কৃত্রিম বুদ্ধিমত্তা এজেন্টগুলি আরও বেশি সক্ষম এবং ব্যাপকভাবে ব্যবহৃত হচ্ছে, তাই সিকিউরিটি ইঞ্জিনিয়ারিং তাদের বিকাশ এবং ডিপ্লয়মেন্টের কেন্দ্রবিন্দুতে থাকতে হবে। গবেষক এবং প্রকৌশলীরা প্রতিষ্ঠিত নীতিগুলির উপর ভিত্তি করে তৈরি করতে পারেন, প্রতিরক্ষা পরিমার্জন করতে বাস্তব বিশ্বের ফলাফল ব্যবহার করতে পারেন এবং এজেন্টরা যে পরিবেশে কাজ করে সেগুলিতে সুরক্ষা পরীক্ষা করতে পারেন। নিরাপত্তা একটি চলমান ইঞ্জিনিয়ারিং ডিসিপ্লিন যা প্রযুক্তির পাশাপাশি বিকশিত হয়।

এজেন্টদের জন্য সিকিউরিটি ইঞ্জিনিয়ারিং সমগ্র শিল্পখাতের জন্য একটি কাজ। কোনো একক কোম্পানি পুরো স্ট্যাক নিয়ন্ত্রণ করে না যার উপর একটি এজেন্ট চলে। মডেল ডেভেলপার, harness নির্মাতা, স্যান্ডবক্স এবং রানটাইম প্রদানকারী, ক্লাউড এবং হার্ডওয়্যার ভেন্ডর এবং এন্টারপ্রাইজ সিকিউরিটি টিম প্রত্যেকে একটি স্তরের মালিক। অন্য স্তরটি পিছলে গেলে প্রতিটি স্তর ধরে রাখার উপর সমগ্রের নিরাপত্তা নির্ভর করে। সেই কারণেই আমরা এমন সুরক্ষা তৈরি করি যা এজেন্ট harness জুড়ে কাজ করে এবং আমাদের সরঞ্জামগুলি ওপেন-সোর্স করি। এটি অন্য প্ল্যাটফর্মে আমাদের পাওয়া দুর্বলতাগুলি প্রকাশ করার এবং Open Secure AI Alliance-এর মতো প্রচেষ্টায় অংশ নেওয়ার কারণও বটে।

এই চ্যালেঞ্জগুলি মোকাবিলায় বৃহত্তর সম্প্রদায়ের সাথে কাজ করার জন্য, Perplexity শীর্ষস্থানীয় কৃত্রিম বুদ্ধিমত্তা সিস্টেমগুলির নিরাপত্তা, বিশ্বস্ততা এবং ব্যবহারিক সুরক্ষা অধ্যয়নের জন্য ২০২৬ সালের মার্চ মাসে Secure Intelligence Institute চালু করেছে (Perplexity)। Perplexity বর্তমানে স্ট্যানফোর্ড, সিএমইউ, ডিউক, কলম্বিয়া, ওহাইও স্টেট এবং ভার্জিনিয়া বিশ্ববিদ্যালয়ের একাডেমিক গবেষকদের সাথে সহযোগিতা এবং/অথবা তহবিল প্রদান করছে। আমরা এজেন্ট নিরাপত্তা গবেষণার ক্ষেত্রে এগিয়ে যাওয়ার জন্য অভ্যন্তরীণ গবেষণা পরিচালনা করছি, সেই অগ্রগতিগুলিকে Perplexity-এর সিস্টেমে নির্দিষ্ট উন্নতিতে রূপান্তর করছি এবং বৃহত্তর কৃত্রিম বুদ্ধিমত্তা ইকোসিস্টেমকে শক্তিশালী করতে সাহায্য করে এমন জ্ঞান ও সম্পদ শেয়ার করছি। নিরাপদ এজেন্ট হলো এমন কিছু যা শিল্পখাত ডিজাইন করতে পারে। আমরা আমাদের অবদান অব্যাহত রাখতে এবং অন্যদের আমাদের সাথে একসাথে কাজ করার জন্য আমন্ত্রণ জানাই।