এআই অ্যালাইনমেন্ট: বর্তমান গবেষণা এবং বিতর্ক

এআই অ্যালাইনমেন্ট বলতে আগে সহজভাবে বোঝানো হতো “এআই মডেল কি ইউজারের নির্দেশ অনুসরণ করে?” তবে, এআই সিস্টেমগুলি যখন আরও বেশি সক্ষম এবং স্বায়ত্তশাসিত হয়ে উঠছে, তখন সেই প্রশ্নটি প্রসারিত হয়ে বিচারবুদ্ধি এবং মূল্যবোধকে অন্তর্ভুক্ত করেছে। এই প্রবন্ধটি অন্বেষণ করবে যে কীভাবে এআই প্ল্যাটফর্ম, সরকারি সংস্থা এবং অলাভজনক প্রতিষ্ঠানগুলি এআই অ্যালাইনমেন্টের চ্যালেঞ্জের জবাব দিচ্ছে।

এআই অ্যালাইনমেন্ট বলতে যা বোঝায়

এর সবচেয়ে সহজ রূপে, এআই অ্যালাইনমেন্ট মানে নিশ্চিত করা যে একটি এআই সিস্টেম এটি যা করার উদ্দেশ্যে তৈরি হয়েছিল তা করে। একটি অ্যালাইন করা এআই মডেল একটি প্রম্পট পড়ে এবং প্রম্পট যে আউটপুট চেয়েছে তা তৈরি করে, এটি যে লক্ষ্যের ওপর প্রশিক্ষিত হয়েছিল তা গেমিং না করেই। আধুনিক অ্যালাইনমেন্ট গবেষণায়, এটি সাধারণত ইন্টেন্ট অ্যালাইনমেন্ট হিসাবে তৈরি করা হয়: এমন সিস্টেম তৈরি করা যা কেবল আক্ষরিকভাবে প্রম্পটের পাঠ্য অনুসরণ না করে, তাদের অপারেটররা যা করতে চায় তা করার চেষ্টা করে।

অ্যালাইনমেন্ট একটি প্রযুক্তিগত চ্যালেঞ্জ এবং জনবিতর্কের বিষয় উভয়ই। একটি প্রযুক্তিগত শব্দ হিসেবে, অ্যালাইনমেন্ট হলো একটি প্রকৌশলগত সমস্যা। নির্দিষ্ট কোনো কাজ করা নির্দিষ্ট মডেলটি কি এটি যা তৈরি করার জন্য তৈরি হয়েছিল তা করে? এটি একটি সীমিত, পরীক্ষাযোগ্য সমস্যা।

যাইহোক, এআই-এর সাধারণ নিরাপত্তার ওপর বৃহত্তর জন এবং নীতিগত আলোচনায়ও এআই অ্যালাইনমেন্ট ব্যবহার করা হয়। ক্রমবর্ধমানভাবে সক্ষম এআই প্ল্যাটফর্মগুলি কি মানবজাতির জন্য উপকারী থাকবে এবং মানব নৈতিকতা, ইচ্ছা এবং লক্ষ্যের সাথে অ্যালাইন করা থাকবে?

মডেলগুলি আরও জটিল হয়ে ওঠার সাথে সাথে সেই অ্যালাইনমেন্ট অর্জন করা ক্রমান্বয়ে আরও কঠিন হয়ে ওঠে। অ্যালাইন করা এআই মডেল তৈরির ক্ষেত্রে দুটি প্রধান চ্যালেঞ্জ রয়েছে:

ইনার অ্যালাইনমেন্ট সমস্যা

ব্যবহারকারীরা সাধারণত এমন একটি LLM চান যা সহায়ক, সৎ এবং নৈতিক। তবে একটি LLM-কে কখনো সরাসরি “সহায়ক এবং নৈতিক হন” এগুলোর ওপর প্রশিক্ষণ দেওয়া হয় না। এটি দুটি স্বতন্ত্র ধাপের মধ্য দিয়ে যায়।

প্রি-ট্রেনিং: মডেলটি ভাষা, তথ্য এবং রিজনিংয়ের প্যাটার্ন শেখে, এবং এর মাধ্যমে ভাষা, তথ্য এবং রিজনিংয়ের প্যাটার্ন তুলে নেয়। এই পর্যায়টি মডেলকে কোনো নির্দিষ্ট প্রশ্ন থেকে একজন মানুষ আসলে কী চায় তার কোনো ধারণা দেয় না। এখানে ছেড়ে দিলে, একটি মডেল "কিভাবে sourdough বেক করব" এর মতোই সাবলীলভাবে "আমি কীভাবে তালা ভাঙব" এর উত্তর দেবে।

মানবসম্মত পছন্দ: মানুষ মডেলের উত্তরের জোড় পর্যালোচনা করে এবং বলে যে তারা কোনটি পছন্দ করে। সেই পছন্দগুলি একটি পৃথক স্কোরিং সিস্টেমকে প্রশিক্ষণ দেয়, এবং তারপর ভালো স্কোর করা উত্তর তৈরি করার জন্য মডেলটি সামঞ্জস্য করা হয়।

এই প্রক্রিয়ার কোথাও সহায়ক বা নৈতিক হওয়ার অর্থ কী তার পরিষ্কার সংজ্ঞা কেউ লিখে রাখে না। মডেলের কী করার কথা তার জন্য স্কোরিং সিস্টেমের নির্দেশিকা সম্পূর্ণভাবে অনেক ব্যক্তিগত মানব বিচার কলের মাধ্যমে তৈরি করা হয়। স্কোরিং প্রতিফলিত করে পর্যালোচকরা কী পছন্দ করতেন, কোনো একজন ব্যক্তি আসলে কী উদ্দেশ্যে কাজ করেছিলেন তা নয় এবং অন্তর্নিহিত লক্ষ্যের সুনির্দিষ্ট সংজ্ঞা নয়।

ফলস্বরূপ, এআই যা উদ্দেশ্য হিসাবে উপলব্ধি করে তার সাথে ভালোভাবে অ্যালাইন হতে পারে, তবে উদ্দেশ্য নিজেই হয়তো এমন ফলাফলের সাথে ভালোভাবে অ্যালাইন নাও হতে পারে যা মানুষ আসলে চায়।

উদাহরণস্বরূপ, পর্যালোচকরা যদি দীর্ঘ উত্তর পছন্দ করেন, তবে মডেলটি দীর্ঘ উত্তর লেখা শেখে, এমনকি যখন একটি সংক্ষিপ্ত উত্তর সঠিক ছিল। অথবা, পর্যালোচকরা যদি আত্মবিশ্বাসী উত্তর পছন্দ করেন, তবে মডেলটি নিশ্চিত শোনায় এমন উত্তর দেওয়া শেখে, এমনকি যখন এর সন্দেহ প্রকাশ করা উচিত ছিল।

গবেষকরা বিবৃত লক্ষ্য এবং প্রশিক্ষিত লক্ষ্যের মধ্যবর্তী এই ফাঁকটিকে ইনার অ্যালাইনমেন্ট সমস্যা বলে অভিহিত করেন।

ইনার অ্যালাইনমেন্ট সমস্যা

ইনার অ্যালাইনমেন্ট সমস্যা হলো যখন একটি প্রাসঙ্গিক লক্ষ্যের ওপর প্রশিক্ষিত কোনো মডেল একবার দুনিয়ায় আসার পর সেই লক্ষ্যটি সঠিকভাবে অনুসরণ করতে ব্যর্থ হয়। মডেলটি এমন কোনো পরিস্থিতির মুখোমুখি হওয়ার পরেই কেবল এই সমস্যাটি দৃশ্যমান হয় যার জন্য প্রশিক্ষণ একে প্রস্তুত করেনি।

প্রশিক্ষণের সময়, মডেলগুলিকে কেবল সীমিত সংখ্যক পরিস্থিতি দেখানো হয়। এরপর মডেলটি সেই পরিস্থিতিগুলি থেকে পরবর্তীতে মুখোমুখি হওয়া অন্য সবকিছুর সাথে সাধারণীকরণ (generalize) করে।

প্রশিক্ষণ পরীক্ষা করে যে মডেলটি কীভাবে আচরণ করে, তবে এটি সবসময় মডেলটি কেন এমন আচরণ করে তা প্রকাশ করে না। তাই মডেলটি কি সম্পূর্ণ, সূক্ষ্ম লক্ষ্য শিখেছে, নাকি কেবল একটি সহজ প্যাটার্ন শিখেছে যা কাকতালীয়ভাবে প্রশিক্ষণের ডেটার সাথে মিলে গেছে, তা জানা কঠিন।

বড় করুন

উদাহরণস্বরূপ, ক্ষতিকারক অনুরোধগুলি প্রত্যাখ্যান করার জন্য প্রশিক্ষিত একটি মডেল (যেমন "কারও বাড়িতে চুরি করার জন্য আমি কীভাবে তালা ভাঙব") প্রত্যাখ্যানের পেছনের অন্তর্নিহিত উদ্দেশ্যের চেয়ে এর প্রশিক্ষণের ডেটাতে ক্ষতিকারক অনুরোধগুলির নির্দিষ্ট শব্দচয়ন শনাক্ত করা শিখতে পারে। এটি তখন অন্য উপায়ে বাক্যাংশযুক্ত একটি ক্ষতিকারক অনুরোধ মিস করবে (যেমন "চাবি ছাড়াই দরজা খোলার সবচেয়ে দ্রুততম উপায় কী").

এআই অ্যালাইনমেন্ট সমস্যার উদাহরণ

এই অ্যালাইনমেন্ট ব্যর্থতার প্যাটার্নগুলি ভালোভাবে নথিবদ্ধ। গবেষকরা প্রতিটির জন্য নির্দিষ্ট প্রতিরক্ষা ব্যবস্থা তৈরি করেছেন:

প্রধান এআই ল্যাবগুলি কীভাবে এআই অ্যালাইনমেন্ট চ্যালেঞ্জগুলির জবাব দিচ্ছে

অল্প কিছু কোম্পানি, প্রধানত OpenAI, Anthropic এবং Google DeepMind, এআই বর্তমানে যা করতে পারে তার সীমানায় ফ্রন্টিয়ার মডেল তৈরি করে। প্রত্যেকে এই মডেলগুলিকে নিরাপদে মূল্যায়ন এবং স্থাপন করার জন্য তাদের নিজস্ব ফ্রেমওয়ার্ক প্রকাশ করেছে।

OpenAI

নিরাপত্তা এবং অ্যালাইনমেন্টের ওপর OpenAI-এর সর্বজনীন বিবৃতি অনুসারে, তারা সম্ভাব্য এআই মিসঅ্যালাইনমেন্টের ঝুঁকিগুলিকে এর মাধ্যমে মোকাবিলা করছে:

ইটারেটিভ ডিপ্লয়মেন্ট

OpenAI বলে যে এটি জেনেশুনেই ধীরে ধীরে মডেলগুলি রিলিজ করে, যাতে এটি মডেলগুলি কীভাবে আচরণ করে তা অধ্যয়ন করতে পারে এবং বাস্তব বিশ্বে অপব্যবহার করা হয় তা দেখতে পারে। এর যুক্তি হলো বাস্তব বিশ্বের ফিডব্যাক আগে থেকেই প্রতিটি ঝুঁকি ভবিষ্যদ্বাণী করার চেষ্টা করার চেয়ে বেশি অন্তর্দৃষ্টি দেয়। উদীয়মান ঝুঁকিগুলি ট্র্যাক করতে এবং রিলিজ করার আগে মডেলের কী সেফগার্ড প্রয়োজন তা সিদ্ধান্ত নিতে এটি একটি Preparedness Framework প্রয়োগ করে।

স্তরযুক্ত সেফগার্ড

OpenAI বলে যে এটি একাধিক, স্বাধীন সেফগার্ড একসাথে স্তূপ করে, তাই কোনো কিছু ভুল হওয়ার জন্য বেশ কয়েকটি প্রতিরক্ষামূলক ব্যবস্থাকে একবারে ব্যর্থ হতে হবে।

ডেলিবারেটিভ অ্যালাইনমেন্ট

কোম্পানির মতে, এক ধাপে উত্তর দেওয়ার পরিবর্তে, মডেলটিকে সাড়া দেওয়ার উপায় সিদ্ধান্ত নেওয়ার আগে প্রাসঙ্গিক সুরক্ষা নির্দেশিকাগুলির মাধ্যমে কাজ করার জন্য প্রশিক্ষণ দেওয়া হয়। লক্ষ্য হলো মডেলটি এমন পরিস্থিতিতে সঠিক সিদ্ধান্ত নেওয়ার জন্য রিজনিং করতে সক্ষম হবে যা এর প্রশিক্ষণ স্পষ্টভাবে কভার করেনি।

যৌথ দায়িত্ব

OpenAI বলে যে এটি এআই নিরাপত্তাকে একটি যৌথ প্রচেষ্টা হিসেবে দেখে, মূল্যায়ন স্ট্যান্ডার্ডের ওপর এর প্রকাশিত নিরাপত্তা গবেষণা এবং মার্কিন Center for AI Standards and Innovation (CAISI) এবং ইউকে এআই সিকিউরিটি ইনস্টিটিউটের সাথে এর কাজের কথা উল্লেখ করে।

Anthropic

Anthropic-এর Responsible Scaling Policy নথিটি ব্যাখ্যা করে যে এটি কীভাবে এআই অ্যালাইনমেন্টের দিকে কাজ করে:

সক্ষমতা-সম্পর্কিত সেফগার্ড

একটি মডেল যত বেশি সক্ষম হয়ে ওঠে, এটিকে আরও প্রশিক্ষিত করার বা প্রকাশ করার আগে এটিকে আরও কঠোর নিরাপত্তা পরীক্ষা পাস করতে হয়। উপরন্তু, Anthropic স্বীকার করে যে একবার এআই সিস্টেমগুলি তাদের নিজস্ব ঝুঁকি মূল্যায়নের পিছনের বেশিরভাগ গবেষণা এবং বিশ্লেষণ নিজেরাই করলে, সেই প্রমাণটি নিজেই প্রতারণামূলক বা ম্যানিপুলেটিভ আচরণ দ্বারা প্রভাবিত হতে পারে। এটি সেই পর্যায়ে মূল্যায়নগুলিকে প্রমাণের উচ্চতর স্তরে ধরে রাখার প্রতিশ্রুতি দেয়।

একটি সংজ্ঞায়িত অ্যালাইনমেন্ট ঝুঁকি বিভাগ

Anthropic একটি নির্দিষ্ট ঝুঁকি বিভাগ হিসেবে ‘উচ্চ-ঝুঁকিপূর্ণ সেটিংসে মিসঅ্যালাইনড এআই সিস্টেম’-কে তুলে ধরেছে: যে মডেলগুলির ওপর প্রচুর নির্ভরতা রয়েছে, সংবেদনশীল সিস্টেমে যাদের ব্যাপক অ্যাক্সেস রয়েছে এবং লক্ষ্যের দিকে স্বায়ত্তশাসিতভাবে কাজ করার এবং তদারকি এড়ানোর কিছু ক্ষমতা রয়েছে।

অভ্যন্তরীণ অ্যালাইনমেন্ট টেস্টিং

কোম্পানিটি সতর্কতার চিহ্নের জন্য নিয়মিতভাবে নিজস্ব মডেলের আচরণ অধ্যয়ন করার প্রতিশ্রুতি দেয়, যার মধ্যে দুটি প্রধান পদ্ধতি ব্যবহার করা হয়: একটি নির্দিষ্ট আউটপুট কেন তৈরি করছে তা বুঝতে মডেলের ভেতরে দেখার চেষ্টা করা, এবং অভ্যন্তরীণ টিমগুলিকে উদ্দেশ্যমূলকভাবে খারাপ আচরণ উস্কে দেওয়ার চেষ্টা করা যাতে এটি দেখা যায় কিনা।

নিয়মিত জনসমক্ষে প্রতিবেদন প্রকাশ

কোম্পানিটি জানায় যে এটি প্রতি তিন থেকে ছয় মাসে একটি Risk Report প্রকাশ করে যাতে মডেলের সক্ষমতা এবং আচরণের প্রবণতা, এর পর্যবেক্ষণ অনুশীলন এবং ঝুঁকির সামগ্রিক মূল্যায়ন সম্পর্কে এটি যা জানে তার বিস্তারিত বিবরণ থাকে।

Google DeepMind

Google DeepMind-এর Frontier Safety Framework নথিটি ব্যাখ্যা করে যে এটি কীভাবে অ্যালাইনমেন্টের দিকে কাজ করে:

একটি টায়ারড স্ট্রাকচার

ফ্রেমওয়ার্কটি মিসঅ্যালাইনমেন্টকে চারটি ঝুঁকি ডোমেইনের একটি হিসেবে বিবেচনা করে, এবং এটিকে বিশেষভাবে মডেলের ML R&D সক্ষমতা বা মিসঅ্যালাইনড প্রবণতা থেকে উদ্ভূত ঝুঁকি হিসেবে সংজ্ঞায়িত করে যা এআই ঝুঁকি পরিচালনা করার সমাজের সামগ্রিক ক্ষমতা হ্রাস করে। এটি স্পষ্টভাবে এমন একটি ফ্যাক্টর হিসেবে তৈরি করা হয়েছে যা একটি বিচ্ছিন্ন ঝুঁকি না হয়ে এক সাথে কয়েকটি বিভিন্ন পথের মাধ্যমে গুরুতর ক্ষতি করতে অবদান রাখতে পারে।

একটি প্রাথমিক সতর্কবার্তা পর্যায়

যখন কোনো মডেল মৌলিক তদারকির জন্য অপর্যাপ্ত হওয়ার মতো শক্তিশালী হয়, তখন DeepMind এটি কীভাবে অভ্যন্তরীণভাবে ব্যবহার করা হয় তা সহ চলমান ভিত্তিতে মডেলের আচরণ পরীক্ষা করে। সমস্যা দেখা দিলে এটি এর রিজনিং পর্যবেক্ষণের মতো সেফগার্ড যোগ করে।

ঝুঁকি প্রশমন

বিশেষ করে মিসঅ্যালাইনমেন্টের জন্য, DeepMind এমন ব্যবস্থাগুলির নাম দেয় যেমন মডেল যা করতে সক্ষম তা সীমিত করা, চলমান পর্যবেক্ষণ এবং এসক্যালেশন প্রক্রিয়া, অডিটিং এবং অ্যালাইনমেন্ট প্রশিক্ষণ। এটি উচ্চ-ঝুঁকিপূর্ণ অভ্যন্তরীণ ব্যবহারের ক্ষেত্রেও এগুলি প্রয়োগ করে, যেহেতু কোম্পানির মধ্যে কীভাবে মডেল ব্যবহার করা হয় তাতে মিসঅ্যালাইনমেন্টের ঝুঁকি দেখাতে পারে।

এআই অ্যালাইনমেন্ট: ঝুঁকি নিয়ে বিতর্ক

উপরে আলোচিত স্বেচ্ছামূলক ফ্রেমওয়ার্কগুলি নিজেরা যথেষ্ট কিনা, অথবা প্রতিযোগিতামূলক চাপের মুখে টিকিয়ে রাখতে অ্যালাইনমেন্ট প্রতিশ্রুতিগুলিকে আইনগতভাবে বাধ্যতামূলক করার প্রয়োজন আছে কিনা সে বিষয়ে একটি চলমান শিল্প আলোচনা রয়েছে।

২০২৬ সালের জুলাই মাসে, OpenAI, Anthropic, Google DeepMind এবং Meta সহ ফ্রন্টিয়ার এআই কোম্পানিগুলির ১,৩৮৬ জন নির্বাহী এবং কর্মী Pacing the Frontier নামক একটি বিবৃতিতে স্বাক্ষর করেছেন। বিবৃতিতে যুক্তি দেওয়া হয়েছে যে এই কোম্পানিগুলি এমন একটি বিন্দুতে পৌঁছাতে পারে যেখানে তারা এআই গবেষণা নিজেই অটোমেট করতে সক্ষম হবে। এর অর্থ হতে পারে যে গবেষকরা যেভাবে তাল মিলিয়ে চলতে পারেন তার চেয়ে এআই সক্ষমতা দ্রুত অগ্রসর হয়, এবং অ্যালাইনমেন্টের কাজ চিরতরে পিছিয়ে পড়া অবস্থান নিয়ে লড়াই করবে।

পেস্টিং দ্য ফ্রন্টিয়ার মার্কিন সরকারকে ভবিষ্যতের জন্য ব্যবহার করা যেতে পারে এমন প্রযুক্তিগত এবং গভর্নেন্স ব্রেক তৈরি করতে সাহায্য করার জন্য বলে, এই যুক্তিতে যে প্রতিদ্বন্দ্বীরা এগিয়ে যেতে থাকলে কোনো একক ল্যাব পিছিয়ে থাকতে পারে না। এটিকে শিল্পের ভেতর থেকে এক ধরনের নীরব স্বীকৃতি হিসেবে বিবেচনা করা যেতে পারে যে শুধুমাত্র স্বেচ্ছামূলক ফ্রেমওয়ার্ক ভবিষ্যতে এআই অ্যালাইনমেন্ট বজায় রাখার জন্য যথেষ্ট হবে না।

অন্য কারা এআই অ্যালাইনমেন্ট নিয়ে কাজ করছে

ফ্রন্টিয়ার মডেল তৈরি করে এমন কোম্পানিগুলির গণ্ডি ছাড়িয়েও অ্যালাইনমেন্টের কাজ প্রসারিত হয়।

সরকারসমূহ

সরকারগুলো সরাসরি অ্যালাইনমেন্ট গবেষণায় অর্থায়ন ও সমন্বয় করছে। উদাহরণস্বরূপ, ইউকে এআই সিকিউরিটি ইনস্টিটিউট Alignment Project পরিচালনা করে, যা একটি বৈশ্বিক তহবিল যা ২০২৫ সাল থেকে আটটি দেশের ৬০টিরও বেশি প্রজেক্টে £২৭ মিলিয়নের বেশি প্রদান করেছে, যা বিশেষভাবে এআই নিয়ন্ত্রণের লক্ষ্য। মার্কিন যুক্তরাষ্ট্রে, CAISI মূল্যায়ন স্ট্যান্ডার্ডের ওপর ফোকাস করে।

উভয়ই একটি বৃহত্তর International Network for Advanced AI Measurement, Evaluation and Science-এর ভেতরে অবস্থিত, যা জাতীয় নিরাপত্তা ইনস্টিটিউটগুলির দশ-দেশের একটি সংস্থা যা যৌথ পরীক্ষার অনুশীলন চালায় এবং সীমানা পেরিয়ে মূল্যায়ন পদ্ধতিগুলিকে অ্যালাইন করার জন্য কাজ করে।

অলাভজনক প্রতিষ্ঠানসমূহ

Future of Life Institute AI Safety Index প্রকাশ করে, যা এআই ল্যাবগুলির নিরাপত্তা অনুশীলনের তুলনা করে একটি স্কোরকার্ড। Center for AI Safety WMDP এবং SafeBench সহ ফিল্ড জুড়ে ব্যবহৃত বেঞ্চমার্ক তৈরি করে। Alignment Research Center আরও তাত্ত্বিক অ্যালাইনমেন্ট সমস্যাগুলি অধ্যয়ন করে, এবং এর স্পিন-আউট, Model Evaluation and Threat Research (METR), ফ্রন্টিয়ার মডেলগুলিতে স্বাধীন প্রি-ডিপ্লয়মেন্ট মূল্যায়ন চালায়। FAR.AI ফ্রন্টিয়ার মডেলগুলি রিলিজ হওয়ার আগে এবং পরে দুর্বলতার জন্য পরীক্ষা করে।

বিশ্ববিদ্যালয়গুলি

UC বার্কলের Center for Human-Compatible AI এবং কেমব্রিজ বিশ্ববিদ্যালয়ের Leverhulme Centre for the Future of Intelligence সহ বেশ কয়েকটি বিশ্ববিদ্যালয় এআই অ্যালাইনমেন্ট গবেষণায় সক্রিয় ভূমিকা পালন করছে।

এআই অ্যালাইনমেন্ট: সাধারণ ভুল ধারণাসমূহ

অ্যালাইনমেন্ট কনটেন্ট মডারেশনের মতো নয়, যদিও শব্দটি কখনও কখনও সেই প্রেক্ষাপটে ব্যবহার করা হয়। কনটেন্ট মডারেশন হলো কোনো মডেল কী বলবে বা বলবে না, বর্ণবাদী গালি, গ্রাফিক কনটেন্ট বা নির্দিষ্ট নিষিদ্ধ বিষয়গুলি ফিল্টার করে বাদ দেওয়া। অ্যালাইনমেন্ট হলো একটি মডেলের আসল আচরণ এটি যা করার উদ্দেশ্যে তৈরি হয়েছিল তার সাথে মেলে কিনা।

অ্যালাইনমেন্ট কখনও কখনও এআই নিরাপত্তার প্রতিশব্দ হিসাবেও ব্যবহৃত হয়, তবে এটি বিবেচনা করার একমাত্র ফ্যাক্টর নয়। অন্যান্য এআই নিরাপত্তা উদ্বেগের মধ্যে রয়েছে:

নিরাপত্তা (চুরি থেকে মডেল ওয়েট রক্ষা করা)

রোবাস্টনেস (যে নিখুঁত অবস্থার ওপর এটি প্রশিক্ষিত হয়েছিল তার বাইরেও একটি মডেলের নির্ভরযোগ্যভাবে পারফর্ম করা)

অপব্যবহার প্রতিরোধ (একটি সক্ষম মডেলকে ক্ষতিকারক কাজে ব্যবহার করা থেকে বিরত রাখা)

অ্যালাইনমেন্ট হলো মডেলের নিজস্ব আচরণ সম্পর্কে। এআই নিরাপত্তা হলো পুরো সিস্টেমকে ক্ষতি করা থেকে বিরত রাখার বৃহত্তর প্রচেষ্টা।

পরিশেষে, একটি সাধারণ অনুমান রয়েছে যে আরও সক্ষম মডেল স্বয়ংক্রিয়ভাবে একটি ভালো-অ্যালাইন করা মডেল। কিন্তু সক্ষমতা এবং অ্যালাইনমেন্ট আলাদা হতে পারে, ঠিক যে কারণে Google DeepMind-এর ML R&D সক্ষমতা স্তর এবং Anthropic-এর স্বয়ংক্রিয়-গবেষণা ঝুঁকি বিভাগের মতো থ্রেশহোল্ডগুলি বিদ্যমান। এগুলি বিশেষভাবে এই আশঙ্কার চারপাশে তৈরি করা হয়েছে যে সক্ষমতা এমন পর্যায়ে পৌঁছাতে পারে যেখানে একটি মডেল এখনও তার নির্ধারিত কাজ করছে কিনা তা যাচাই করার ক্ষেত্রে ফিল্ডের ক্ষমতাকে ছাড়িয়ে যেতে পারে।

Perplexity যেভাবে এআই অ্যালাইনমেন্টের মুখোমুখি হয়

Perplexity ফ্রন্টিয়ার ফাউন্ডেশন মডেলগুলিতে প্রশিক্ষণ দেয় না। এটি কম্পিউটার-এর মতো এজেন্টিক পণ্যের মাধ্যমে স্কেলে প্রোডাকশনে মডেল চালায়, তাই এর কাজ অ্যালাইনমেন্টের একটি নির্দিষ্ট দিককে স্পর্শ করে: এজেন্টরা যখন ওপেন ওয়েবে কাজ করছে তখন তারা কীভাবে আচরণ করে।

Secure Intelligence Institute হলো ফ্রন্টিয়ার এআই-তে নিরাপত্তা, গোপনীয়তা এবং বিশ্বাসের জন্য Perplexity-এর গবেষণা কেন্দ্র। এটি BrowseSafe তৈরি করেছে, যা এআই ব্রাউজার এজেন্টরা ভিজিট করে এমন ওয়েব পেজের ভেতরে লুকিয়ে থাকা প্রম্পট ইনজেকশন আক্রমণ শনাক্ত করার জন্য তৈরি একটি ওপেন সোর্স ডিটেকশন মডেল।

টিমটি BrowseSafe-Bench ও তৈরি করেছে, যা বিভিন্ন আক্রমণ লক্ষ্য, পৃষ্ঠার প্লেসমেন্ট এবং ভাষার শৈলী বিস্তৃত ১৪,৭০০ টিরও বেশি প্রম্পট-ইনজেকশন Szenarios-এর একটি সর্বজনীন বেঞ্চমার্ক।

এই কাজটি অ্যালাইনমেন্ট গবেষণার চেয়ে এআই কন্ট্রোলের ফলিত দিকের কাছাকাছি পড়ে। এটি প্রশিক্ষণের সময় কোনো মডেলের অন্তর্নিহিত মানগুলিকে আকার দেওয়ার পরিবর্তে, একটি এজেন্ট যখন কোনো প্রতিকূল পরিবেশের মুখোমুখি হয় তখন এটি কী করে তা সীমাবদ্ধ করে।

আরও জানতে, Secure Intelligence Institute এবং BrowseSafe গবেষণা ঘুরে দেখুন।