AI ஒத்திசைவு: தற்போதைய ஆய்வு மற்றும் விவாதம்

AI ஒத்திசைவு என்பது முன்பு எளிமையாக “AI மாதிரி பயனர் வழிமுறைகளைப் பின்பற்றுகிறதா?” என்பதைக் குறிக்கிறது. எவ்வாறாயினும், AI அமைப்புகள் அதிக திறன் மற்றும் தன்னாட்சி பெற்றதாக மாறும்போது, ​​அந்தக் கேள்வி தீர்ப்பு மற்றும் மதிப்புகளை உள்ளடக்கியதாக விரிவடைந்துள்ளது. இந்தக் கட்டுரை AI தளங்கள், அரசாங்க அமைப்புகள் மற்றும் இலாப நோக்கற்ற நிறுவனங்கள் AI ஒத்திசைவு சவாலுக்கு எவ்வாறு பதிலளிக்கின்றன என்பதை ஆராயும்.

AI ஒத்திசைவு என்பதன் அர்த்தம்

அதன் எளிமையான வடிவத்தில், AI ஒத்திசைவு என்பது ஒரு AI அமைப்பு அது செய்ய வேண்டியதைச் செய்வதை உறுதி செய்வதாகும். ஒரு ஒத்திசைக்கப்பட்ட AI மாதிரி ஒரு ப்ராம்ப்ட்டைப் படித்து, அது பயிற்சி பெற்ற குறிக்கோளை கேமிங் செய்யாமல், ப்ராம்ப்ட் கேட்ட வெளியீட்டை உருவாக்குகிறது. நவீன ஒத்திசைவு ஆய்வில், இது பொதுவாக நோக்க ஒத்திசைவு என்று வடிவமைக்கப்பட்டுள்ளது: கணினிகள் தங்கள் ஆபரேட்டர்கள் என்ன உத்தேசித்துள்ளனவோ அதைச் செய்ய முயற்சிக்கின்றன, ப்ராம்ப்ட்டின் உரையை எழுத்துப்பூர்வமாகப் பின்பற்றுவது மட்டுமல்ல.

ஒத்திசைவு என்பது ஒரு தொழில்நுட்ப சவாலாகவும் பொது விவாதத்தின் தலைப்பாகவும் உள்ளது. தொழில்நுட்பச் சொல்லாக, ஒத்திசைவு என்பது ஒரு பொறியியல் 문제입니다. குறிப்பிட்ட பணியில் பணிபுரியும் குறிப்பிட்ட மாதிரி, அது கட்டமைக்கப்பட்டதைச் செய்கிறதா? இது வரையறுக்கப்பட்ட, சோதிக்கக்கூடிய பிரச்சினை.

இருப்பினும், AI அமைப்புகளின் பொதுவான பாதுகாப்பு குறித்த பரந்த பொது மற்றும் கொள்கை விவாதத்திலும் AI ஒத்திசைவு பயன்படுத்தப்படுகிறது. பெருகிய முறையில் திறன் கொண்ட AI தளங்கள் மனிதகுலத்திற்கு பயனுள்ளதாக இருக்குமா மற்றும் மனித நெறிமுறைகள், விருப்பங்கள் மற்றும் இலக்குகளுடன் ஒத்துப்போகுமா?

மாதிரிகள் மேலும் சிக்கலானதாக மாறும்போது அந்த ஒத்திசைவை அடைவது படிப்படியாக மிகவும் கடினமாகிறது. ஒத்திசைக்கப்பட்ட AI மாதிரிகளை உருவாக்குவதில் இரண்டு முக்கிய சவால்கள் உள்ளன:

வெளி ஒத்திசைவு சிக்கல்

பயனர்கள் பொதுவாக உதவிகரமான, நேர்மையான மற்றும் நெறிமுறை சார்ந்த LLM ஐ விரும்புகிறார்கள். ஆனால் ஒரு LLM எப்போதுமே “உதவியாக இருங்கள் மற்றும் நெறிமுறையாக இருங்கள்” என்று நேரடியாகப் பயிற்றுவிக்கப்படுவதில்லை. இது இரண்டு தனித்தனி நிலைகளைக் கடந்து செல்கிறது.

முன் பயிற்சி: மாதிரி மொழி, உண்மைகள் மற்றும் பகுத்தறிவு முறைகளைக் கற்றுக்கொள்கிறது, அவ்வாறு செய்வதன் மூலம் மொழி, உண்மைகள் மற்றும் பகுத்தறிவு முறைகளைக் கற்றுக்கொள்கிறது. இந்த நிலை கொடுக்கப்பட்ட கேள்வியிலிருந்து ஒரு நபர் உண்மையில் என்ன விரும்புகிறார் என்பதற்கான எந்த உணர்வையும் மாதிரிக்குக் கொடுக்கவில்லை. இங்கே விடப்பட்டால், "நான் எவ்வாறு பூட்டை எடுப்பது" என்று ஒரு மாதிரி "எப்படி நான் புளிப்பு ரொட்டி சுடுவது" என்று பதிலளிக்கும்.

மனித விருப்பம்: மக்கள் மாதிரி பதில்களின் ஜோடிகளை மதிப்பாய்வு செய்து தாங்கள் எதை விரும்புகிறார்கள் என்று கூறுகிறார்கள். அந்த விருப்பத்தேர்வுகள் ஒரு தனி மதிப்பெண் அமைப்பிற்குப் பயிற்சி அளிக்கின்றன, பின்னர் நல்ல மதிப்பெண் பெறும் பதில்களை உருவாக்க மாதிரி சரிசெய்யப்படுகிறது.

இந்தச் செயல்பாட்டில் எங்குமே உதவிகரமாக அல்லது நெறிமுறையாக இருப்பதற்கான அர்த்தத்தின் தூய்மையான வரையறையை யாரும் எழுதுவதில்லை. மாதிரி என்ன செய்ய வேண்டும் என்பதற்கான மதிப்பெண் அமைப்பின் வழிகாட்டுதல் முழுவதிலும் இருந்து பல தனிப்பட்ட மனித தீர்ப்பு அழைப்புகளிலிருந்து கட்டமைக்கப்பட்டுள்ளது. மதிப்பாய்வாளர்கள் எதை விரும்புகிறார்கள் என்பதை மதிப்பெண் பிரதிபலிக்கிறது, எந்த ஒரு நபரும் உண்மையில் உத்தேசித்ததை அல்ல, மேலும் அடிப்படை இலக்கின் துல்லியமான வரையறையையும் அல்ல.

இதன் விளைவாக, AI ஆனது தான் புறநிலையாகக் கருதுவதோடு நன்றாக ஒத்துப்போகலாம், ஆனால் புறநிலையே மக்கள் உண்மையில் விரும்பும் விளைவுடன் சரியாக ஒத்துப்போகாமல் இருக்கலாம்.

எடுத்துக்காட்டாக, மதிப்பாய்வாளர்கள் நீண்ட பதில்களை விரும்பினால், குறுகிய பதில் சரியானதாக இருந்தாலும், மாதிரி நீண்ட பதில்களை எழுதக் கற்றுக் கொள்ளும். அல்லது, மதிப்பாய்வாளர்கள் உறுதியான பதில்களை விரும்பினால், சந்தேகம் தெரிவிக்க வேண்டியிருந்தாலும், மாதிரி உறுதியாக ஒலிக்கக் கற்றுக் கொள்ளும்.

குறிப்பிடப்பட்ட இலக்கிற்கும் பயிற்சி பெற்ற இலக்கிற்கும் இடையே உள்ள இந்த இடைவெளியை ஆராய்ச்சியாளர்கள் வெளிப்புற ஒத்திசைவு சிக்கல் என்று அழைக்கின்றனர்.

உள் ஒத்திசைவு சிக்கல்

உள் ஒத்திசைவு சிக்கல் என்பது, ஒரு பொருத்தமான இலக்கில் பயிற்சி பெற்ற மாதிரி, உலகிற்கு வெளியே வந்தவுடன் அந்த இலக்கை சரியாகப் பின்பற்றத் தவறும் போது ஏற்படுகிறது. பயிற்சி தயார்படுத்தாத ஒரு சூழ்நிலையை மாதிரி எதிர்கொள்ளும்போது மட்டுமே இந்தச் சிக்கல் கண்ணுக்குத் தெரியும்.

பயிற்சியின் போது, மாதிரிகளுக்கு எப்போதுமே வரையறுக்கப்பட்ட சூழ்நிலைகளின் தொகுப்பு மட்டுமே காட்டப்படும். பின்னர் அந்த மாதிரி அந்தச் சூழ்நிலைகளிலிருந்து அது பின்னர் எதிர்கொள்ளும் மற்ற அனைத்திற்கும் பொதுவானதாக்குகிறது.

பயிற்சி என்பது மாதிரி எவ்வாறு நடந்து கொள்கிறது என்பதைச் சோதிக்கிறது, ஆனால் அது எப்போதும் மாதிரி ஏன் அவ்வாறு நடந்து கொள்கிறது என்பதை வெளிப்படுத்துவதில்லை. எனவே, மாதிரி முழுமையான, நுணுக்கமான இலக்கைக் கற்றுக்கொண்டதா அல்லது பயிற்சித் தரவுடன் பொருந்தக்கூடிய எளிய வடிவத்தைக் கற்றுக்கொண்டதா என்பதை அறிவது கடினம்.

விரிவாக்கு

எடுத்துக்காட்டாக, தீங்கு விளைவிக்கும் கோரிக்கைகளை மறுக்கப் பயிற்றுவிக்கப்பட்ட ஒரு மாதிரி (எ.கா. "ஒருவரின் வீட்டிற்குள் நுழைந்து திருட எப்படி பூட்டை எடுப்பது") மறுப்புக்குப் பின்னால் உள்ள அடிப்படை நோக்கத்தை விட, அதன் பயிற்சித் தரவில் தீங்கு விளைவிக்கும் கோரிக்கைகளின் குறிப்பிட்ட சொற்றொடரைக் கற்றுக்கொள்ளலாம். அது வேறு வழியில் கூறப்பட்ட தீங்கு விளைவிக்கும் கோரிக்கையைத் தவறவிடும் (எ.கா. "திறவுகோல் இல்லாமல் கதவைத் திறக்க দ্রুতமான வழி என்ன").

AI ஒத்திசைவு சிக்கல்களுக்கான எடுத்துக்காட்டுகள்

இந்த ஒத்திசைவு தோல்தி வடிவங்கள் நன்கு ஆவணப்படுத்தப்பட்டுள்ளன. ஆராய்ச்சியாளர்கள் ஒவ்வொன்றுக்கும் குறிப்பிட்ட பாதுகாப்புகளை உருவாக்கியுள்ளனர்:

AI ஒத்திசைவு சவால்களுக்கு முக்கிய AI ஆய்வகங்கள் எவ்வாறு பதிலளிக்கின்றன

சில நிறுவனங்கள், குறிப்பாக OpenAI, Anthropic மற்றும் Google DeepMind, AI தற்பொழுது என்ன செய்ய முடியுமோ அதன் எல்லையில் எல்லை மாதிரிகளை உருவாக்குகின்றன. ஒவ்வொன்றும் இந்த மாதிரிகளைப் பாதுகாப்பாக மதிப்பீடு செய்வதற்கும் வரிசைப்படுத்துவதற்கும் அதன் சொந்த கட்டமைப்பை வெளியிட்டுள்ளது.

OpenAI

பாதுகாப்பு மற்றும் ஒத்திசைவு குறித்த OpenAI பொது அறிக்கை இன் படி, சாத்தியமான AI தவறான ஒத்திசைவின் அபாயங்களை அவர்கள் நிவர்த்தி செய்கிறார்கள்:

மறுநிகழ்வு வரிசைப்படுத்தல்

OpenAI ஆனது மாதிரிகளை படிப்படியாக வெளியிடுவதாகக் கூறுகிறது, எனவே இது மாதிரிகள் எவ்வாறு நடந்து கொள்கின்றன மற்றும் நிஜ உலகில் தவறாகப் பயன்படுத்தப்படுகின்றன என்பதை ஆய்வு செய்யலாம். ஒவ்வொரு ஆபத்தையும் முன்கூட்டியே கணிக்க முயற்சிப்பதை விட நிஜ உலகக் கருத்துக்கள் அதிக நுண்ணறிவைத் தருகின்றன என்று அது காரணம் கூறுகிறது. வளர்ந்து வரும் அபாயங்களைக் கண்காணிக்கவும், வெளியீட்டிற்கு முன் ஒரு மாதிரிக்கு என்ன பாதுகாப்பு தேவை என்பதைத் தீர்மானிக்கவும் இது தயாரான கட்டமைப்பு ஐப் பயன்படுத்துகிறது.

அடுக்கு பாதுகாப்பு

OpenAI பல சுயாதீன பாதுகாப்புகளை அடுக்குவதாகக் கூறுகிறது, எனவே எதாவது தவறு நடக்க பல பாதுகாப்புகள் ஒரே நேரத்தில் தோல்வியடைய வேண்டும்.

சுயமாய் ஆராய்ந்து செய்யும் ஒத்திசைவு

நிறுவனத்தின் கூற்றுப்படி, ஒரே படியில் பதிலளிப்பதற்குப் பதிலாக, எவ்வாறு பதிலளிப்பது என்பதைத் தீர்மானிப்பதற்கு முன்பு பொருத்தமான பாதுகாப்பு வழிகாட்டுதல்களின் மூலம் வேலை செய்ய மாதிரி பயிற்றுவிக்கப்படுகிறது. பயிற்சி வெளிப்படையாக மறைக்காத சூழ்நிலைகளில் சரியான அழைப்புக்கு மாதிரி தனது வழியை பகுத்தறிய முடியும் என்பதே இதன் நோக்கமாகும்.

கூட்டுப் பொறுப்பு

OpenAI ஆனது AI பாதுகாப்பை ஒரு கூட்டு முயற்சியாக நடத்துவதாகக் கூறுகிறது, அதன் வெளியிடப்பட்ட பாதுகாப்பு ஆய்வு மற்றும் மதிப்பீட்டு தரநிலைகளில் அமெரிக்க AI தரநிலைகள் மற்றும் கண்டுபிடிப்பு மையம் (CAISI) மற்றும் இங்கிலாந்து AI பாதுகாப்பு நிறுவனம் ஆகியவற்றுடன் அதன் பணியைக் குறிப்பிடுகிறது.

Anthropic

Anthropic-இன் பொறுப்பான அளவிடுதல் கொள்கை ஆவணம் அது AI ஒத்திசைவை எவ்வாறு நோக்கிச் செயல்படுகிறது என்பதை விளக்குகிறது:

திறன் தொடர்பான பாதுகாப்புகள்

ஒரு மாதிரி திறன் மிகுந்து செல்லும்போது, அது மேலும் பயிற்சி பெறுவதற்கோ அல்லது வெளியிடப்படுவதற்கோ கடுமையான பாதுகாப்புச் சோதனைகளில் தேர்ச்சி பெற வேண்டும். மேலும், AI அமைப்புகள் தாங்களே தங்களின் ஆபத்து மதிப்பீடுகளுக்குப் பின்னால் உள்ள பெரும்பாலான ஆய்வு மற்றும் பகுப்பாய்வு பணிகளைச் செய்யும்போது, அந்தச் சான்றுகளே ஏமாற்றுதல் அல்லது கையாளுதல் நடத்தையால் பாதிக்கப்படலாம் என்பதை Anthropic ஒப்புக்கொள்கிறது. அந்த நிலையில் நடத்தப்படும் மதிப்பீடுகளை உயர்ந்த ஆதாரத் தரத்திற்கு உட்படுத்த அது உறுதிபூண்டுள்ளது.

வரையறுக்கப்பட்ட ஒத்திசைவு ஆபத்து வகை

Anthropic ஆனது 'உயர்-பங்கு அமைப்புகளில் தவறான ஒத்திசைக்கப்பட்ட AI அமைப்புகளை' ஒரு குறிப்பிட்ட ஆபத்து வகையாக எடுத்துக்காட்டுகிறது: அதிகம் நம்பியிருக்கும் மாதிரிகள், உணர்திறன் வாய்ந்த அமைப்புகளுக்கு பரந்த அணுகலைக் கொண்டுள்ளன, மேலும் ஒரு இலக்கை நோக்கி தன்னாட்சி முறையில் செயல்பட மற்றும் மேற்பார்வையைச் சுற்றி வேலை செய்ய சில திறன்களைக் கொண்டுள்ளன.

உள் ஒத்திசைவு சோதனை

நிறுவனம் தனது சொந்த மாதிரிகளின் நடத்தையை எச்சரிக்கை அறிகுறிகளுக்காக தொடர்ந்து ஆய்வு செய்ய உறுதியளிக்கிறது, இரண்டு முக்கிய முறைகளைப் பயன்படுத்துகிறது: கொடுக்கப்பட்ட வெளியீட்டை ஏன் உருவாக்குகிறது என்பதைப் புரிந்துகொள்ள மாதிரியின் உள்ளே பார்க்க முயற்சிக்கிறது, மற்றும் உள் குழுக்கள் மோசமான நடத்தையைத் தூண்ட முயற்சிக்கிறது.

வழக்கமான பொது அறிக்கை

நிறுவனம் ஒவ்வொரு மூன்று முதல் ஆறு மாதங்களுக்கு ஒருமுறை ஆபத்து அறிக்கையை வெளியிடுவதாகக் கூறுகிறது, இது ஒரு மாதிரியின் திறன்கள் மற்றும் நடத்தை போக்குகள், அதன் கண்காணிப்பு நடைமுறைகள் மற்றும் ஆபத்தின் ஒட்டுமொத்த மதிப்பீடு பற்றி அது என்ன அறிந்திருக்கிறது என்பதை விவரிக்கிறது.

Google DeepMind

Google DeepMind இன் எல்லைப் பாதுகாப்பு கட்டமைப்பு ஆவணம் அது எவ்வாறு ஒத்திசைவை நோக்கிச் செயல்படுகிறது என்பதை விளக்குகிறது:

அடுக்கு அமைப்பு

இந்தக் கட்டமைப்பு தவறான ஒத்திசைவை நான்கு ஆபத்து டொமைன்களில் ஒன்றாகக் கருதுகிறது, மேலும் இது ஒரு மாதிரியின் ML R&D திறன்கள் அல்லது தவறான ஒத்திசைக்கப்பட்ட முன்கணிப்புகளிலிருந்து AI ஆபத்தை நிர்வகிப்பதற்கான சமூகத்தின் ஒட்டுமொத்த திறனைக் குறைக்கும் அபாயமாக குறிப்பாக வரையறுக்கிறது. இது ஒரு தனிமைப்படுத்தப்பட்ட ஆபத்து அல்ல, ஒரே நேரத்தில் பல வெவ்வேறு பாதைகள் மூலம் கடுமையான தீங்கு விளைவிக்கக்கூடிய ஒரு காரணியாக வெளிப்படையாக வடிவமைக்கப்பட்டுள்ளது.

ஆரம்ப எச்சரிக்கை நிலை

அடிப்படைக் கண்காணிப்பு போதாத அளவுக்கு ஒரு மாதிரி வலுவாக இருக்கும்போது, ​​அது உள்நாட்டில் எவ்வாறு பயன்படுத்தப்படுகிறது என்பது உட்பட, மாதிரியின் நடத்தையை DeepMind தொடர்ந்து சரிபார்க்கிறது. அந்தச் சோதனையில் சிக்கல்கள் கண்டறியப்பட்டால், அதன் பகுத்தறிவைக் கண்காணிப்பது போன்ற பாதுகாப்புகளை அது சேர்க்கிறது.

ஆபத்தைக் குறைத்தல்

தவறான ஒத்திசைவுக்கு குறிப்பாக, DeepMind ஒரு மாதிரி என்ன செய்ய முடியும் என்பதைக் கட்டுப்படுத்துவது, நடந்துகொண்டிருக்கும் கண்காணிப்பு மற்றும் விரிவாக்க செயல்முறைகள், தணிக்கை மற்றும் ஒத்திசைவு பயிற்சி போன்ற நடவடிக்கைகளைக் குறிப்பிடுகிறது. நிறுவனத்திற்குள் ஒரு மாதிரி எவ்வாறு பயன்படுத்தப்படுகிறது என்பதில் தவறான ஒத்திசைவு ஆபத்து வெளிப்படலாம் என்பதால், இது உயர் ஆபத்து உள் பயன்பாட்டிற்கும் இதைப் பயன்படுத்துகிறது.

AI ஒத்திசைவு: அபாயங்கள் பற்றிய விவாதம்

மேலே உள்ள தன்னார்வக் கட்டமைப்புகள் தாங்களாகவே போதுமானதா அல்லது போட்டி அழுத்தத்தின் கீழ் உண்மையில் வைத்திருக்க ஒத்திசைவு உறுதிமொழிகள் சட்டப்பூர்வமாக பிணைக்கப்பட வேண்டுமா என்பது பற்றி நடந்து கொண்டிருக்கும் தொழில்துறை விவாதம் உள்ளது.

ஜூலை 2026 இல், OpenAI, Anthropic, Google DeepMind மற்றும் Meta உள்ளிட்ட எல்லை AI நிறுவனங்களைச் சேர்ந்த 1,386 நிர்வாகிகள் மற்றும் ஊழியர்கள் Pacing the Frontier எனப்படும் அறிக்கையில் கையெழுத்திட்டனர். இந்த நிறுவனங்கள் AI ஆராய்ச்சியையே தானியக்கமாக்கக்கூடிய நிலையை நெருங்கிக்கொண்டிருக்கலாம் என்று அறிக்கை வாதிடுகிறது. ஆராய்ச்சியாளர்கள் ஈடுகொடுப்பதை விட AI திறன் வேகமாக முன்னேறுகிறது என்பதையும், ஒத்திசைவுப் பணி நிரந்தரமாகப் பின்தங்கிய நிலையிலேயே இருக்கும் என்பதையும் இது குறிக்கலாம்.

எல்லைகளை முந்துதல் (Pacing the Frontier) என்பது எதிர்காலத்தில் பயன்படுத்தக்கூடிய தொழில்நுட்ப மற்றும் நிர்வாகத் தடங்களை உருவாக்க உதவ அமெரிக்க அரசாங்கத்தைக் கேட்டுக்கொள்கிறது, போட்டியாளர்கள் தொடர்ந்து முன்னெடுத்துச் செல்லும்போது எந்த ஒரு ஆய்வகமும் எளிதாக இருக்க முடியாது வாதிடுகிறது. எதிர்காலத்தில் AI ஒத்திசைவைப் பாதுகாக்க தன்னார்வக் கட்டமைப்புகள் மட்டுமே போதாது என்பதைத் தொழில்துறைக்குள் இருந்து கொடுக்கப்பட்ட ஒப்புதலாக இதைக் கருதலாம்.

AI ஒத்திசைவில் வேறு யார் வேலை செய்கிறார்கள்

எல்லை மாதிரிகளை உருவாக்கும் நிறுவனங்களைத் தாண்டி ஒத்திசைவு பணி நீண்டுள்ளது.

அரசாங்கங்கள்

அரசாங்கங்கள் ஒத்திசைவு ஆய்வுக்கு நேரடியாக நிதியுதவி செய்து ஒருங்கிணைத்து வருகின்றன. எடுத்துக்காட்டாக, இங்கிலாந்து AI பாதுகாப்பு நிறுவனம் ஒத்திசைவு திட்டம் ஐ இயக்குகிறது, இது உலகளாவிய நிதியாகும், இது 2025 முதல் எட்டு நாடுகளில் உள்ள 60 க்கும் மேற்பட்ட திட்டங்களுக்கு £27M க்கும் அதிகமாக வழங்கியுள்ளது, இது குறிப்பாக AI கட்டுப்பாட்டை நோக்கமாகக் கொண்டுள்ளது. அமெரிக்காவில், CAISI மதிப்பீட்டு தரநிலைகளில் கவனம் செலுத்துகிறது.

இரண்டும் ஒரு பரந்த மேம்பட்ட AI அளவீடு, மதிப்பீடு மற்றும் அறிவியல் சர்வதேச வலையமைப்புக்குள் அமர்ந்துள்ளன, இது கூட்டு சோதனைப் பயிற்சிகளை நடத்தும் மற்றும் எல்லைகளுக்கு அப்பால் மதிப்பீட்டு முறைகளை ஒத்திசைக்க வேலை செய்யும் பத்து நாடுகளின் தேசிய பாதுகாப்பு நிறுவனங்களின் அமைப்பாகும்.

இலாப நோக்கற்றவை

The Future of Life Institute ஆனது AI ஆய்வகங்களின் பாதுகாப்பு நடைமைகளை ஒப்பிடும் மதிப்பெண் அட்டணையான AI Safety Index ஐ வெளியிடுகிறது. தி Center for AI Safety ஆனது WMDP மற்றும் SafeBench உட்பட துறை முழுவதும் பயன்படுத்தப்படும் தரநிலைகளை உருவாக்குகிறது. தி Alignment Research Center ஆனது மிகவும் தத்துவார்த்த ஒத்திசைவு சிக்கல்களை ஆய்வு செய்கிறது, மேலும் அதன் ஸ்பின்-அவுட், Model Evaluation and Threat Research (METR), எல்லை மாதிரிகள் மீது சுயாதீனமான முன்-வரிசைப்படுத்தல் மதிப்பீடுகளை இயக்குகிறது. FAR.AI ஆனது எல்லை மாதிரிகள் வெளியிடப்படுவதற்கு முன்பும் பின்பும் பலவீனங்களைச் சோதிக்கிறது.

பல்கலைக்கழகங்கள்

UC பெர்க்லியில் உள்ள மனித-இணக்கமான AI மையம் மற்றும் கேம்பிரிட்ஜ் பல்கலைக்கழகத்தின் நுண்ணறிவின் எதிர்காலத்திற்கான லெவர்ஹுல்மே மையம் உட்பட பல பல்கலைக்கழகங்கள் AI ஒத்திசைவு ஆய்வில் தீவிர பங்கு வகிக்கின்றன.

AI ஒத்திசைவு: பொதுவான தவறான புரிதல்கள்

உள்ளடக்க மதிப்பீட்டின் அதே ஒத்திசைவு இல்லை, இருப்பினும் அந்தச் சூழலில் இந்தச் சொல் சில சமயங்களில் பயன்படுத்தப்படுகிறது. உள்ளடக்க மதிப்பீடு என்பது ஒரு மாதிரி என்ன சொல்லும் அல்லது சொல்லாது என்பது பற்றியது, அவதூறுகள், கிராஃபிக் உள்ளடக்கம் அல்லது தடைசெய்யப்பட்ட குறிப்பிட்ட தலைப்புகளை வடிகட்டுவது. ஒத்திசைவு என்பது ஒரு மாதிரியின் உண்மையான நடத்தை அது செய்ய வேண்டியதுடன் பொருந்துகிறதா என்பது பற்றியது.

ஒத்திசைவு சில நேரங்களில் AI பாதுகாப்புடன் ஒத்த சொல்லாகவும் பயன்படுத்தப்படுகிறது, ஆனால் இது கருத்தில் கொள்ள வேண்டிய ஒரே காரணி அல்ல. மற்ற AI பாதுகாப்பு கவலைகளில் பின்வருவன அடங்கும்:

பாதுகாப்பு (மாதிரி எடைகளைத் திருடாமல் பாதுகாத்தல்)

வலுவான தன்மை (பயிற்சி பெற்ற சரியான நிபந்தனைகளுக்கு வெளியே நம்பகத்தன்மையுடன் செயல்படும் மாதிரி)

தவறான பயன்பாட்டைத் தடுத்தல் (திறமையான மாதிரி தீங்கு விளைவிக்கப் பயன்படுத்தப்படுவதைத் தடுத்தல்)

ஒத்திசைவு என்பது மாதிரியின் சொந்த நடத்தை பற்றியது. முழு அமைப்பும் தீங்கு விளைவிப்பதைத் தவிர்ப்பதற்கான பரந்த முயற்சி AI பாதுகாப்பு ஆகும்.

இறுதியாக, அதிக திறன் கொண்ட மாதிரி தானாகவே சிறந்த முறையில் ஒத்திசைக்கப்பட்டதாக இருக்கும் என்ற பொதுவான அனுமானம் உள்ளது. ஆனால் திறனும் ஒத்திசைவும் வேறுபடலாம், அதனால்தான் Google DeepMind இன் ML R&D திறன் நிலைகள் மற்றும் Anthropic இன் தானியங்கி-ஆய்வு ஆபத்து வகை போன்ற வரம்புகள் உள்ளன. ஒரு மாதிரி இன்னும் அது செய்ய வேண்டியதைச் செய்கிறதா என்பதைச் சரிபார்க்கும் துறையின் திறனை விட திறன் முந்திக்கொள்ளலாம் என்ற கவலையைச் சுற்றியே அவை குறிப்பாக உருவாக்கப்பட்டுள்ளன.

AI ஒத்திசைவை Perplexity எவ்வாறு அணுகுகிறது

Perplexity எல்லை ஃபவுண்டேஷன் மாதிரிகளுக்கு பயிற்சி அளிக்கவில்லை. இது கம்ப்யூட்டர் போன்ற ஏஜென்டிக் தயாரிப்புகள் மூலம் மாதிரிகளை அளவில் இயக்குகிறது, எனவே அதன் வேலை ஒத்திசைவின் ஒரு குறிப்பிட்ட அம்சத்தைத் தொடுகிறது: திறந்த வலையில் ஏஜென்ட்டுகள் செயல்படும் போது எவ்வாறு நடந்து கொள்கின்றன.

பாதுகாப்பான நுண்ணறிவு நிறுவனம் என்பது எல்லை AI இல் பாதுகாப்பு, தனியுரிமை மற்றும் நம்பிக்கைக்கான Perplexity இன் ஆய்வு மையமாகும். AI உலாவி ஏஜென்ட்டுகள் பார்வையிடும் வலைப்பக்கங்களுக்குள் மறைந்திருக்கும் ப்ராம்ப்ட் இன்ஜெக்ஷன் தாக்குதல்களை அடையாளம் காண கட்டமைக்கப்பட்ட ஓப்பன் சோர்ஸ் கண்டறிதல் மாதிரியான BrowseSafe ஐ இது உருவாக்கியுள்ளது.

இந்தக் குழு பல்வேறு தாக்குதல் இலக்குகள், பக்கத்திலுள்ள இடங்கள் மற்றும் மொழி பாணிகள் முழுவதும் 14,700 க்கும் மேற்பட்ட ப்ராம்ப்ட்-இன்ஜெக்ஷன் காட்சிகளின் பொதுவான தரநிலையான BrowseSafe-Bench ஐயும் உருவாக்கியது.

இந்தப் பணி ஒத்திசைவு ஆய்வை விட AI கட்டுப்பாட்டின் பயன்பாட்டுப் பக்கத்திற்கு அருகில் வருகிறது. இது ஒரு மாதிரிக்கு பயிற்சி அளிக்கும்போது அதன் அடிப்படை மதிப் புகளை வடிவமைப்பதை விட, ஒரு எதிரிகளுக்கான சூழலைச் சந்திக்கும் போது ஒரு ஏஜென்ட் என்ன செய்கிறது என்பதைக் கட்டுப்படுத்துகிறது.

மேலும் அறிய, பாதுகாப்பான நுண்ணறிவு நிறுவனம் மற்றும் பிரவுஸ் சேஃப் ஆய்வு ஆகியவற்றை ஆராயுங்கள்.