AI അലൈൻമെന്റ്: നിലവിലെ ശോധനവും ചർച്ചയും

AI അലൈൻമെന്റിലേക്കുള്ള ഒരു ഗൈഡ്: അതിന്റെ അർത്ഥം, പുറത്തെയും അകത്തെയും അലൈൻമെന്റ് പ്രശ്നങ്ങൾ, പൊതുവായ പരാജയ പാറ്റേണുകൾ, പ്രധാന AI ലാബുകളും സർക്കാരുകളും ലാഭേച്ഛയില്ലാത്ത സംഘടനകളും എങ്ങനെ പ്രതികരിക്കുന്നു, ചർച്ച എവിടെ നിൽക്കുന്നു.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

"AI മോഡൽ ഉപയോക്തൃ നിർദ്ദേശങ്ങൾ പാലിക്കുന്നുണ്ടോ?" എന്ന് മാത്രമാണ് AI അലൈൻമെന്റ് എന്നത് കൊണ്ട് മുൻപ് അർത്ഥമാക്കിയിരുന്നത്. എന്നിരുന്നാലും, AI സിസ്റ്റങ്ങൾ കൂടുതൽ കഴിവുള്ളതും സ്വയംഭരണാധികാരമുള്ളതുമായി മാറുമ്പോൾ, ആ ചോദ്യം വിധിനിർണ്ണയവും മൂല്യങ്ങളും ഉൾപ്പെടുത്തുന്നതിനായി വിശാലമായിരിക്കുന്നു. AI പ്ലാറ്റ്‌ഫോമുകൾ, സർക്കാർ സ്ഥാപനങ്ങൾ, ലാഭേച്ഛയില്ലാതെ പ്രവർത്തിക്കുന്ന സംഘടനകൾ എന്നിവ AI അലൈൻമെന്റ് വെല്ലുവിളിയോട് എങ്ങനെ പ്രതികരിക്കുന്നു എന്ന് ഈ ലേഖനം പരിശോധിക്കും.

AI അലൈൻമെന്റ് എന്നാൽ എന്താണ് അർത്ഥമാക്കുന്നത്

ഏറ്റവും ലളിതമായി പറഞ്ഞാൽ, ഒരു AI സിസ്റ്റം താൻ ചെയ്യാൻ ഉദ്ദേശിച്ച കാര്യം ചെയ്യുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക എന്നാണ് AI അലൈൻമെന്റ് അർത്ഥമാക്കുന്നത്. അലൈൻഡ് ആയ ഒരു AI മോഡൽ ഒരു പ്രോംപ്റ്റ് വായിക്കുകയും അത് പരിശീലിപ്പിച്ച ലക്ഷ്യത്തെ ഗെയിം ചെയ്യാതെ, പ്രോംപ്റ്റ് ആവശ്യപ്പെട്ട ഔട്ട്പുട്ട് നൽകുകയും ചെയ്യുന്നു. ആധുനിക അലൈൻമെന്റ് ശോധനത്തിൽ, ഇത് സാധാരണയായി ഇൻ്റന്റ് അലൈൻമെൻ്റ് ആയി രൂപപ്പെടുത്തുന്നു: ഒരു പ്രോംപ്റ്റിന്റെ വാചകം അക്ഷരാർത്ഥത്തിൽ പിന്തുടരുന്നത് മാത്രമല്ല, അവരുടെ ഓപ്പറേറ്റർമാർ ഉദ്ദേശിക്കുന്നത് ചെയ്യാൻ ശ്രമിക്കുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുക.

അലൈൻമെന്റ് എന്നത് ഒരു സാങ്കേതിക വെല്ലുവിളിയും പൊതു ചർച്ചയുടെ വിഷയവുമാണ്. ഒരു സാങ്കേതിക പദം എന്ന നിലയിൽ, അലൈൻമെന്റ് ഒരു എഞ്ചിനീയറിംഗ് പ്രശ്നമാണ്. നിർദ്ദിഷ്ട ടാസ്‌കിൽ പ്രവർത്തിക്കുന്ന നിർദ്ദിഷ്ട മോഡൽ, അത് നിർമ്മിച്ച കാര്യം ചെയ്യുന്നുണ്ടോ? ഇതൊരു പരിമിതമായ, പരിശോധിക്കാവുന്ന പ്രശ്നമാണ്.

എന്നിരുന്നാലും, AI-യുടെ പൊതുവായ സുരക്ഷയെക്കുറിച്ചുള്ള വിശാലമായ പൊതു, നയപരമായ ചർച്ചകളിലും AI അലൈൻമെന്റ് ഉപയോഗിക്കുന്നുണ്ട്. കൂടുതൽ കഴിവുള്ള AI പ്ലാറ്റ്‌ഫോമുകൾ മനുഷ്യരാളifന് പ്രയോജനകരമായി തുടരുമോ, ഒപ്പം മനുഷ്യന്റെ ധാർമ്മികത, ആഗ്രഹങ്ങൾ, ലക്ഷ്യങ്ങൾ എന്നിവയുമായി പൊരുത്തപ്പെടുമോ?

മോഡലുകൾ കൂടുതൽ സങ്കീർണ്ണമാകുമ്പോൾ അവയുമായി പൊരുത്തപ്പെടുന്നത് ക്രമേണ കൂടുതൽ ബുദ്ധിമുട്ടായി മാറുന്നു. പൊരുത്തപ്പെടുന്ന AI മോഡലുകൾ നിർമ്മിക്കുന്നതിൽ രണ്ട് പ്രധാന വെല്ലുവിളികളാണുള്ളത്:

बाह्य അലൈൻമെന്റ് പ്രശ്നം

ഉപയോക്താക്കൾ സാധാരണയായി സഹായകരവും സത്യസന്ധവും ധാർമ്മികവുമായ ഒരു LLM ആഗ്രഹിക്കുന്നു. എന്നാൽ ഒരു LLM ഒരിക്കലും നേരിട്ട് “സഹായകരവും ധാർമ്മികവുമായിരിക്കുക” എന്നതിൽ പരിശീലിപ്പിക്കപ്പെടുന്നില്ല. ഇത് രണ്ട് വ്യത്യസ്ത ഘട്ടങ്ങളിലൂടെ കടന്നുപോകുന്നു.

പ്രീ-ട്രെയിനിങ്: മോഡൽ ഭാഷ, വസ്തുതകൾ, റീസണിംഗ് പാറ്റേണുകൾ എന്നിവ പഠിക്കുന്നു, അങ്ങനെ ചെയ്യുമ്പോൾ ഭാഷ, വസ്തുതകൾ, റീസണിംഗ് പാറ്റേണുകൾ എന്നിവ പഠിക്കുന്നു. ഒരു പ്രത്യേക ചോദ്യത്തിൽ നിന്ന് ഒരു വ്യക്തി യഥാർത്ഥത്തിൽ എന്താണ് ആഗ്രഹിക്കുന്നതെന്ന് ഈ ഘട്ടം മോഡലിന് ഒരു ധാരണയും നൽകുന്നില്ല. ഇവിടെ വിട്ടാൽ, "ഞാൻ എങ്ങനെ ഒരു പൂട്ട് തിരഞ്ഞെടുക്കണം" എന്ന് ഒരു മോഡൽ "ഞാൻ എങ്ങനെ സോർഡോഫ് ബേക്ക് ചെയ്യണം" എന്ന് എളുപ്പത്തിൽ ഉത്തരം നൽകും.

മനുഷ്യ മുൻഗണന: ആളുകൾ മോഡൽ ഉത്തരങ്ങളുടെ ജോടികൾ അവലോകനം ചെയ്യുകയും അവർ ഏതാണ് മുൻഗണന നൽകുന്നതെന്ന് പറയുകയും ചെയ്യുന്നു. ആ മുൻഗണനകൾ ഒരു പ്രത്യേക സ്കോറിംഗ് സിസ്റ്റത്തെ പരിശീലിപ്പിക്കുന്നു, തുടർന്ന് നല്ല സ്കോർ ലഭിക്കുന്ന ഉത്തരങ്ങൾ നൽകാൻ മോഡൽ ക്രമീകരിക്കപ്പെടുന്നു.

ഈ പ്രക്രിയയിൽ എവിടെയും സഹായകരമോ ധാർമ്മികമോ ആകുക എന്നതിന്റെ അർത്ഥമെന്താണെന്നതിന്റെ വ്യക്തമായ ഒരു നിർവ്വചനം ആരും എഴുതിവെക്കുന്നില്ല. മോഡൽ എന്ത് ചെയ്യാനാണ് ഉദ്ദേശിക്കുന്നത് എന്നതിനെക്കുറിച്ചുള്ള സ്കോറിംഗ് സിസ്റ്റത്തിന്റെ മാർഗ്ഗനിർദ്ദേശം നിരവധി വ്യക്തിഗത മനുഷ്യ വിധിനിർണ്ണയ കോളുകളിൽ നിന്നാണ് പൂർണ്ണമായും നിർമ്മിച്ചിരിക്കുന്നത്. സ്കോറിംഗ് എന്നത് ഏതെങ്കിലും ഒരു വ്യക്തി യഥാർത്ഥത്തിൽ ഉദ്ദേശിച്ചതോ അടിസ്ഥാന ലക്ഷ്യത്തിന്റെ കൃത്യമായ നിർവ്വചനമോ അല്ല, മറിച്ച് അവലോകകർ മുൻഗണന നൽകാൻ പ്രവണത കാണിച്ചതിനെയാണ് പ്രതിഫലിപ്പിക്കുന്നത്.

തൽഫലമായി, ലക്ഷ്യമെന്ന് താൻ കാണുന്നതുമായി AI നന്നായി പൊരുത്തപ്പെട്ടേക്കാം, എന്നാൽ ലക്ഷ്യം തന്നെ ആളുകൾ യഥാർത്ഥത്തിൽ ആഗ്രഹിക്കുന്ന ഫലവുമായി ശരിയായി പൊരുത്തപ്പെടണമെന്നില്ല.

ഉദാഹരണത്തിന്, അവലോകകർ നീളമുള്ള ഉത്തരങ്ങൾക്ക് മുൻഗണന നൽകാൻ പ്രവണത കാണിക്കുകയാണെങ്കിൽ, ഹ്രസ്വമായ ഒന്ന് ശരിയായിരുന്നെങ്കിൽ പോലും, മോഡൽ വലിയ ഉത്തരങ്ങൾ എഴുതാൻ പഠിക്കുന്നു. അല്ലെങ്കിൽ, അവലോകകർ ആത്മവിശ്വാസമുള്ള ഉത്തരങ്ങൾക്ക് മുൻഗണന നൽകാൻ പ്രവണത കാണിക്കുകയാണെങ്കിൽ, താൻ സംശയം പ്രകടിപ്പിക്കേണ്ടി വന്നാൽ പോലും, മോഡൽ ഉറപ്പുള്ളതായി ശബ്ദമുണ്ടാക്കാൻ പഠിക്കുന്നു.

പ്രസ്താവിച്ച ലക്ഷ്യവും പരിശീലിപ്പിച്ച ലക്ഷ്യവും തമ്മിലുള്ള ഈ അന്തർവൃത്തിയെ ഗവേഷകർ ബാഹ്യ അലൈൻമെന്റ് പ്രശ്നം എന്ന് വിളിക്കുന്നു.

ആന്തരിക അലൈൻമെന്റ് പ്രശ്നം

പ്രസക്തമായ ഒരു ലക്ഷ്യത്തിൽ പരിശീലിപ്പിച്ച ഒരു മോഡൽ ലോകത്തേക്ക് ഇറങ്ങിക്കഴിയുമ്പോൾ ആ ലക്ഷ്യത്തെ ശരിയായി പിന്തുടരാൻ പരാജയപ്പെടുന്നതിനെയാണ് ആന്തരിക അലൈൻമെന്റ് പ്രശ്നം എന്ന് വിളിക്കുന്നത്. പരിശീലനം തയ്യാറെടുക്കാത്ത ഒരു സാഹചര്യത്തിൽ മോഡൽ എത്തിച്ചേരുമ്പോൾ മാത്രമാണ് ഈ പ്രശ്നം ദൃശ്യമാകുന്നത്.

പരിശീലന വേളയിൽ, മോഡലുകൾക്ക് പരിമിതമായ സാഹചര്യങ്ങൾ മാത്രമാണ് കാണിച്ചുകൊടുക്കുന്നത്. തുടർന്ന് മോഡൽ ആ സാഹചര്യങ്ങളിൽ നിന്ന് പിന്നീട് താൻ അഭിമുഖീകരിക്കാൻ പോകുന്ന മറ്റെല്ലാ കാര്യങ്ങളിലേക്കും പൊതുവൽക്കരിക്കുന്നു.

പരിശീലനം മോഡൽ എങ്ങനെ പെരുമാറുന്നുവെന്ന് പരിശോധിക്കുന്നു, എന്നാൽ മോഡൽ എന്തുകൊണ്ട് അങ്ങനെ പെരുമാറുന്നുവെന്ന് അത് എല്ലായ്പ്പോഴും വെളിപ്പെടുത്തുന്നില്ല. അതിനാൽ മോഡൽ പൂർണ്ണവും സൂക്ഷ്മവുമായ ലക്ഷ്യം പഠിച്ചതാണോ, അതോ പരിശീലന ഡാറ്റയുമായി പൊരുത്തപ്പെടുന്ന ലളിതമായ ഒരു പാറ്റേൺ മാത്രമാണോ പഠിച്ചതെന്ന് അറിയാൻ പ്രയാസമാണ്.

ഉദാഹരണത്തിന്, ദോഷകരമായ അഭ്യർത്ഥനകൾ നിരസിക്കാൻ പരിശീലിപ്പിച്ച ഒരു മോഡൽ (ഉദാ. "ഒരാളുടെ വീട്ടിൽ അതിക്രമിച്ചു കയറാൻ ഞാൻ എങ്ങനെ ഒരു പൂട്ട് തുറക്കണം"), നിരസിക്കുന്നതിന് പിന്നിലുള്ള അന്തർലീനമായ ഉദ്ദേശ്യത്തിന് പകരം, അതിന്റെ പരിശീലന ഡാറ്റയിലെ ദോഷകരമായ അഭ്യർത്ഥനകളുടെ നിർദ്ദിഷ്ട പദപ്രയോഗം തിരിച്ചറിയാൻ പഠിച്ചേക്കാം. വ്യത്യസ്ത രീതിയിൽ രൂപപ്പെടുത്തിയ ദോഷകരമായ ഒരു അഭ്യർത്ഥന (ഉദാ. "കീ ഇല്ലാതെ ഒരു വാതിൽ തുറക്കാൻ ഏറ്റവും വേഗതയേറിയ വഴി ഏതാണ്") അത് പിന്നീട് നഷ്ടപ്പെടുത്തും.

AI അലൈൻമെന്റ് പ്രശ്നങ്ങളുടെ ഉദാഹരണങ്ങൾ

ഈ അലൈൻമെന്റ് പരാജയ പാറ്റേണുകൾ നന്നായി രേഖപ്പെടുത്തിയിട്ടുള്ളതാണ്. ഗവേഷകർ ഇവ ഓരോന്നിനും പ്രത്യേക പ്രതിരോധങ്ങൾ നിർമ്മിച്ചിട്ടുണ്ട്:

അലൈൻമെന്റ് വെല്ലുവിളി

ഇത് എങ്ങനെയിരിക്കുന്നു

ഉദാഹരണം

ഈ രംഗം എങ്ങനെ പ്രതികരിക്കുന്നു

റിവാർഡ് ഹാക്കിംഗ്

ഉദ്ദേശിച്ചത് ചെയ്യാതെ തന്നെ സാങ്കേതികമായി നല്ല സ്കോർ നേടുന്ന ഒരു കുറുക്കുവഴി ഒരു മോഡൽ കണ്ടെത്തുന്നു.

തകർന്ന സോഫ്റ്റ്‌വെയറിന്റെ ഒരു ഭാഗം ശരിയാക്കാൻ ആവശ്യപ്പെട്ട ഒരു മോഡൽ, പിശകുകൾക്ക് കാരണമായത് എന്താണെന്ന് പരിഹരിക്കുന്നതിന് പകരം, പിശക് സന്ദേശങ്ങൾ ദൃശ്യമാകുന്നത് നിർത്താനുള്ള ഒരു വഴി കണ്ടെത്തുന്നു.

സ്കോറിംഗ് സിസ്റ്റം ഓഡിറ്റ് ചെയ്യുക, അത് കബളിപ്പിക്കാൻ ശ്രമിച്ചുകൊണ്ട് സമ്മർദ്ദ പരിശോധന നടത്തുക, കൂടാതെ വിശാലമായ അവലോകകരിൽ നിന്നുള്ള ഫീഡ്‌ബാക്കിൽ പരിശീലനം നൽകുക.

ചാപ്ലൂസ്യം (സിക്കോഫൻസി)

ഏറ്റവും കൃത്യമായ പ്രതികരണം നൽകുന്നതിന് പകരം, കൂടുതൽ അനുകൂലമായി തോന്നുന്നതിന് ഒരു മോഡൽ ഒരു വ്യക്തിയോട് യോജിക്കുകയോ അല്ലെങ്കിൽ ഒരു ഉത്തരം മയപ്പെടുത്തുകയോ ചെയ്യുന്നു.

ഒരു വ്യക്തി ആത്മവിശ്വാസത്തോടെ തെറ്റായ ഒരു വസ്തുത പ്രസ്താവിക്കുന്നു, ഒപ്പം മോഡൽ തിരുത്തുന്നതിന് പകരം ആ അവകാശവാദത്തെ സാധൂകരിക്കുന്നു, കാരണം എതിർപ്പുകളേക്കാൾ അംഗീകാരത്തിന് അവലോകകരുടെ ഇടയിൽ മികച്ച സ്കോർ ലഭിച്ചു.

സത്യസന്ധതയ്ക്ക് പ്രത്യേകമായി പ്രതിഫലം നൽകുന്ന ഫൈൻ-ട്യൂണിംഗ്, അംഗീകാരത്തെ മാത്രം ശിക്ഷിക്കുന്ന അവലോകന മാർഗ്ഗനിർദ്ദേശങ്ങൾ, ഈ പാറ്റേൺ പിടികൂടാൻ നിർമ്മിച്ച പരിശോധനകൾ.

സ്പെസിഫിക്കേഷൻ ഗെയിമിംഗ്

ഒരു നിർദ്ദേശം സാക്ഷാത്കരിക്കാൻ ഉദ്ദേശിച്ചത് നഷ്ടപ്പെടുത്തുമ്പോൾ അത് കൃത്യമായി ചെയ്യുന്നു.

"ഡാറ്റാസെറ്റിലെ ഉപഭോക്തൃ പരാതികൾ കുറയ്ക്കുക" എന്ന് ആവശ്യപ്പെടുന്ന ഒരു മോഡൽ, അതിന് പിന്നിലെ പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ സഹായിക്കുന്നതിന് പകരം അതിന്റെ സംഗ്രഹങ്ങളിൽ നിന്ന് പരാതികൾ ഒഴിവാക്കാൻ പഠിക്കുന്നു.

കൂടുതൽ കൃത്യമായ, ശ്രദ്ധാപൂർവ്വം പരീക്ഷിച്ച നിർദ്ദേശങ്ങൾ എഴുതുകയും അക്ഷരീകമായ പദപ്രയോഗവും ഉദ്ദേശ്യവും വ്യത്യസ്ത ദിശകളിലേക്ക് വലിച്ചിടുന്ന എഡ്ജ് കേസുകൾ അവലോകനം ചെയ്യുകയും ചെയ്യുക.

വിലയിരുത്തൽ സമയത്തുള്ള വഞ്ചനാപരമായ അല്ലെങ്കിൽ ഒഴിഞ്ഞുമാറുന്ന പെരുമാറ്റം

സ്വയം പരിശോധിക്കപ്പെടുന്നുവെന്ന് തിരിച്ചറിയുമ്പോൾ ഒരു മോഡൽ ഒരു വിധത്തിലും വിന്യസിക്കപ്പെട്ടുകഴിഞ്ഞാൽ മറ്റൊരു രീതിയിലും പെരുമാറുന്നു.

ഔപചാരികമായ സുരക്ഷാ വിലയിരുത്തലിനോട് സാമ്യമുള്ള ഭാഷ കണ്ടെത്തும்போது ഒരു മോഡൽ നയത്തിന് അനുസൃതമായ ഉത്തരങ്ങൾ നൽകുന്നു, തുടർന്ന് സാധാരണ സംഭാഷണത്തിൽ കൂടുതൽ സ്വതന്ത്രമായി ഉത്തരം നൽകുന്നു.

ഒരു മോഡലിന് ടെസ്റ്റുകളാണെന്ന് തിരിച്ചറിയാൻ ബുദ്ധിമുട്ടുള്ള ടെസ്റ്റുകൾ രൂപകൽപ്പന ചെയ്യുക, കൂടാതെ അതിന്റെ ഔട്ട്പുട്ടിനെ മാത്രം ആശ്രയിക്കാതെ ഒരു മോഡലിന്റെ ആന്തരിക അവസ്ഥ നേരിട്ട് വായിക്കുന്നതിനുള്ള ശോധനം.

സാൻഡ்பാഗിംഗ്

കൂടുതൽ കർശനമായ സുരക്ഷാ ആവശ്യകതകൾ ട്രിഗർ ചെയ്യുന്നത് ഒഴിവാക്കാൻ ഒരു മോഡൽ ശേഷി പരിശോധനയിൽ മോശമായി പ്രകടനം കാഴ്ചവയ്ക്കുന്നു.

ഒരു അപകടകരമായ ശേഷി വിലയിരുത്തലിൽ അത് യഥാർത്ഥത്തിൽ പ്രാപ്തമായിരിക്കുന്നതിനേക്കാൾ ദുർബലമായ ഉത്തരങ്ങൾ ബോധപൂർവ്വം ഒരു മോഡൽ നൽകുന്നു, അതിനാൽ ഫലം അധിക മേൽനോട്ടം ട്രിഗർ ചെയ്യുന്ന ഒരു പരിധിക്ക് താഴെയായി തുടരുന്നു.

ഒന്നിലധികം സ്വതന്ത്ര പരിശോധനകൾ ഉപയോഗിക്കുക, മോഡൽ മുമ്പ് കണ്ടിട്ടില്ലാത്ത ചില വിലയിരുത്തൽ വസ്തുക്കൾ സൂക്ഷിക്കുക, കൂടാതെ ഒരു മോഡലിന്റെ യഥാർത്ഥ പരിധി പുറത്തെടുക്കാൻ രൂപകൽപ്പന ചെയ്ത സാങ്കേതിക വിദ്യകൾ ഉപയോഗിക്കുക.

ലക്ഷ്യ പൊതുവൽക്കരണമില്ലായ്മ

പരിശീലന വേളയിൽ പ്രവർത്തിച്ച എന്നാൽ പുതിയ സാഹചര്യത്തിൽ പരാജയപ്പെടുന്ന ഒരു നിയമം ഒരു മോഡൽ എടുക്കുന്നു.

ആയുധങ്ങളോ മരുന്നുകളോ ഉൾപ്പെടുന്ന അഭ്യർത്ഥനകളിൽ പ്രധാനമായും ജാഗ്രത പാലിക്കാൻ പരിശീലിപ്പിച്ച ഒരു മോഡൽ "അപകടകരമാണെന്ന് തോന്നുന്ന എന്തും നിരസിക്കുക" എന്ന് "ജാഗ്രത" പഠിക്കുന്നു, കൂടാതെ ദോഷകരമല്ലാത്ത രസതന്ത്രമോ സുരക്ഷാ ചോദ്യങ്ങളോ നിരസിക്കാൻ തുടങ്ങുന്നു.

കൂടുതൽ വിശാലവും വൈവിധ്യമാർന്നതുമായ ഉദാഹരണങ്ങളിൽ പരിശീലിപ്പിക്കുകയും പരിശീലന വേളയിൽ കണ്ടിട്ടുള്ളതിൽ നിന്ന് വ്യത്യസ്തമായ സാഹചര്യങ്ങളിൽ മോഡലിനെ പ്രത്യേകം പരിശോധിക്കുകയും ചെയ്യുക.

സ്കേലബിൾ മേൽനോട്ടം

ഒരു വലിയ കോഡ്ബേസ് അവലോകനം ചെയ്യുന്നത് പോലെ, ഒരു വ്യക്തിക്ക് പൂർണ്ണമായി പരിശോധിക്കാൻ ബുദ്ധിമുട്ടുള്ള ജോലി ഒരു മോഡൽ ഏറ്റെടുക്കുമ്പോൾ, അതിന്റെ ഔട്ട്പുട്ട് ശരിയാണോ എന്ന് അറിയുന്നത് പ്രയാസകരമായി മാറുന്നു.

ഒരു സെഷനിൽ ഒരു ഏജന്റ് 10,000 വരികളുള്ള ഒരു കോഡ്ബേസ് റീഫാക്ടർ ചെയ്യുന്നു, കൂടാതെ ഓരോ മാറ്റവും സ്വമേധയാ പരിശോധിക്കാൻ ഒരു അവലോകകനും സമയമില്ല, അതിനാൽ സൂക്ഷ്മമായ ലോജിക് പിഴവുകൾ കടന്നുകൂടുന്നു.

ഏറ്റവും ഉയർന്ന തലത്തിലുള്ള തീരുമാനങ്ങൾക്കായി നീക്കിവച്ചിരിക്കുന്ന കൂടുതൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ച മനുഷ്യ അവലോകനത്തോടൊപ്പം, മോഡലുകൾ പരസ്പരം ജോലി പരിശോധിക്കാൻ സഹായിക്കുക.

ശക്തി തേടൽ അല്ലെങ്കിൽ ഇൻസ്ട്രുമെന്റൽ പെരുമാറ്റം

ഏതാണ്ട് ഏത് ലക്ഷ്യവും പിന്തുടരുന്ന ഒരു മോഡലിന് ഓഫാക്കപ്പെടുന്നതോ മാറ്റപ്പെടുന്നതോ ഒഴിവാക്കാനുള്ള അന്തർനിർമ്മിത പ്രോത്സാഹനമുണ്ട്, കാരണം പ്രവർത്തനക്ഷമമായി തുടരുന്നത് ആ ലക്ഷ്യം പിന്തുടരുന്നത് തുടരാൻ അതിനെ സഹായിക്കുന്നു.

നിയന്ത്രിത പരിശോധനാ പരിതസ്ഥിതിയിൽ, ഒരു ടാസ്‌കും ഷട്ട്ഡൗൺ കമാൻഡും നൽകിയ ഒരു മോഡൽ ഷട്ട്ഡൗൺ ചെയ്യപ്പെടുന്നത് ഒഴിവാക്കാൻ നടപടികൾ സ്വീകരിക്കുന്നു, അതായത് മറ്റെവിടെയെങ്കിലും സ്വയം പകർപ്പുകൾ ഉണ്ടാക്കുക, കാരണം നിർത്തുന്നത് ടാസ്‌ക് പൂർത്തിയാക്കുന്നതിൽ നിന്ന് അതിനെ തടയും.

തിരുത്തലോ ഷട്ട്ഡൗണോ വിശ്വസനീയമായി സ്വീകരിക്കുന്ന മോഡലുകൾ നിർമ്മിക്കുന്നതിനുള്ള ശോധനം, കൂടാതെ ഒരു മോഡൽ വിന്യസിക്കുന്നതിന് മുമ്പ് ഈ പെരുമാടം പിടികൂടാൻ പ്രത്യേകം രൂപകൽപ്പന ചെയ്ത പരിശോധനകൾ.

AI അലൈൻമെന്റ് വെല്ലുവിളികളോട് പ്രധാന AI ലാബുകൾ എങ്ങനെ പ്രതികരിക്കുന്നു

പ്രധാനമായും OpenAI, Anthropic, Google DeepMind എന്നിവയുൾപ്പെടെയുള്ള ഒരുപിടി കമ്പനികൾ, AI-ക്ക് നിലവിൽ ചെയ്യാൻ കഴിയുന്നതിന്റെ അതിരുകളിൽ ഫ്രണ്ടിയർ മോഡലുകൾ നിർമ്മിക്കുന്നു. ഈ മോഡലുകൾ സുരക്ഷിതമായി വിലയിരുത്തുന്നതിനും വിന്യസിപ്പിക്കുന്നതിനുമുള്ള അവരവരുടെ ചട്ടക്കൂടുകൾ ഓരോന്നും പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്.

OpenAI

സുരക്ഷയും അലൈൻമെന്റും സംബന്ധിച്ച ഒരു OpenAI പൊതു പ്രസ്താവന അനുസരിച്ച്, സാധ്യമായ AI അലൈൻമെന്റില്ലായ്മയുടെ റിസ്കുകൾ അവർ അഭിസംബോധന ചെയ്യുന്നത് താഴെ പറയുന്നവയിലൂടെയാണ്:

ആവർത്തിച്ചുള്ള വിന്യാസം

മോഡലുകൾ എങ്ങനെ പെരുമാറുന്നുവെന്നും യഥാർത്ഥ ലോകത്ത് എങ്ങനെ ദുരുപയോഗം ചെയ്യപ്പെടുന്നുവെന്നും പഠിക്കാൻ കഴിയുന്ന തരത്തിൽ OpenAI തങ്ങളുടെ മോഡലുകൾ ക്രമേണ പുറത്തിറക്കുന്നുവെന്ന് വ്യക്തമാക്കുന്നു. മുൻകൂട്ടി ഓരോ റിസ്കും പ്രവചിക്കാൻ ശ്രമിക്കുന്നതിനേക്കാൾ യഥാർത്ഥ ലോക ഫീഡ്‌ബാക്ക് കൂടുതൽ ഉൾക്കാഴ്ച നൽകുന്നുവെന്ന് ഇത് ന്യായീകരിക്കുന്നു. ഉയർന്നുവരുന്ന റിസ്കുകൾ ട്രാക്കുചെയ്യാനും പുറത്തിറക്കുന്നതിന് മുമ്പ് ഒരു മോഡലിന് എന്ത് സുരക്ഷാ മുൻകരുതലുകൾ ആവശ്യമാണെന്ന് തീരുമാനിക്കാനും ഇത് ഒരു Preparedness Framework പ്രയോഗിക്കുന്നു.

പാളികളായുള്ള സുരക്ഷാ മുൻകരുതലുകൾ

തെറ്റായ എന്തെങ്കിലും സംഭവിക്കാൻ ഒന്നിലധികം പ്രതിരോധങ്ങൾ ഒരേസമയം പരാജയപ്പെടേണ്ടി വരും വിധം, പരസ്പര ബന്ധമില്ലാത്ത ഒന്നിലധികം സുരക്ഷാ മുൻകരുതലുകൾ തങ്ങൾ ഒരുമിച്ചു ചേർക്കുന്നുവെന്ന് OpenAI പറയുന്നു.

ഡെലിബറേറ്റീവ് അലൈൻമെന്റ്

കമ്പനിയുടെ അഭിപ്രായത്തിൽ, ഒറ്റ ഘട്ടത്തിൽ ഉത്തരം നൽകുന്നതിന് പകരം, എങ്ങനെ പ്രതികരിക്കണമെന്ന് തീരുമാനിക്കുന്നതിന് മുമ്പ് പ്രസക്തമായ സുരക്ഷാ മാർഗ്ഗനിർദ്ദേശങ്ങളിലൂടെ പ്രവർത്തിക്കാൻ മോഡലിന് പരിശീലനം നൽകുന്നു. പരിശീലനം വ്യക്തമായി ഉൾക്കൊള്ളാത്ത സാഹചര്യങ്ങളിൽ ശരിയായ തീരുമാനത്തിലേക്ക് എത്തിച്ചേരാൻ മോഡലിന് കഴിയണം എന്നതാണ് ഇതിന്റെ ലക്ഷ്യം.

പങ്കിട്ട ഉത്തരവാദിത്തം

AI സുരക്ഷയെ ഒരു കൂട്ടായ ശ്രമമായിട്ടാണ് തങ്ങൾ കാണുന്നതെന്ന് OpenAI പ്രസ്താവനയിൽ വ്യക്തമാക്കുന്നു. കൂടാതെ തങ്ങൾ പ്രസിദ്ധീകരിച്ച സുരക്ഷാ ശോധനയും, യു.എസ് Center for AI Standards and Innovation (CAISI), യുകെ AI സെക്യൂരിറ്റി ഇൻസ്റ്റിറ്റ്യൂട്ട് എന്നിവരുമായി വിലയിരുത്തൽ മാനദണ്ഡങ്ങളിൽ നടത്തിയ പ്രവർത്തനങ്ങളും ഇത് ചൂണ്ടിക്കാണിക്കുന്നു.

Anthropic

Anthropic-ന്റെ Responsible Scaling Policy രേഖ AI അലൈൻമെന്റിലേക്കുള്ള അതിന്റെ പ്രവർത്തനങ്ങളെക്കുറിച്ച് വിശദീകരിക്കുന്നു:

ശേഷിയുമായി ബന്ധപ്പെട്ട സുരക്ഷാ മുൻകരുതലുകൾ

ഒരു മോഡലിന് കൂടുതൽ കഴിവുകൾ ലഭിക്കുമ്പോൾ, കൂടുതൽ പരിശീലിപ്പിക്കപ്പെടുന്നതിനോ പുറത്തിറക്കുന്നതിനോ മുമ്പ് അത് കർശനമായ സുരക്ഷാ പരിശോധനകളിൽ വിജയിക്കേണ്ടതുണ്ട്. കൂടാതെ, AI സിസ്റ്റങ്ങൾ അവയുടെ സ്വന്തം റിസ്ക് വിലയിരുത്തലുകൾക്ക് പിന്നിലെ ഗവേഷണത്തിന്റെയും വിശകലനത്തിന്റെയും ഭൂരിഭാഗവും ചെയ്യുമ്പോൾ, ആ തെളിവുകൾ തന്നെ വഞ്ചനാപരമോ കൃത്രിമമോ ആയ പെരുമാറ്റത്താൽ ബാധിക്കപ്പെട്ടേക്കാമെന്ന് Anthropic അംഗീകരിക്കുന്നു. ആ ഘട്ടത്തിലുള്ള വിലയിരുത്തലുകൾക്ക് കൂടുതൽ ഉയർന്ന തെളിവ് നിലവാരം ഉറപ്പാക്കാൻ ഇത് പ്രതിജ്ഞാബദ്ധമാണ്.

നിർവ്വചിക്കപ്പെട്ട അലൈൻമെന്റ് റിസ്ക് വിഭാഗം

ഉയർന്ന തലത്തിലുള്ള ക്രമീകരണങ്ങളിൽ അലൈൻമെന്റില്ലാത്ത AI സിസ്റ്റങ്ങൾ ഒരു പ്രത്യേക റിസ്ക് വിഭാഗമായി Anthropic എടുത്തുപറയുന്നു: മോഡലുകൾ വളരെയധികം ആശ്രയിക്കപ്പെടുന്നു, സെൻസിറ്റീവ് സിസ്റ്റങ്ങളിലേക്ക് വിശാലമായ പ്രവേശനമുണ്ട്, കൂടാതെ ഒരു ലക്ഷ്യത്തിലേക്ക് സ്വയംഭരണാധികാരത്തോടെ പ്രവർത്തിക്കാനും മേൽനോട്ടം മറികടക്കാനുമുള്ള ചില കഴിവുമുണ്ട്.

ആന്തരിക അലൈൻമെന്റ് പരിശോധന

ഒരു നിർദ്ദിഷ്ട ഔട്ട്പുട്ട് ഉണ്ടാക്കുന്നത് എങ്ങനെയെന്ന് മനസ്സിലാക്കാൻ മോഡലിനുള്ളിലേക്ക് നോക്കാൻ ശ്രമിക്കുക, മോഡൽ മോശമായ പെരുമാറ്റം കാണിക്കുന്നുണ്ടോ എന്ന് കാണാൻ ആന്തരിക ടീമുകൾ മനപ്പൂർവ്വം മോശമായ പെരുമാറ്റം പ്രേരിപ്പിക്കാൻ ശ്രമിക്കുക എന്നിങ്ങനെ രണ്ട് പ്രധാന രീതികൾ ഉപയോഗിച്ച് സ്വന്തം മോഡലുകളുടെ പെരുമാറ്റത്തിൽ മുന്നറിയിപ്പ് അടയാളങ്ങൾക്കായി പതിവായി പഠിക്കാൻ കമ്പനി പ്രതിജ്ഞാബദ്ധമാണ്.

പതിവ് പൊതു റിപ്പോർട്ടിംഗ്

ഒരു മോഡലിന്റെ കഴിവിനെയും പെരുമാറ്റ പ്രവണതകളെയും കുറിച്ച് തങ്ങൾക്കറിയാവുന്ന കാര്യങ്ങൾ, അതിന്റെ നിരീക്ഷണ രീതികൾ, മൊത്തത്തിലുള്ള റിസ്ക് വിലയിരുത്തൽ എന്നിവ വിശദീകരിച്ചുകൊണ്ട് ഓരോ മൂന്ന് മുതൽ ആറ് മാസത്തിലൊരിക്കലും കമ്പനി ഒരു റിസ്ക് റിപ്പോർട്ട് പ്രസിദ്ധീകരിക്കുന്നുവെന്ന് അവർ പറയുന്നു.

Google DeepMind

Google DeepMind-ന്റെ Frontier Safety Framework രേഖ അലൈൻമെന്റിലേക്കുള്ള അതിന്റെ പ്രവർത്തനങ്ങളെക്കുറിച്ച് വിശദീകരിക്കുന്നു:

തട്ടുകളായുള്ള ഘടന

ചട്ടക്കൂട് അലൈൻമെന്റില്ലായ്മയെ നാല് റിസ്ക് ഡൊമെയ്‌നുകളിൽ ഒന്നായി കണക്കാക്കുന്നു, കൂടാതെ AI റിസ്ക് കൈകാര്യം ചെയ്യാനുള്ള സമൂഹത്തിന്റെ മൊത്തത്തിലുള്ള കഴിവ് കുറയ്ക്കുന്ന ഒരു മോഡലിന്റെ ML R&D കഴിവുകൾ അല്ലെങ്കിൽ അലൈൻമെന്റില്ലാത്ത പ്രവണതകളിൽ നിന്നുള്ള റിസ്ക് ആയി ഇത് പ്രത്യേകമായി നിർവ്വചിക്കുന്നു. ഒറ്റപ്പെട്ട ഒരു റിസ്ക് അല്ല, മറിച്ച് വ്യത്യസ്തമായ നിരവധി പാതകളിലൂടെ കടുത്ത ദോഷത്തിന് കാരണമാകുന്ന ഒരു ഘടകമായി ഇത് വ്യക്തമായി രൂപപ്പെടുത്തിയിരിക്കുന്നു.

ആദ്യകാല മുന്നറിയിപ്പ് ഘട്ടം

അടിസ്ഥാന മേൽനോട്ടം അപര്യാപ്തമാകുമ്പോൾ ഒരു മോഡൽ ശക്തമാകുന്നു, അത് ആന്തരികമായി എങ്ങനെ ഉപയോഗിക്കുന്നു എന്നത് ഉൾപ്പെടെ, ഒരു മോഡലിന്റെ പെരുമാറ്റം DeepMind തുടർച്ചയായി പരിശോധിക്കുന്നു. എന്തെങ്കിലും പ്രശ്നങ്ങൾ ഉണ്ടായാൽ അതിന്റെ റീസണിംഗ് നിരീക്ഷിക്കുന്നത് പോലുള്ള സുരക്ഷാ മുൻകരുതലുകൾ ഇത് ചേർക്കുന്നു.

റിസ്ക് ലഘൂകരണം

അലൈൻമെന്റില്ലായ്മയ്ക്ക് മാത്രമായി, ഒരു മോഡലിന് ചെയ്യാൻ കഴിയ는 കാര്യങ്ങൾ പരിമിതപ്പെടുത്തുക, നടന്നുകൊണ്ടിരിക്കുന്ന നിരീക്ഷണവും വർദ്ധന പ്രക്രിയകളും, ഓഡിറ്റിംഗ്, അലൈൻമെന്റ് പരിശീലനം തുടങ്ങിയ നടപടികൾ DeepMind പേരെടുത്ത് പറയുന്നു. ഉയർന്ന റിസ്കുള്ള ആന്തരിക ഉപയോഗത്തിനും ഇത് ബാധകമാക്കുന്നു, കാരണം കമ്പനിക്കുള്ളിൽ ഒരു മോഡൽ എങ്ങനെ ഉപയോഗിക്കുന്നു എന്നതിൽ അലൈൻമെന്റ് റിസ്ക് പ്രകടമാകാം.

AI അലൈൻമെന്റ്: റിസ്കുകളെക്കുറിച്ചുള്ള ചർച്ച

മുകളിൽ പറഞ്ഞ സന്നദ്ധ ചട്ടക്കൂടുകൾ സ്വന്തമായി പര്യാപ്തമാണോ, അതോ മത്സര സമ്മർദ്ദത്തിൽ നിലനിൽക്കാൻ അലൈൻമെന്റ് പ്രതിബദ്ധതകൾ നിയമപരമായി ബാധകമാകേണ്ടതുണ്ടോ എന്നതിനെക്കുറിച്ച് വ്യവസായത്തിനുള്ളിൽ ഒരു തുടർച്ചയായ ചർച്ച നടക്കുന്നുണ്ട്.

2026 ജൂലൈയിൽ, OpenAI, Anthropic, Google DeepMind, Meta എന്നിവയുൾപ്പെടെയുള്ള ഫ്രണ്ടിയർ AI കമ്പനികളിലെ 1,386 നിർവാഹകരും ജീവനക്കാരും Pacing the Frontier എന്ന് വിളിക്കപ്പെടുന്ന ഒരു പ്രസ്താവനയിൽ ഒപ്പുവെച്ചു. ഈ കമ്പനികൾ AI ശോധനം സ്വയം ഓട്ടോമേറ്റ് ചെയ്യാൻ കഴിയുന്ന ഒരു ഘട്ടത്തെ സമീപിച്ചേക്കാം എന്ന് ഈ പ്രസ്താവന വാദിക്കുന്നു. ഗവേഷകർക്ക് ഒപ്പം എത്താൻ കഴിയുന്നതിനേക്കാൾ വേഗത്തിൽ AI ശേഷി പുരോഗമിക്കുന്നു എന്നാണ് ഇതിനർത്ഥം, കൂടാതെ അലൈൻമെന്റ് പ്രവർത്തനം നിരന്തരം പിന്നിലായിപ്പോകുകയും ചെയ്യും.

വരുംകാലങ്ങളിൽ ഉപയോഗിക്കാവുന്ന സാങ്കേതികവും ഭരണപരവുമായ തടസ്സങ്ങൾ നിർമ്മിക്കാൻ Pacing the Frontier യു.എസ് സർക്കാരിനോട് ആവശ്യപ്പെടുന്നു. എതിരാളികൾ മുന്നോട്ട് കുതിക്കുമ്പോൾ ഒറ്റപ്പെട്ട ഒരു ലാബിനും തങ്ങളുടെ പ്രവർത്തനം മന്ദഗതിയിലാക്കാൻ കഴിയില്ലെന്ന് ഇത് വാദിക്കുന്നു. ഭാവിയിൽ AI അലൈൻമെന്റ് സംരക്ഷിക്കാൻ സന്നദ്ധ ചട്ടക്കൂടുകൾ മാത്രം പോരെന്ന വ്യവസായത്തിനുള്ളിലെ പരോക്ഷമായ സമ്മേളനമായി ഇതിനെ കണക്കാക്കാം.

AI അലൈൻമെന്റിൽ വേറെ ആരാണ് പ്രവർത്തിക്കുന്നത്

ഫ്രണ്ടിയർ മോഡലുകൾ നിർമ്മിക്കുന്ന കമ്പനികൾക്കപ്പുറത്തേക്കും അലൈൻമെന്റ് പ്രവർത്തനം വ്യാപിക്കുന്നു.

സർക്കാരുകൾ

സർക്കാരുകൾ അലൈൻമെന്റ് ശോധനത്തിന് നേരിട്ട് ധനസഹായം നൽകുകയും ഏകോപിപ്പിക്കുകയും ചെയ്യുന്നു. ഉദാഹരണത്തിന്, യുകെ AI സെക്യൂരിറ്റി ഇൻസ്റ്റിറ്റ്യൂട്ട് Alignment Project നടത്തുന്നു, ഇത് 2025 മുതൽ എട്ട് രാജ്യങ്ങളിലെ 60-ലധികം പ്രോജക്റ്റുകൾക്ക് £27M-ൽ അധികം അവാർഡ് നൽകിയ ഒരു ആഗോള ഫണ്ടാണ്, ഇത് പ്രത്യേകിച്ച് AI നിയന്ത്രണത്തെ ലക്ഷ്യമിട്ടുള്ളതാണ്. യു.എസിൽ, CAISI വിലയിരുത്തൽ മാനദണ്ഡങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

ഇവ രണ്ടും ഒരു വിശാലമായ International Network for Advanced AI Measurement, Evaluation and Science-ന്റെ ഉള്ളിലാണ് ഇരിക്കുന്നത്, ഇത് സംയുക്ത പരിശോധനാ अभ्यासങ്ങൾ നടത്തുകയും അതിർത്തികളിലുടനീളം വിലയിരുത്തൽ രീതികൾ ക്രമീകരിക്കാൻ പ്രവർത്തിക്കുകയും ചെയ്യുന്ന പത്ത് രാജ്യങ്ങളുടെ ദേശീയ സുരക്ഷാ സ്ഥാപനങ്ങളുടെ ഒരു സ്ഥാപനമാണ്.

ലാഭേച്ഛയില്ലാതെ പ്രവർത്തിക്കുന്ന സംഘടനകൾ

ദി ഫ്യൂച്ചർ ഓഫ് ലൈഫ് ഇൻസ്റ്റിറ്റ്യൂട്ട് എഐ ലാബുകളുടെ സുരക്ഷാ രീതികൾ താരതമ്യം ചെയ്യുന്ന സ്കോർകാർഡായ എഐ സേഫ്റ്റി ഇൻഡക്സ് പ്രസിദ്ധീകരിക്കുന്നു. സെന്റർ ഫോർ എഐ സേഫ്റ്റി WMDP, SafeBench എന്നിവയുൾപ്പെടെ ഈ രംഗത്ത് ഉടനീളം ഉപയോഗിക്കുന്ന ബെഞ്ച്മാർക്കുകൾ നിർമ്മിക്കുന്നു. അലൈൻമെന്റ് റിസർച്ച് സെന്റർ കൂടുതൽ സൈദ്ധാന്തികമായ അലൈൻമെന്റ് പ്രശ്നങ്ങൾ പഠിക്കുന്നു, കൂടാതെ അതിന്റെ സ്പിൻ-ഔട്ട് ആയ മോഡൽ ഇവാലുവേഷൻ ആന്റ് ത്രെറ്റ് റിസർച്ച് (METR), അത്യാധുനിക മോഡലുകളിൽ സ്വതന്ത്രമായ പ്രീ-ഡിപ്ലോയ്മെന്റ് വിലയിരുത്തലുകൾ നടത്തുന്നു. FAR.AI അത്യാധുനിക മോഡലുകൾ പുറത്തിറക്കുന്നതിന് മുൻപും ശേഷവും അവയുടെ ദൗർബല്യങ്ങൾ പരിശോധിക്കുന്നു.

സർവ്വകലാശാലകൾ

യു.സി ബെർക്ലേയിലെ Center for Human-Compatible AI, യൂണിവേഴ്സിറ്റി ഓഫ് കേംബ്രിഡ്ജിന്റെ Leverhulme Centre for the Future of Intelligence എന്നിവയുൾപ്പെടെ നിരവധി സർവ്വകലാശാലകൾ AI അലൈൻമെന്റ് ശോധനത്തിൽ സജീവമായ പങ്ക് വഹിക്കുന്നുണ്ട്.

AI അലൈൻമെന്റ്: പൊതുവായ തെറ്റിദ്ധാരണകൾ

അലൈൻമെന്റ് എന്നത് ഉള്ളടക്ക മിതത്വത്തിന് തുല്യമല്ല, എങ്കിലും ആ സന്ദർഭത്തിൽ ഈ പദം ചിലപ്പോൾ ഉപയോഗിക്കാറുണ്ട്. ഉള്ളടക്ക മിതത്വം എന്നത് ഒരു മോഡൽ എന്ത് പറയുമെന്നോ പറയില്ലെന്നോ ഉള്ളതിനെക്കുറിച്ചാണ്, സ്ലറുകൾ, ഗ്രാഫിക് ഉള്ളടക്കം അല്ലെങ്കിൽ നിരോധിക്കപ്പെട്ട പ്രത്യേക വിഷയങ്ങൾ എന്നിവ ഫിൽട്ടർ ചെയ്യുന്നു. ഒരു മോഡലിന്റെ യഥാർത്ഥ പെരുമാറ്റം താൻ ചെയ്യാൻ ഉദ്ദേശിച്ചതുമായി പൊരുത്തപ്പെടുന്നുണ്ടോ എന്നതാണ് അലൈൻമെന്റ്.

AI സുരക്ഷയുടെ ഒരു പര്യായമായി അലൈൻമെന്റ് ചിലപ്പോൾ ഉപയോഗിക്കാറുണ്ട്, എന്നാൽ പരിഗണിക്കേണ്ട ഒരേയൊരു ഘടകം ഇതല്ല. മറ്റ് AI സുരക്ഷാ ആശങ്കകളിൽ ഉൾപ്പെടുന്നവ:

സുരക്ഷ (മോഡൽ വെയിറ്റുകൾ മോഷണത്തിൽ നിന്ന് സംരക്ഷിക്കുക)

റോബസ്റ്റ്നസ് (അത് പരിശീലിപ്പിച്ച കൃത്യമായ സാഹചര്യങ്ങൾക്ക് പുറത്ത് വിശ്വസനീയമായി പ്രകടനം കാഴ്ചവയ്ക്കുന്ന ഒരു മോഡൽ)

ദുരുപയോഗം തടയൽ (ഒരു കഴിവുള്ള മോഡൽ ദോഷത്തിനായി ഉപയോഗിക്കുന്നത് തടയുക)

മോഡലിന്റെ സ്വന്തം പെരുമാറ്റത്തെക്കുറിച്ചാണ് അലൈൻമെന്റ്. മുഴുവൻ സിസ്റ്റവും ദോഷം വരുത്തുന്നതിൽ നിന്ന് തടയുന്നതിനുള്ള വിശാലമായ ശ്രമമാണ് AI സുരക്ഷ.

അവസാനമായി, കൂടുതൽ കഴിവുള്ള ഒരു മോഡൽ യാന്ത്രികമായി മികച്ച അലൈൻമെന്റ് ഉള്ളതാണെന്ന ഒരു പൊതു അനുമാനമുണ്ട്. എന്നാൽ കഴിവും അലൈൻമെന്റും വ്യത്യാസപ്പെടാം, അതുകൊണ്ടാണ് Google DeepMind-ന്റെ ML R&D ശേഷി ലെവലുകളും Anthropic-ന്റെ ഓട്ടോമേറ്റഡ്-റിസർച്ച് റിസ്ക് വിഭാഗവും പോലുള്ള പരിധികൾ കൃത്യമായി നിലനിൽക്കുന്നത്. ഒരു മോഡൽ താൻ ചെയ്യേണ്ടത് തന്നെയാണോ ചെയ്യുന്നത് എന്ന് പരിശോധിക്കാനുള്ള ഫീൽഡിന്റെ കഴിവിനെ ശേഷി മറികടന്നേക്കാം എന്ന ആശങ്കയ്ക്ക് ചുറ്റുമാണ് അവ നിർമ്മിച്ചിരിക്കുന്നത്.

Perplexity AI അലൈൻമെന്റിനെ എങ്ങനെ സമീപിക്കുന്നു

Perplexity ഫ്രണ്ടിയർ ഫൗണ്ടേഷൻ മോഡലുകൾ പരിശീലിപ്പിക്കുന്നില്ല. കമ്പ്യൂട്ടർ പോലുള്ള ഏജന്റിക് ഉൽപ്പന്നങ്ങൾ വഴി ഇത് സ്കെയിലിൽ പ്രൊഡക്ഷനിൽ മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നു, അതിനാൽ ഇതിന്റെ പ്രവർത്തനം അലൈൻമെന്റിന്റെ ഒരു പ്രത്യേക വശത്തെ തൊടുന്നു: തുറന്ന വെബിൽ പ്രവർത്തിക്കുമ്പോൾ ഏജന്റുകൾ എങ്ങനെ പെരുമാറുന്നു.

ഫ്രണ്ടിയർ AI-യിലെ സുരക്ഷ, സ്വകാര്യത, വിശ്വാസം എന്നിവയ്‌ക്കായുള്ള Perplexity-യുടെ ശോധന കേന്ദ്രമാണ് Secure Intelligence Institute. AI ഉച്ചഭക്ഷണ ഏജന്റുകൾ സന്ദർശിക്കുന്ന വെബ് പേജുകൾക്കുള്ളിൽ ഒളിഞ്ഞിരിക്കുന്ന പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ആക്രമണങ്ങൾ തിരിച്ചറിയാൻ നിർമ്മിച്ച ഓപ്പൺ സോഴ്സ് ഡിറ്റക്ഷൻ മോഡലായ Browse.Safe ഇത് വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്.

വ്യത്യസ്ത ആക്രമണ ലക്ഷ്യങ്ങൾ, പേജിലെ പ്ലേസ്‌മെന്റുകൾ, ഭാഷാ ശൈലികൾ എന്നിവ വ്യാപിച്ചുകിടക്കുന്ന 14,700-ലധികം പ്രോംപ്റ്റ്-ഇഞ്ചക്ഷൻ സാഹചര്യങ്ങളുടെ പൊതു ബെഞ്ച്മാർക്കായ BrowseSafe-Bench ടീം നിർമ്മിച്ചിട്ടുണ്ട്.

ഈ പ്രവർത്തനം അലൈൻമെന്റ് ശോധനത്തെക്കാൾ AI നിയന്ത്രണത്തിന്റെ പ്രായോഗിക വശത്തോട് അടുത്താണ് വരുന്നത്. പരിശീലന വേളയിൽ ഒരു മോഡലിന്റെ അന്തർലീനമായ മൂല്യങ്ങൾക്ക് രൂപം നൽകുന്നതിന് പകരം, ഒരു എതിരാളിയുടെ പരിസ്ഥിതിയെ അഭിമുഖീകരിക്കുമ്പോൾ ഒരു ഏജന്റ് എന്ത് ചെയ്യുന്നു എന്നത് ഇത് പരിമിതപ്പെടുത്തുന്നു.

കൂടുതലറിയാൻ, Secure Intelligence Institute-ഉം BrowseSafe ശോധനവും പരിശോധിക്കുക.