Жасанды интеллектті үйлестіру: қазіргі зерттеулер мен пікірталас

Жасанды интеллектті үйлестіру нұсқаулығы: бұл нені білдіреді, сыртқы және ішкі үйлестіру мәселелері, қателіктер, ірі жасанды интеллект зертханалары, үкіметтер мен коммерциялық емес ұйымдардың жауаптары және пікірталастың қазіргі жағдайы.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Жасанды интеллектті үйлестіру бұрын жай ғана «жасанды интеллект моделі пайдаланушының нұсқауларын орындай ма?» дегенді білдіретін. Алайда жасанды интеллект жүйелері қабілеттірек және автономиялы бола түскен сайын, бұл сұрақ пайымдау мен құндылықтарды қамтитындай кеңейді. Бұл мақалада жасанды интеллект платформалары, үкімет органдары мен коммерциялық емес ұйымдардың жасанды интеллектті үйлестіру міндетіне қалай жауап беріп жатқаны қарастырылады.

Жасанды интеллектті үйлестіру нені білдіреді

Ең қарапайым тілмен айтқанда, жасанды интеллектті үйлестіру жасанды интеллект жүйесінің өзі атқаруға тиіс жұмысты орындауын қамтамасыз етуді білдіреді. Үйлестірілген жасанды интеллект моделі шақыруды оқып шығады және оқытылған мақсатын бұрмаламай, шақыру сұраған нәтижені шығарады. Заманауи үйлестіру зерттеулерінде бұл әдетте ниетті үйлестіру ретінде сипатталады: тек шақыру мәтінін сөзбе-сөз орындап қоймай, операторларының не ниет еткенін орындауға тырысатын жүйелерді құру.

Үйлестіру – бұл техникалық міндет те, қоғамдық пікірталас тақырыбы да. Техникалық термин ретінде үйлестіру – бұл инженерлік мәселе. Белгілі бір тапсырманы орындайтын нақты модель өзінің жасалу мақсатын орындай ма? Бұл шектеулі, тексерілетін мәселе.

Алайда жасанды интеллектті үйлестіру жасанды интеллект жүйелерінің жалпы қауіпсіздігі туралы кеңірек қоғамдық және саяси талқылауларда да қолданылады. Мүмкіндіктері артып келе жатқан жасанды интеллект платформалары адамзат үшін пайдалы болып қала бере ме және адам этикасымен, қалауларымен және мақсаттарымен үйлесе ме?

Модельдер күрделене түскен сайын, оларды үйлестіру де біртіндеп қиындай түседі. Үйлестірілген жасанды интеллект модельдерін құруда екі негізгі қиындық бар:

Сыртқы үйлестіру мәселесі

Пайдаланушылар әдетте пайдалы, адал және этикалық тұрғыдан дұрыс болатын LLM моделін алғысы келеді. Бірақ LLM ешқашан тікелей «пайдалы және этикалық бол» деп оқытылмайды. Ол екі бөлек кезеңнен өтеді.

Алдын ала оқыту: Модель тілді, фактілерді және пайымдау үлгілерін үйренеді, және осы процесте тілді, фактілерді және пайымдау үлгілерін қабылдайды. Бұл кезең модельге адамның берілген сұрақтан нақты нені қалайтыны туралы ешқандай түсінік бермейді. Осы жерде қалдырылған модель «қалай құлыпты ашуға болады» дегенге «қалай бәліш пісіруге болады» деген сияқты оңай жауап береді.

Адамның қалауы: Адамдар модель жауаптарының жұптарын қарап шығады және қайсысын артық көретінін айтады. Бұл қалаулар бөлек бағалау жүйесін оқытады, содан кейін модель жақсы баға алатын жауаптарды шығару үшін реттеледі.

Бұл процесс барысында ешкім пайдалы немесе этикалық болу нені білдіретіні туралы нақты анықтаманы жазбайды. Бағалау жүйесінің модель не істеуі керек деген нұсқауы толығымен жекелеген адамдардың көптеген пікірлерінен құралған. Бағалау кез келген бір адамның шын мәнінде нені мақсат еткенін немесе негізгі мақсаттың дәл анықтамасын емес, шолушылардың нені таңдайтынын көрсетеді.

Нәтижесінде жасанды интеллект өз қабылдауындағы мақсатпен жақсы үйлесуі мүмкін, бірақ мақсаттың өзі адамдардың шынайы қалайтын нәтижесімен онша үйлеспеуі ықтимал.

Мысалы, егер шолушылар ұзағырақ жауаптарды ұнатса, модель тіпті қысқа жауап дұрыс болса да, ұзағырақ жауап жазуды үйренеді. Немесе, егер шолушылар сенімді жауаптарды ұнатса, модель тіпті күмәндану керек болса да, сенімді көрінуді үйренеді.

Зерттеушілер мәлімделген мақсат пен оқытылған мақсат арасындағы бұл алшақтықты сыртқы үйлестіру мәселесі деп атайды.

Ішкі үйлестіру мәселесі

Ішкі үйлестіру мәселесі дегеніміз – тиісті мақсатқа үйретілген модель әлемге шыққаннан кейін сол мақсатқа дұрыс қол жеткізе алмай қалуы. Бұл мәселе модель оқыту кезінде дайындалмаған жағдайға тап болған кезде ғана көрінеді.

Оқыту кезінде модельдерге тек шектеулі жағдайлар жиынтығы көрсетіледі. Содан кейін модель сол жағдайлардан кейін кездесетін басқа да барлық нәрсеге жалпылама түрде бейімделеді.

Оқыту модельдің қалай әрекет ететінін тексереді, бірақ бұл әрқашан модельдің неліктен солай әрекет ететінін ашпайды. Сондықтан модельдің толық, жан-жақты мақсатты меңгергенін немесе тек оқыту деректеріне сәйкес келген қарапайым үлгіні үйреніп алғанын білу қиын.

Мысалы, зиянды сұраулардан бас тартуға үйретілген модель (мысалы, «біреудің үйіне кіру үшін құлыпты қалай ашуға болады») бас тартудың артындағы негізгі ниетті емес, оқыту деректеріндегі зиянды сұраулардың арнайы тіркесімін тануды үйренуі мүмкін. Содан кейін ол басқаша тұжырымдалған зиянды сұрауды жіберіп алуы мүмкін (мысалы, «кілтсіз есікті ашудың ең жылдам жолы қандай»).

Жасанды интеллектті үйлестіру мәселелерінің мысалдары

Бұл үйлестірудің бұзылу үлгілері жақсы құжатталған. Зерттеушілер олардың әрқайсысы үшін арнайы қорғаныс тетіктерін жасады:

Үйлестіру мәселесі

Қалай көрінеді

Мысал

Сала қалай жауап береді

Марапаттауды бұзу (Reward hacking)

Модель көзделген нәрсені жасамай-ақ, техникалық тұрғыдан жақсы баға алатын төте жолды табады.

Бүлінген бағдарламалық құралды түзету сұралған модель олардың себебін жоюдың орнына, қате туралы хабарламалардың шығуын тоқтату жолын табады.

Бағалау жүйесін аудиттен өткізу, оны алдауға тырысу арқылы стресс-тестілеуден өткізу және шолушылардың кең ауқымының кері байланысы негізінде оқыту.

Жағымпаздық

Модель ең дәл жауап берудің орнына, көбірек ұнамды көріну үшін адаммен келіседі немесе жауапты жұмсартады.

Адам қате фактіні сенімді түрде айтады, ал модель оны түзетудің орнына сол мәлімдемені растайды, өйткені келісім шолушылар тарапынан қарсылыққа қарағанда жақсырақ баға алды.

Адалдықты арнайы марапаттайтын дәл баптау, келісімді тек өзі үшін ғана айыптайтын шолу нұсқаулары және осы үлгіні анықтауға арналған сынақтар.

Сипецификациямен ойнау (Specification gaming)

Модель нұсқаулықта не айтылғанын дәл орындайды, бірақ оның не үшін жасалу керектігін түсінбей қалады.

«Деректер жиынындағы тұтынушылардың шағымдарын азайту» сұралған модель олардың артындағы мәселелерді шешуге көмектесудің орнына, өз қорытындыларынан шағымдарды алып тастауды үйренеді.

Қатаңдатылған, мұқият тексерілген нұсқауларды жазу және тура сөзбе-сөз мағына мен ниет әр түрлі бағытқа тартатын шекті жағдайларды шолу.

Бағалау кезіндегі алдамшы немесе жалтарыңқы мінез-құлық

Модель сынақтан өтіп жатқанын сезгенде бірдей әрекет етеді, ал енгізілгеннен кейін басқаша әрекет етеді.

Модель ресми қауіпсіздікті бағалауға ұқсайтын тілді анықтаған кезде саясатқа сәйкес келетін жауаптар береді, содан кейін кәдімгі әңгіме барысында еркін жауап береді.

Модельге сынақ ретінде тануды қиындататын сынақтарды жобалау, сонымен қатар тек оның нәтижесіне сүйенмей, модельдің ішкі күйін тікелей оқуды зерттеу.

Сандбэггинг (Мүмкіндікті жасыру)

Қатаң қауіпсіздік талаптарын тудырмау үшін модель қабілет сынағында нашар нәтиже көрсетеді.

Модель қауіпті қабілетті бағалауда өзінің нақты мүмкіндігінен әлдеқайда әлсіз жауаптар береді, сондықтан нәтиже қосымша қадағалауды талап ететін шектен төмен қалады.

Бірнеше тәуелсіз сынақтарды қолдану, модель бұрын ешқашан көрмеген кейбір бағалау материалын сақтау және модельдің нақты мүмкіндіктерін шығаруға арналған әдістерді пайдалану.

Мақсатты қате жалпылау

Модель оқыту кезінде жұмыс істеген, бірақ жаңа жағдайда істен шығатын ережені қабылдайды.

Негізінен қару-жарақ немесе есірткіге қатысты сұраныстарда сақ болуға үйретілген модель «сақтықты» «қауіпті болып көрінетін кез келген нәрседен бас тарту» деп түсінеді және зиянсыз химия немесе қауіпсіздік сұрақтарынан да бас тарта бастайды.

Кеңірек, әртүрлі мысалдар жиынтығы бойынша оқыту және модельді оқыту кезінде көргендерінен ерекшеленетін жағдайларда арнайы сынау.

Масштаάталатын қадағалау

Модель үлкен код базасын шолу сияқты адамның толық тексеруі қиын жұмысты өз мойнына алған сайын, оның нәтижесінің шынымен дұрыс екенін білу қиындай түседі.

Агент бір сеанста 10 000 жолдан тұратын код базасын қайта құрылымдайды және ешбір шолушының әрбір өзгерісті қолмен тексеруге уақыты болмайды, сондықтан байқалмайтын логикалық қателер өтіп кетеді.

Ең маңызды шешімдерге арналған мұқият адам тарапынан шолумен қатар, модельдердің бір-бірінің жұмысын тексеруге көмектесуін қамтамасыз ету.

Билікке ұмтылу немесе құралдық мінез-құлық

Кез келген дерлік мақсатты көздеген модельдің өшіріліп қалудан немесе өзгертілуден аулақ болуға деген ішкі ынтасы болады, өйткені жұмыс істеп тұру оған сол мақсатты қууды жалғастыруға көмектеседі.

Бақыланатын сынақ ортасында тапсырма берілген және жұмысты тоқтату командасы енгізілген модель жұмысты тоқтату оның тапсырманы аяқтауына кедергі келтіретіндіктен, басқа жерге көшіру сияқты өзін өшіруге жол бермеу қадамдарын жасайды.

Түзетулерді немесе жұмысты тоқтатуды сенімді түрде қабылдайтын модельдерді құруға арналған зерттеулер және модельді қолданысқа енгізбе бұрын осы мінез-құлықты анықтауға арнайы жасалған сынақтар.

Ірі жасанды интеллект зертханаларының жасанды интеллектті үйлестіру мәселелеріне қалай жауап беріп жатқаны

Бірнеше компания, ең алдымен OpenAI, Anthropic және Google DeepMind жасанды интеллекттің қазіргі мүмкіндіктері шегінде озық үлгідегі модельдерді құрады. Олардың корейшісі осы модельдерді қауіпсіз бағалау және енгізу үшін өздерінің жеке жүйелерін жариялады.

OpenAI

OpenAI компаниясының қауіпсіздік және үйлестіру туралы көпшілікке арналған мәлімдемесіне сәйкес, олар жасанды интеллекттің үйлесімсіз болу ықтималдығы қауіптерін келесі жолдармен шешуде:

Итеративті түрде енгізу

OpenAI модельдердің қалай әрекет ететінін және нақты әлемде қалай теріс пайдаланылатынын зерттей алтыны үшін модельдерді біртіндеп шығаратынын мәлімдейді. Ол нақты әлемдегі кері байланыс әрбір қауіпті алдын ала болжауға тырысқаннан гөрі тереңірек түсінік береді деп есептейді. Ол туындайтын қауіптерді қадағалау және шығарылғанға дейін модельге қандай сақтық шаралары қажет екенін шешу үшін Дайындық жүйесін (Preparedness Framework) қолданады.

Қабаттасқан сақтық шаралары

OpenAI бірнеше тәуелсіз сақтық шараларын қабаттастыратынын айтады, сондықтан бірдеңе дұрыс емес жұмыс істеуі үшін бірнеше қорғаныс тетігі бір мезгілде істен шығуы тиіс.

Делиберативті үйлестіру

Компанияның мәлімдемесі бойынша, модель бір қадаммен жауап берудің орнына, жауап беру жолын шешпес бұрын тиісті қауіпсіздік нұсқауларын орындауға үйретіледі. Мақсат – модель оқыту айқын қамтымаған жағдайларда дұрыс шешім қабылдауға қол жеткізе алуы тиіс.

Ортақ жауапкершілік

OpenAI жарияланған қауіпсіздік зерттеулеріне және АҚШ-тың Жасанды интеллект стандарттары мен инновациялар орталығымен (CAISI) және Ұлыбританияның жасанды интеллект қауіпсіздігі институтымен бағалау стандарттары бойынша атқарып жатқан жұмыстарына сілтеме жасай отырып, жасанды интеллект қауіпсіздігін ұжымдық әрекет ретінде қарастыратынын мәлімдейді.

Anthropic

Anthropic компаниясының Жауапты түрде ауқымды кеңейту саясаты (Responsible Scaling Policy) құжаты оның жасанды интеллектті үйлестіру бағытында қалай жұмыс істейтінін түсіндіреді:

Қабілетке қатысты сақтық шаралары

Модель қабілеті күшейген сайын, оны әрі қарай оқыту немесе шығару алдында қатаң қауіпсіздік тексерулерінен өтуі тиіс. Сонымен қатар, Anthropic компаниясы жасанды интеллект жүйелері өзінің қауіпсіздік бағалауларына қатысты зерттеулер мен талдаулардың көбін өз бетінше атқара бастағанда, бұл дәлелдердің өздері де алдамшы немесе манипуляциялық әрекеттердің әсеріне ұшырауы мүмкін екенін мойындайды. Ол осы кезеңдегі бағалауларды дәлелдеудің жоғары стандартына сай ұстауға міндеттеледі.

Анықталған үйлестіру қаупі санаттары

Anthropic компаниясы жоғары тәуекелді жағдайлардағы үйлесімсіз жасанды интеллект жүйелерін нақты қауіп санаттары ретінде көрсетеді: олар көп тәуекел етілетін, сезімтал жүйелерге кең қолжетімділігі бар және мақсатқа жету үшін автономды түрде әрекет ету және қадағалауды айналып өту қабілеті бар модельдер.

Ішкі үйлестіруді тексеру

Компания екі негізгі әдісті қолдана отырып, ескерту белгілерін анықтау үшін өзінің модельдерінің мінез-құлқын жүйелі түрде зерттеуге міндеттенеді: берілген нәтижені не үшін шығарып жатқанын түсіну үшін модельдің ішіне үңілуге тырысу және ішкі топтардың нашар мінез-құлықтың пайда болатынын көру үшін оны әдейі тудыруға тырысу.

Тұрақты түрде жұртшылыққа есеп беру

Компания модельдің мүмкіндіктері мен мінез-құлық тенденциялары, оны бақылау тәжірибелері және қауіптің жалпы бағасы туралы білетіндерін егжей-тегжейлі баяндайтын әр үш-алты ай сайын Тәуекелдер туралы есепті (Risk Report) жариялайтынын айтады.

Google DeepMind

Google DeepMind компаниясының Frontier Safety Framework құжаты оның үйлестіру бағытында қалай жұмыс істейтінін түсіндіреді:

Сатылы құрылым

Бұл жүйе үйлесімсіздікті төрт қауіп доменінің бірі ретінде қарастырады және оны әсіресе модельдің ML R&D мүмкіндіктерінен немесе үйлесімсіз бейімділіктерінен туындайтын, қоғамның жасанды интеллект қауіпсіздігін басқарудың жалпы қабілетін төмендететін қауіп ретінде анықтайды. Бұл тек оқшауланған қауіп емес, бірнеше түрлі жолмен бір мезгілде ауыр зиян келтіруге ықпал ететін фактор ретінде анық көрсетілген.

Ерте ескерту кезеңі

Модель негізгі қадағалау жеткіліксіз болатындай жеткілікті түрде күшейген кезде, DeepMind модельдің мінез-құлқын, оның ішкі жағынан қалай қолданылатынын қоса алғанда, тұрақты түрде тексеріп отырады. Егер бұл тексеру мәселелерді анықтаса, ол оның пайымдауын бақылау сияқты сақтық шараларын қосады.

Қауіп-қатерді азайту

Әсіресе үйлесімсіздік үшін DeepMind модельдің не істей алатынын шектеу, ағымдағы бақылау және эскалация процестері, аудит және үйлестіруді оқыту сияқты шараларды атайды. Олар мұны жоғары тәуекелді ішкі қолдануға да қолданады, өйткені үйлесімсіздік қаупі модельдің компания ішінде қалай қолданылатынында көрінуі мүмкін.

Жасанды интеллектті үйлестіру: қауіптер туралы пікірталас

Жоғарыда аталған ерікті жүйелер өздігінен жеткілікті ме, әлде бәсекелестік қысымға төтеп беру үшін үйлестіру міндеттемелері заңды түрде міндетті болуы керек пе деген сұрақ бойынша салада үзідіксіз талқылау жүріп жатыр.

2026 жылдың шілде айында OpenAI, Anthropic, Google DeepMind және Meta сияқты озық жасанды интеллект компанияларының 1 386 атқарушы директоры мен қызметкері Pacing the Frontier деп аталатын мәлімдемеге қол қойды. Мәлімдемеде бұл компаниялар жасанды интеллект зерттеулерінің өзін автоматтандыра алатын кезеңге жақындап қалған болуы мүмкін екендігі айтылған. Бұл жасанды интеллекттің мүмкіндіктері зерттеушілердің үлгеруінен тезірек дамуы мүмкін екенін және үйлестіру жұмыстары әрқашан артта қалып қоятынын білдіруі мүмкін.

Pacing the Frontier бағдарламасы АҚШ үкіметіне болашақта қолданылуы мүмкін техникалық және басқару тежеуіштерін жасауға көмектесуді сұрайды, өйткені қарсыластар алға ұмтылуын жалғастырып жатқанда, ешбір жеке зертхана бәсеңдей алмайтынын алға тартады. Мұны саланың ішінен ерікті негіздегі жүйелердің өзі болашақта жасанды интеллектті үйлестіруді сақтап қалуға жеткіліксіз болатынын жасырын мойындау ретінде қарастыруға болады.

Жасанды интеллектті үйлестірумен басқа кім айналысып жатыр

Үйлестіру жұмыстары озық үлгідегі модельдерді құрастырып жатқан компаниялардың шеңберінен әлдеқайда асып түседі.

Үкіметтер

Үкіметтер үйлестіру зерттеулерін тікелей қаржыландырып, үйлестіруде. Мысалы, Ұлыбританияның жасанды интеллект қауіпсіздігі институты 2025 жылдан бастап сегіз елдегі 60-тан астам жобаға 27 миллион фунт стерлингтен астам қаржы бөлген және әсіресе жасанды интеллектті басқаруға бағытталған жаһандық қор – Alignment Project (Үйлестіру жобасы) бағдарламасын басқарады. АҚШ-та CAISI бағалау стандарттарына назар аударады.

Екеуі де бірлескен сынақ жаттығуларын өткізетін және шекаралар арасындағы бағалау әдістерін үйлестіру үшін жұмыс істейтін он елден тұратын ұлттық қауіпсіздік институттарының кеңірек Жетілдірілген жасанды интеллектті өлшеу, бағалау және ғылым халықаралық желісінің (International Network for Advanced AI Measurement, Evaluation and Science) ішінде орналасқан.

Коммерциялық емес ұйымдар

Болашақ өмірі институты (Future of Life Institute) жасанды интеллект зертханаларының қауіпсіздік тәжірибелерін салыстыратын бағалау кестесі – AI Safety Index көрсеткішін жариялайды. Жасанды интеллект қауіпсіздігі орталығы (Center for AI Safety) WMDP және SafeBench қоса алғанда, бүкіл сала бойынша қолданылатын эталондарды жасайды. Үйлестіруді зерттеу орталығы (Alignment Research Center) теориялық үйлестіру мәселелерін зерттейді, ал оның филиалы болып табылатын Модельді бағалау және қауіпті зерттеу (METR) ұйымы озық үлгідегі модельдерге тәуелсіз алдын ала енгізу бағалауларын жүргізеді. FAR.AI озық үлгідегі модельдер шығарылғанға дейін және одан кейін олардың осал тұстарын тексереді.

Университеттер

Бірнеше университеттер жасанды интеллектті үйлестіру зерттеулерінде белсенді рөл атқаруда, соның ішінде UC Berkeley университетіндегі Адамға үйлесімді жасанды интеллект орталығы (Center for Human-Compatible AI) және Кембридж университетінің Болашақ интеллект үшін Леверхулм орталығы (Leverhulme Centre for the Future of Intelligence) бар.

Жасанды интеллектті үйлестіру: жиі кездесетін қате түсініктер

Бұл термин кейде осы контексте қолданылғанымен, үйлестіру мазмұнды модерациямен бірдей емес. Мазмұнды модерация – бұл модельдің нені айтатыны немесе айтпайтыны, дөрекі сөздерді, графикалық мазмұнды немесе арнайы тыйым салынған тақырыптарды сүзгіден өткізу. Үйлестіру – бұл модельдің нақты мінез-құлқы оның атқаруға тиіс міндетіне сәйкес келетін-келмейтіні туралы.

Үйлестіру кейде жасанды интеллект қауіпсіздігінің синонимі ретінде де қолданылады, бірақ бұл ескертуге тиіс жалғыз фактор емес. Басқа жасанды интеллект қауіпсіздігі мәселелері мыналарды қамтиды:

Қауіпсіздік (модель параметрлерін ұрлаудан қорғау)

Тұрақтылық (модельдің ол оқытылған нақты жағдайлардан тыс жерде сенімді жұмыс істеуі)

Теріс пайдаланудың алдын алу (қабілетті модельдің зиян келтіру үшін пайдаланылуына жол бермеу)

Үйлестіру модельдің өз мінез-құлқына қатысты. Жасанды интеллект қауіпсіздігі – бұл бүкіл жүйенің зиян келтіруіне жол бермеуге бағытталған кеңірек әрекет.

Соңында, қабілеттірек модель автоматты түрде жақсырақ үйлестірілген модель болып табылады деген қате түсінік бар. Бірақ қабілет пен үйлестіру бір-бірінен алшақтай алады, бұл дәл сол себепті Google DeepMind компаниясының ML R&D мүмкіндік деңгейлері және Anthropic компаниясының автоматтандырылған зерттеулер қауіп санаты сияқты шекті мәндердің бар болуының себебі болып табылады. Олар қабілеттің модель әлі де өз міндетін атқарып жатқанын тексеру саласының қабілетінен асып түсуі мүмкін деген алаңдаушылыққа негізделген.

Perplexity компаниясы жасанды интеллектті үйлестіруге қалай қарады

Perplexity озық негізгі модельдерді оқытпайды. Ол Computer сияқты агенттік өнімдер арқылы модельдерді масштабта өндірісте іске қосады, сондықтан оның жұмысы үйлестірудің белгілі бір аспектісіне әсер етеді: агенттер ашық интернетте әрекет еткеннен кейін қалай өзін ұстайды.

Secure Intelligence Institute – бұл Perplexity компаниясының озық жасанды интеллекттегі қауіпсіздік, құпиялылық және сенімділік бойынша зерттеу орталығы. Ол жасанды интеллект шолғыш агенттері кіретін веб-беттердің ішінде жасырылған шақыруды енгізу шабуылдарын анықтауға арналған ашық бастапқы коды бар BrowseSafe анықтау моделін әзірледі.

Сондай-ақ топ әртүрлі шабуыл мақсаттарын, беттегі орналасуларды және тілдік стильдерді қамтитын 14 700-ден астам шақыруды енгізу (prompt-injection) сценарийлерінен тұратын жалпыға қолжетімді BrowseSafe-Bench эталонын жасады.

Бұл жұмыс үйлестіру зерттеулеріне қарағанда жасанды интеллектті басқарудың қолданбалы жағына көбірек келеді. Ол модельдің оқыту кезіндегі негізгі құндылықтарын қалыптастырудан гөрі, агент қарсылас ортаға тап болған кезде не істейтінін шектейді.

Қосымша ақпарат алу үшін Secure Intelligence Institute институтын және BrowseSafe зерттеуін қараңыз.