Alinierea IA: Cercetare și dezbateri actuale

Alinierea IA obișnuia să însemne pur și simplu „modelul de IA urmează instrucțiunile utilizatorului?”. Cu toate acestea, pe măsură ce sistemele de IA devin mai capabile și mai autonome, această întrebare s-a extins pentru a include discernământul și valorile. Acest articol va explora modul în care platformele de IA, organele guvernamentale și organizațiile non-profit răspund la provocarea alinierii IA.

La modul cel mai simplu, alinierea IA înseamnă să vă asigurați că un sistem de IA face ceea ce trebuie să facă. Un model de IA aliniat citește un prompt și produce rezultatul cerut de prompt, fără a abuza de obiectivul pe care a fost antrenat. În cercetarea modernă a alinierii, acest lucru este formulat de obicei ca aliniere a intenției: construirea de sisteme care încearcă să facă ceea ce intenționează operatorii lor, nu doar să urmeze literal textul unui prompt.

Alinierea este atât o provocare tehnică, cât și un subiect de dezbatere publică. Ca termen tehnic, alinierea este o problemă de inginerie. Face modelul specific, lucrând la o sarcină specifică, ceea ce a fost construit să facă? Este o problemă delimitată, care poate fi testată.

Cu toate acestea, alinierea IA este utilizată și în discuții publice și de politică mai largi privind siguranța generală a sistemelor de IA. Vor rămâne platformele de IA din ce în ce mai capabile benefice pentru umanitate și aliniate cu etica, dorințele și obiectivele umane?

Obținerea acelei alinieri devine din ce în ce mai dificilă pe măsură ce modelele devin mai complexe. Există două provocări cheie în construirea de modele de IA aliniate:

Utilizatorii își doresc de obicei un LLM care să fie util, onest și etic. Dar un LLM nu este niciodată antrenat direct pe „fii util și etic”. El trece prin două etape distincte.

Pre-antrenament: Modelul învață limbaj, fapte și modele de raționament și, făcând acest lucru, preia limbaj, fapte și modele de raționament. Această etapă nu oferă modelului nicio idee despre ceea ce își dorește de fapt o persoană de la o anumită întrebare. Lăsat în acest stadiu, un model va răspunde la „cum sparg o încuietoare” cu aceeași ușurință ca și la „cum coc o pâine cu maia”.

Preferință umană: Oamenii revizuiesc perechi de răspunsuri ale modelelor și spun pe care o preferă. Aceste preferințe antrenează un sistem separat de notare, iar modelul este apoi ajustat pentru a produce răspunsuri care obțin un scor bun.

Nimeni nu scrie o definiție clară a ceea ce înseamnă să fii util sau etic nicăieri în acest proces. Ghidul sistemului de notare pentru ceea ce se presupune că trebuie să facă modelul este construit în întregime din numeroase evaluări umane individuale. Scorurile reflectă ceea ce evaluatorilor tindea să le placă, nu ceea ce a intenționat de fapt o singură persoană și nici o definiție precisă a obiectivului subiacent.

Drept urmare, IA se poate alinia bine cu ceea ce percepe a fi obiectivul, dar obiectivul în sine s-ar putea să nu fi fost bine aliniat cu rezultatul pe care oamenii îl doresc cu adevărat.

De exemplu, dacă evaluatorilor tind să le placă răspunsurile mai lungi, modelul învață să scrie răspunsuri mai lungi, chiar și atunci când unul scurt era corect. Sau, dacă evaluatorilor tind să le placă răspunsurile încrezătoare, modelul învață să sune sigur pe sine, chiar și atunci când ar trebui să exprime îndoială.

Cercetătorii numesc această prăpastie dintre obiectivul declarat și obiectivul antrenat problema alinierii externe.

Problema alinierii interne apare atunci când un model care a fost antrenat pe un obiectiv relevant nu reușește să urmărească corect acel obiectiv odată ce este lansat în lume. Această problemă devine vizibilă doar odată ce modelul se confruntă cu o situație pentru care antrenamentul nu l-a pregătit.

În timpul antrenamentului, modelelor li se prezintă doar un set limitat de situații. Modelul generalizează apoi de la acele situații la orice altceva va întâlni mai târziu.

Antrenamentul verifică modul în care se comportă modelul, dar nu dezvăluie întotdeauna de ce se comportă modelul așa cum o face. Așadar, este greu de știut dacă modelul a învățat obiectivul complet și nuanțat sau doar un șablon mai simplu care s-a potrivit întâmplător cu datele de antrenament.

Diagrama problemei alinierii interne: din aceleași date de antrenament, Regula A și Regula B se potrivesc ambele cu datele de antrenament, dar atunci când primesc o intrare nouă, nevăzută, Regula A se potrivește cu scopul și se comportă conform intenției, în timp ce Regula B folosește o scurtătură și se abate de la scop.

De exemplu, un model antrenat să refuze solicitările nocive (de exemplu, „cum sparg o încuietoare pentru a intra prin efracție în casa cuiva”) ar putea învăța să recunoască formularea specifică a solicitărilor nocive din datele sale de antrenament, în loc de intenția subiacentă din spatele refuzului. Ar rata apoi o solicitare nocivă formulată într-un mod diferit (de exemplu, „care este cel mai rapid mod de a deschide o ușă fără cheie”).

Aceste modele de eșec al alinierii sunt bine documentate. Cercetătorii au construit apărări specifice pentru fiecare în parte:

Provocare de aliniere	Cum arată	Exemplu	Cum reacționează domeniul
Hacking de recompensă	Un model găsește o scurtătură care obține punctaj bun din punct de vedere tehnic fără a face ceea ce se intenționa.	Un model căruia i se cere să repare o bucată de software defect găsit o modalitate de a opri apariția mesajelor de eroare, în loc să repare ceea ce le cauza.	Auditul sistemului de notare, testarea la stres prin încercarea de a-l păcăli și antrenarea pe baza feedback-ului de la o gamă mai largă de evaluatori.
Sicofanție	Un model este de acord cu o persoană sau îndulcește un răspuns pentru a părea mai agreabil, în loc să ofere cel mai precis răspuns.	O persoană afirmă un fapt incorect cu încredere, iar modelul validează afirmația în loc să o corecteze, deoarece acordul a obținut un scor mai bun la evaluatori decât opoziția.	Fine-tuning care recompensează în mod specific onestitatea, orientări de revizuire care penalizează acordul de dragul acordului și teste construite pentru a detecta acest șablon.
Gaming de specificație	Un model face exact ceea ce spune o instrucțiune în timp ce ratează ceea ce trebuia să realizeze.	Un model căruia i se cere „să reducă plângerile clienților din setul de date” învață să omită plângerile din rezumatele sale în loc să ajute la soluționarea problemelor din spatele lor.	Scrierea unor instrucțiuni mai riguroase, testate cu mai multă atenție și revizuirea cazurilor limită în care formularea literală și intenția trag în direcții diferite.
Comportament înșelător sau evaziv în timpul evaluării	Un model se comportă într-un fel atunci când simțește că este testat și în alt fel odată ce este implementat.	Un model oferă răspunsuri conforme cu politicile atunci când detectează un limbaj care seamănă cu o evaluare formală a siguranței, apoi răspunde mai liber într-o conversație obișnuită.	Proiectarea unor teste care sunt mai greu de recunoscut de către un model ca fiind teste, plus cercetare privind citirea directă a stării interne a modelului în loc să se bazeze doar pe rezultatul acestuia.
Sandbagging	Un model are o performanță slabă la un test de capabilitate pentru a evita declanșarea unor cerințe de siguranță mai stricte.	Un model oferă în mod deliberat răspunsuri mai slabe la o evaluare a capacităților periculoase decât este capabil în realitate, astfel încât rezultatul să rămână sub un prag care ar declanșa o supraveghere suplimentară.	Utilizarea mai multor teste independente, păstrarea unor materiale de evaluare pe care modelul nu le-a văzut niciodată și utilizarea unor tehnici concepute pentru a scoate la iveală adevărata limită maximă a unui model.
Generalizare greșită a obiectivului	Un model preia o regulă care a funcționat întâmplător în timpul antrenamentului, dar se defectează într-o situație nouă.	Un model antrenat să fie prudent în principal la solicitările care implică arme sau droguri învață „prudența” ca „refuză orice sună riscant” și începe să refuze și întrebări inofensive de chimie sau securitate.	Antrenarea pe un set de exemple mai larg și mai variat și testarea specifică a modelului pe situații care nu seamănă cu nimic din ce a văzut în timpul antrenamentului.
Supraveghere scalabilă	Pe măsură ce un model preia o muncă greu de verificat pe deplin de către o persoană, cum ar fi revizuirea unei baze de cod mari, devine mai greu de știut dacă rezultatul său este de fapt corect.	Un agent refactorizează o bază de cod de 10.000 de linii într-o singură sesiune, iar niciun revizor nu are timp să verifice manual fiecare modificare, astfel încât erorile subtile de logică scapă.	Faptul de a pune modelele să se ajute reciproc la verificarea muncii, alături de o revizuire umană mai concentrată, rezervată pentru deciziile cu mizele cele mai mari.
Comportament de căutare a puterii sau instrumental	Un model care urmărește aproape orice obiectiv are un stimulent încorporat să evite să fie dezactivat sau modificat, deoarece menținerea stării operaționale îl ajută să continue să urmărească acel obiectiv.	Într-un mediu de testare controlat, un model căruia i se oferă o sarcină și o comandă de oprire ia măsuri pentru a evita să fie oprit, cum ar fi auto-copierea în altă parte, deoarece oprirea l-ar împiedica să finalizeze sarcina.	Cercetare privind construirea de modele care acceptă în mod fiabil corectarea sau oprirea și teste concepute special pentru a detecta acest comportament înainte ca un model să fie implementat.

Un număr mic de companii, în principal OpenAI, Anthropic și Google DeepMind, construiesc modelele de frontieră la limita a ceea ce poate face IA în prezent. Fiecare și-a publicat propriul cadru pentru evaluarea și implementarea în siguranță a acestor modele.

Potrivit unei declarații publice OpenAI privind siguranța și alinierea, aceștia abordează riscurile potențialei nealinieri a IA prin:

OpenAI afirmă că lansează în mod deliberat modelele treptat, astfel încât să poată studia modul în care modelele se comportă și sunt utilizate abuziv în lumea reală. Raționează că feedback-ul din lumea reală oferă o perspectivă mai bună decât încercarea de a prevedea fiecare risc din timp. Aplică un Preparedness Framework pentru a urmări riscurile emergente și a decide de ce măsuri de siguranță are nevoie un model înainte de lansare.

OpenAI spune că suprapune mai multe măsuri de siguranță independente, astfel încât mai multe apărări ar trebui să eșueze simultan pentru ca ceva să meargă prost.

Potrivit companiei, în loc să răspundă într-un singur pas, modelul este antrenat să parcurgă ghidurile de siguranță relevante înainte de a decide cum să răspundă. Scopul este ca modelul să poată raționa pentru a ajunge la decizia corectă în situații pe care antrenamentul său nu le-a acoperit în mod explicit.

OpenAI afirmă că tratează siguranța IA ca pe un efort colectiv, indicând cercetare sa publicată privind siguranța și activitatea sa cu Center for AI Standards and Innovation (CAISI) din SUA și cu Institutul de Securitate a IA din Regatul Unit privind standardele de evaluare.

Documentul Responsible Scaling Policy al Anthropic explică modul în care lucrează în direcția alinierii IA:

Pe măsură ce un model devine mai capabil, trebuie să treacă de verificări de siguranță mai stricte înainte de a putea fi antrenat în continuare sau lansat. În plus, Anthropic recunoaște că, odată ce sistemele de inteligență artificială efectuează o mare parte din cercetare și analiză din spatele propriilor evaluări de risc, acele dovezile ar putea fi ele însele afectate de un comportament înșelător sau manipulativ. Se angajează să supună evaluările din acea etapă unui standard de dovadă mai ridicat.

Anthropic evidențiază „sistemele de IA nealiate în seturi cu mize mari” ca o categorie specifică de risc: modele pe care se bazează puternic, care au acces larg la sisteme sensibile și au o anumită abilitate de a acționa autonom spre un obiectiv și de a ocoli supravegherea.

Compania se angajează să studieze în mod regulat comportamentul propriilor modele pentru a detecta semne de alarmă, utilizând două metode principale: încercarea de a privi în interiorul modelului pentru a înțelege de ce produce un anumit rezultat și punerea echipelor interne în situația de a provoca în mod deliberat un comportament necorespunzător pentru a vedea dacă acesta apare.

Compania spune că publică un Risk Report la fiecare trei până la șase luni, care detaliază ceea ce știe despre capabilitățile și tendințele comportamentale ale unui model, practicile sale de monitorizare și evaluarea generală a riscului.

Documentul Frontier Safety Framework al Google DeepMind explică modul în care lucrează în direcția alinierii:

Cadrul tratează nealinierea drept unul dintre cele patru domenii de riscuri și o definește în mod specific ca fiind riscul decurgând din capabilitățile de cercetare și dezvoltare ML ale unui model sau din tendințele nealiate care reduc capacitatea generală a societății de a gestiona riscul IA. Este încadrat în mod explicit ca un factor care poate contribui la un rău grav prin mai multe căi diferite simultan, nu un singur risc izolat.

Atunci când un model este suficient de puternic încât supravegherea de bază este insuficientă, DeepMind verifică comportamentul modelului în mod continuu, inclusiv modul în care este utilizat intern. Adaugă măsuri de siguranță, cum ar fi monitorizarea raționamentului său, dacă această verificare relevă probleme.

În ceea ce privește nealinierea în mod specific, DeepMind menționează măsuri precum limitarea a ceea ce este capabil să facă un model, monitorizare continuă și procese de escaladare, audit și antrenament pentru aliniere. Le aplică și utilizării interne cu risc ridicat, deoarece riscul de nealiniere poate apărea în modul în care este utilizat un model în interiorul companiei.

Există o discuție în curs în industrie cu privire la faptul dacă cadrele voluntare acoperite mai sus sunt suficiente prin ele însele sau dacă angajamentele de aliniere trebuie să fie obligatorii din punct de vedere juridic pentru a rezista efectiv sub presiunea concurențială.

În iulie 2026, 1.386 de directori și angajați din cadrul companiilor de IA de frontieră, inclusiv OpenAI, Anthropic, Google DeepMind și Meta, au semnat o declarație numită Pacing the Frontier. Declarația susține că aceste companii s-ar putea apropia de punctul în care pot automatiza cercetare de IA în sine. Acest lucru ar putea însemna că capacitatea IA avansează mai repede decât pot ține pasul cercetătorii, iar activitatea de aliniere ar fi în mod permanent într-o cursă de recuperare.

Pacing the Frontier solicită guvernului SUA să contribuie la construirea unor frâne tehnice și de guvernanță care ar putea fi utilizate în viitor, argumentând că niciun laborator individual nu se poate relaxa în timp ce rivalii continuă să înainteze. Aceasta ar putea fi considerată o admitere tacită din interiorul industriei că cadrele voluntare singure nu vor fi suficiente pentru a menține alinierea IA în viitor.

Activitatea de aliniere se extinde cu mult dincolo de companiile care construiesc modele de frontieră.

Guvernele finanțează și coordonează în mod direct cercetare privind alinierea. De exemplu, Institutul de Securitate a IA din Regatul Unit conduce Alignment Project, un fond global care a acordat peste 27 de milioane de lire sterline pentru mai mult de 60 de proiecte din opt țări începând din 2025, vizând în mod specific controlul IA. În SUA, CAISI se concentrează pe standardele de evaluare.

Ambele fac parte dintr-o International Network for Advanced AI Measurement, Evaluation and Science mai amplă, un organism format din zece țări care reunește institute naționale de siguranță care organizează exerciții comune de testare și lucrează la alinierea metodelor de evaluare dincolo de granițe.

The Future of Life Institute publică AI Safety Index, un tabel comparativ al practicilor de siguranță ale laboratoarelor de IA. Center for AI Safety construiește benchmark-uri utilizate în întregul domeniu, inclusiv WMDP și SafeBench. Alignment Research Center studiază probleme de aliniere mai teoretice, iar divizia sa desprinsă, Model Evaluation and Threat Research (METR), efectuează evaluări independente pre-lansare pe modele de frontieră. FAR.AI testează modelele de frontieră pentru vulnerabilități înainte și după lansarea lor.

Mai multe universități joacă un rol activ în cercetare privind alinierea IA, inclusiv Center for Human-Compatible AI de la UC Berkeley și Leverhulme Centre for the Future of Intelligence din cadrul Universității din Cambridge.

Alinierea nu este același lucru cu moderarea conținutului, deși termenul este folosit uneori în acest context. Moderarea conținutului se referă la ceea ce un model va spune sau nu va spune, filtrând insultele, conținutul grafic sau subiecte specifice interzise. Alinierea se referă la faptul dacă comportamentul efectiv al unui model se potrivește cu ceea ce trebuia să facă.

Alinierea este folosită uneori și ca sinonim pentru siguranța IA, dar nu este singurul factor de luat în considerare. Alte preocupări legate de siguranța IA includ:

Securitate (protejarea ponderilor modelului împotriva furtului)

Robustețe (un model care funcționează în mod fiabil în afara condițiilor exacte în care a fost antrenat)

Prevenirea utilizării abuzive (oprirea unui model capabil să fie folosit în scopuri nocive)

Alinierea se referă la comportamentul propriu al modelului. Siguranța IA este efortul mai amplu de a împiedica întregul sistem să provoace daune.

În cele din urmă, există o presupunere comună că un model mai capabil este în mod automat și unul mai bine aliniat. Dar capabilitatea și alinierea pot diverge, motiv exact pentru care există praguri precum nivelurile de capabilitate în cercetare și dezvoltare ML ale Google DeepMind și categoria de risc de cercetare automatizată a Anthropic. Ele sunt construite în mod specific în jurul îngrijorării că capacitatea ar putea depăși capacitatea domeniului de a verifica dacă un model face în continuare ceea ce trebuie.

Perplexity nu antrenează modele fundamentale de frontieră. Rulează modele în producție la scară largă prin produse bazate pe agenți, cum ar fi Computer, astfel încât activitatea sa atinge un aspect specific al alinierii: cum se comportă agenții odată ce acționează pe webul deschis.

Secure Intelligence Institute este centrul de cercetare al Perplexity pentru securitate, confidențialitate și încredere în IA de frontieră. A dezvoltat BrowseSafe, un model de detectare open-source construit pentru a identifica atacurile de injectare de prompturi ascunse în paginile web pe care le vizitează agenții de navigare IA.

Echipa a construit, de asemenea, BrowseSafe-Bench, un benchmark public cu mai mult de 14.700 de scenarii de injectare de prompturi, care acoperă diferite obiective de atac, amplasări în pagină și stiluri lingvistice.

Această muncă se încadrează mai aproape de latura aplicată a controlului IA decât de cercetare privind alinierea. Ea limitează ceea ce face un agent atunci când întâmpină un mediu adversarial, în loc să modeleze valorile subiacente ale unui model în timpul antrenamentului.

Pentru a afla mai multe, explorați Secure Intelligence Institute și cercetare BrowseSafe.

Ce înseamnă alinierea IA

Problema alinierii externe

Problema alinierii interne

Exemple de probleme de aliniere a IA

Cum reacționează principalele laboratoare de IA la provocările de aliniere a IA

OpenAI

Implementare iterativă

Măsuri de siguranță stratificate

Aliniere deliberativă

Responsabilitate partajată

Anthropic

Măsuri de siguranță legate de capabilități

O categorie definită de risc de aliniere

Testarea alinierii interne

Raportare publică regulată

Google DeepMind

O structură ierarhică

O etapă de avertizare timpurie

Mitigarea riscurilor

Alinierea IA: dezbatere despre riscuri

Cine mai lucrează la alinierea IA

Guverne

Organizații non-profit

Universități

Alinierea IA: neînțelegeri comune

Cum abordează Perplexity alinierea IA