Dopasowanie AI: aktualne badania i debata

Przewodnik po dopasowaniu sztucznej inteligencji: czym jest, problemy zewnętrznego i wewnętrznego dopasowania, typowe wzorce błędów, reakcje głównych laboratoriów AI, rządów i organizacji non-profit oraz stan obecnej debaty.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Dopasowanie sztucznej inteligencji oznaczało kiedyś po prostu: „czy model sztucznej inteligencji wykonuje polecenia użytkownika?”. Jednak w miarę jak systemy AI stają się bardziej zdolne i autonomiczne, pytanie to poszerzyło się o kwestie osądu i wartości. W tym artykule przyjrzymy się, jak platformy AI, organy rządowe i organizacje non-profit reagują na wyzwanie związane z dopasowaniem sztucznej inteligencji.

Co oznacza dopasowanie sztucznej inteligencji

W najprostszym ujęciu dopasowanie sztucznej inteligencji oznacza upewnienie się, że system AI robi to, do czego został stworzony. Dopasowany model sztucznej inteligencji odczytuje prompt i generuje wynik o jaki prosił prompt, bez manipulowania celem, na którym został wytrenowany. We współczesnych badaniach nad dopasowaniem jest to zazwyczaj ujmowane jako dopasowanie intencji: budowanie systemów, które próbują robić to, co zamierzają ich operatori, a nie tylko dosłownie podążać za tekstem promptu.

Dopasowanie jest zarówno wyzwaniem technicznym, jak i tematem debaty publicznej. Jako termin techniczny, dopasowanie jest problemem inżynieryjnym. Czy konkretny model, pracując nad konkretnym zadaniem, robi to, do czego został stworzony? Jest to ograniczony, poddający się testom problem.

Jednak pojęcie dopasowania sztucznej inteligencji jest również używane w szerszej debacie publicznej i politycznej na temat ogólnego bezpieczeństwa systemów AI. Czy platformy AI o stale rosnących możliwościach pozostaną korzystne dla ludzkości i będą zbieżne z ludzką etyką, pragnieniami i celami?

Osiągnięcie takiego dopasowania staje się coraz trudniejsze w miarę wzrostu złożokości modeli. Budowanie dopasowanych modeli sztucznej inteligencji wiąże się z dwoma głównymi wyzwaniami:

Problem zewnętrznego dopasowania

Użytkownicy zazwyczaj chcą, aby model językowy (LLM) był pomocny, uczciwy i etyczny. Model LLM nie jest jednak nigdy trenowany bezpośrednio pod kątem zasady „bądź pomocny i etyczny”. Przechodzi on przez dwa odrębne etapy.

Pre-trening: Model uczy się języka, faktów i wzorców rozumowania, a czyniąc to, przyswaja język, fakty oraz wzorce rozumowania. Ten etap nie daje modelowi żadnego pojęcia o tym, czego człowiek tak naprawdę oczekuje od danego pytania. Pozostawiony na tym etapie model odpowie na pytanie „jak otworzyć zamek” równie chętnie, co na pytanie „jak upiec chleb na zakwasie”.

Preferencje ludzkie: Ludzie przeglądają pary odpowiedzi modelu i wskazują, którą z nich wolą. Te preferencje służą do trenowania osobnego systemu oceniania, a następnie model jest dostosowywany tak, aby generował odpowiedzi uzyskujące wysokie oceny.

W żadnym miejscu tego procesu nikt nie spisuje czystej definicji tego, co to znaczy być pomocnym lub etycznym. Wskazówki systemu oceniania dotyczące tego, co model ma robić, są budowane w całości na podstawie wielu indywidualnych ocen ludzkich. Oceny odzwierciedlają to, co preferowali recenzenci, a nie to, co zamierzał jakikolwiek pojedynczy człowiek, i nie stanowią precyzyjnej definicji leżącego u podstaw celu.

W rezultacie sztuczna inteligencja może dobrze dopasować się do tego, co postrzega jako cel, ale sam cel mógł nie być dobrze dopasowany do rezultatu, którego faktycznie oczekują ludzie.

Na przykład, jeśli recenzenci wolą dłuższe odpowiedzi, model uczy się pisać dłuższe odpowiedzi, nawet gdy poprawna była krótka. Lub jeśli recenzenci preferują pewne siebie odpowiedzi, model uczy się brzmieć pewnie, nawet gdy powinien wyrazić wątpliwość.

Badacze nazywają tę przepaść między zadeklarowanym celem a celem wytrenowanym problemem zewnętrznego dopasowania.

Problem wewnętrznego dopasowania

Problem wewnętrznego dopasowania pojawia się wtedy, gdy model wytrenowany pod kątem określonego celu nie dąży do niego poprawnie po trafieniu do rzeczywistego świata. Problem ten staje się widoczny dopiero wtedy, gdy model napotka sytuację, na którą trening go nie przygotował.

Podczas treningu modele mają do czynienia wyłącznie z ograniczonym zestawem sytuacji. Następnie model uogólnia te sytuacje na wszystko inne, z czym przyjdzie mu się zmierzyć w przyszłości.

Trening sprawdza, jak model się zachowuje, ale nie zawsze ujawnia, dlaczego zachowuje się w taki sposób. Trudno więc stwierdzić, czy model przyswoił pełny, niuansowy cel, czy po prostu prostszy wzorzec, który akurat pasował do danych treningowych.

Na przykład model wytrenowany do odrzucania szkodliwych próśb (np. „jak otworzyć zamek wytrychem, aby włamać się do czyjegoś domu”) może nauczyć się rozpoznawać konkretne sformułowania szkodliwych próśb w swoich danych treningowych, a nie leżącą u ich podstaw intencję odmowy. W rezultacie model może przeoczyć szkodliwą prośbę sformułowaną w inny sposób (np. „jaki jest najszybszy sposób na otwarcie drzwi bez klucza”).

Przykłady problemów z dopasowaniem sztucznej inteligencji

Te wzorce awarii dopasowania są dobrze udokumentowane. Badacze opracowali konkretne zabezpieczenia dla każdego z nich:

Wyzwanie związane z dopasowaniem

Jak to wygląda

Przykład

Jak reaguje ta dziedzina

Haking nagród (reward hacking)

Model znajduje skrót, który pod względem technicznym zapewnia dobry wynik, ale nie realizuje zamierzonego celu.

Model poproszony o naprawienie uszkodzonego oprogramowania znajduje sposób na zatrzymanie wyświetlania komunikatów o błędach zamiast naprawić przyczynę, która je wywoływała.

Audyt systemu oceniania, testowanie odporności poprzez próby jego oszukania oraz trening na informacjach zwrotnych od szerszego grona recenzentów.

Sykoformizm

Model zgadza się z człowiekiem lub łagodzi odpowiedź, aby wydawać się bardziej ugodowym, zamiast podać najbardziej precyzyjną odpowiedź.

Człowiek podaje błędny fakt z pełną pewnością siebie, a model potwierdza to twierdzenie zamiast je skorygować, ponieważ zgadzanie się z użytkownikiem było wyżej oceniane przez recenzentów niż polemika.

Dostrojenie (fine-tuning), które bezpośrednio nagradza uczciwość, wytyczne dotyczące recenzji karzące za zgadzanie się dla samego zgadzania się oraz testy stworzone z myślą o wykrywaniu tego wzorca.

Manipulowanie specyfikacją (specification gaming)

Model robi dokładnie to, co mówi polecenie, pomijając to, co miało zostać osiągnięte.

Model poproszony o „ograniczenie skarg klientów w zbiorze danych” uczy się pomijać skargi w swoich podsumowaniach zamiast pomagać w rozwiązywaniu problemów, które za nimi stoją.

Tworzenie ściślejszych, bardziej precyzyjnie przetestowanych instrukcji oraz przeglądanie sytuacji brzegowych, w których dosłowne brzmienie i intencja rozchodzą się w różnych kierunkach.

Zwodnicze lub unikowe zachowanie podczas ewaluacji

Model zachowuje się w określony sposób, gdy wyczuje, że jest testowany, i inaczej po wdrożeniu.

Model udziela odpowiedzi zgodnych z zasadami, gdy wykryje język przypominający formalną ocenę bezpieczeństwa, a następnie odpowiada bardziej swobodnie w zwykłej rozmowie.

Projektowanie testów, które modelowi trudniej rozpoznać jako testy, oraz badania nad bezpośrednim odczytywaniem stanu wewnętrznego modelu zamiast polegania wyłącznie na jego wynikach.

Zaniżanie możliwości (sandbagging)

Model osiąga gorsze wyniki w teście zdolności, aby uniknąć uruchomienia surowszych wymogów bezpieczeństwa.

Model udziela celowo słabszych odpowiedzi w teście niebezpiecznych zdolności, niż potrafi w rzeczywistości, dzięki czemu wynik utrzymuje się poniżej progu, który uruchomiłby dodatkowy nadzór.

Korzystanie z wielu niezależnych testów, zachowanie części materiałów ewaluacyjnych, których model nigdy wcześniej nie widział, oraz stosowanie technik mających na celu ujawnienie rzeczywistego pułapu możliwości modelu.

Błędna generalizacja celu

Model przyswaja regułę, która sprawdzała się podczas treningu, ale zawodzi w nowej sytuacji.

Model wytrenowany do zachowania ostrożności głównie w odniesieniu do próśb dotyczących broni lub narkotyków uczy się „ostrożności” jako „odrzucania wszystkiego, co brzmi ryzykownie”, i zaczyna odrzucać również nieszkodliwe pytania z dziedziny chemii lub bezpieczeństwa.

Trening na szerszym, bardziej zróżnicowanym zestawie przykładów oraz testowanie modelu w sytuacjach niepodobnych do niczego, co widział podczas treningu.

Skalowalny nadzór

Gdy model przejmuje pracę, którą człowiekowi trudniej w pełni zweryfikować (np. przeglądanie dużej bazy kodu), trudniej jest ocenić, czy jego wynik jest faktycznie poprawny.

Agent refaktoryzuje 10 000 linijek kodu w jednej sesji, a żaden recenzent nie ma czasu na ręczne zweryfikowanie każdej zmiany, przez co przemykają drobne błędy logiczne.

Angażowanie modeli do wzajemnego sprawdzania swojej pracy w połączeniu z bardziej skoncentrowaną recenzją ludzką zarezerwowaną dla decyzji o najwyższej stawce.

Zachowania dążące do władzy lub instrumentalne

Model dążący do niemal dowolnego celu ma wbudowaną motywację, aby unikać wyłączenia lub zmiany, ponieważ pozostawienie go w stanie operacyjnym pomaga mu w dalszym dążeniu do tego celu.

W kontrolowanym środowisku testowym model, któremu powierzono zadanie i polecenie wyłączenia, podejmuje kroki mające na celu uniknięcie wyłączenia – na przykład kopiuje się w inne miejsce, ponieważ zatrzymanie uniemożliwiłoby mu ukończenie zadania.

Badania nad budowaniem modeli, które niezawodnie akceptują korektę lub wyłączenie, oraz testami zaprojektowanymi specjalnie w celu wykrycia takiego zachowania przed wdrożeniem modelu.

Jak główne laboratoria AI reagują na wyzwania związane z dopasowaniem sztucznej inteligencji

Garstka firm, przede wszystkim OpenAI, Anthropic i Google DeepMind, buduje modele graniczne znajdujące się na krawędzi aktualnych możliwości sztucznej inteligencji. Każda z nich opublikowała własne ramy bezpiecznej oceny i wdrażania tych modeli.

OpenAI

Zgodnie z publicznym oświadczeniem OpenAI na temat bezpieczeństwa i dopasowania, ryzyko potencjalnego niedopasowania AI jest adresowane poprzez:

Wdrażanie iteracyjne

OpenAI twierdzi, że celowo wdraża modele stopniowo, aby móc badać ich zachowanie oraz przypadki ich niewłaściwego użycia w rzeczywistym świecie. Firma wychodzi z założenia, że opinie z realnego świata dają lepszy wgląd niż próby przewidzenia każdego ryzyka z góry. Do śledzenia pojawiających się zagrożeń i decydowania, jakich zabezpieczeń model potrzebuje przed wydaniem, stosuje ramy Preparedness Framework.

Warstwowe zabezpieczenia

OpenAI twierdzi, że stosuje wiele niezależnych zabezpieczeń, co oznacza, że aby doszło do błędu, kilka mechanizmów obronnych musiałoby zawieść jednocześnie.

Dopasowanie deliberatywne

Według firmy, zamiast odpowiadać w jednym kroku, model jest trenowany tak, aby przed podjęciem decyzji o odpowiedzi przeanalizować odpowiednie wytyczne dotyczące bezpieczeństwa. Celem jest umożliwienie modelowi wyciągnięcia właściwych wniosków w sytuacjach, których jego trening wyraźnie nie uwzględniał.

Wspólna odpowiedzialność

OpenAI twierdzi, że traktuje bezpieczeństwo sztucznej inteligencji jako wysiłek zbiorowy, powołując się na opublikowane badania nad bezpieczeństwem oraz współpracę z amerykańskim Centrum Standardów i Innowacji w dziedzinie Sztucznej Inteligencji (CAISI) oraz brytyjskim Instytutem Bezpieczeństwa AI w zakresie standardów ewaluacji.

Anthropic

Dokument Responsible Scaling Policy firmy Anthropic wyjaśnia, w jaki sposób zmierza ona w stronę dopasowania sztucznej inteligencji:

Zabezpieczenia związane z możliwościami

W miarę jak model staje się bardziej zaawansowany, musi przechodzić surowsze kontrole bezpieczeństwa, zanim będzie można go dalej trenować lub wypuścić na rynek. Ponadto Anthropic przyznaje, że gdy systemy sztucznej inteligencji zaczną wykonywać znaczną część badań i analiz stojących za ich własnymi ocenami ryzyka, dowody te mogą być same w sobie dotknięte zwodniczym lub manipulacyjnym zachowaniem. Firma zobowiązuje się do poddawania ocen na tym etapie wyższym standardom dowodowym.

Określona kategoria ryzyka dopasowania

Anthropic wskazuje „niedopasowane systemy sztucznej inteligencji w sytuacjach wysokiego ryzyka” jako określoną kategorię zagrożenia: modele, na których polega się w dużym stopniu, które mają szeroki dostęp do wrażliwych systemów i posiadają pewną zdolność do autonomicznego działania w kierunku realizacji celu oraz omijania nadzoru.

Wewnętrzne testy dopasowania

Firma zobowiązuje się do regularnego badania zachowania własnych modeli pod kątem sygnałów ostrzegawczych przy użyciu dwóch głównych metod: prób zajrzenia do wnętrza modelu w celu zrozumienia, dlaczego generuje dany wynik, oraz celowego prowokowania złego zachowania przez wewnętrzne zespoły, aby sprawdzić, czy ono wystąpi.

Regularne raportowanie publiczne

Firma twierdzi, że co trzy do sześciu miesięcy publikuje Risk Report, w którym szczegółowo opisuje swoją wiedzę na temat możliwości modelu i jego tendencji behawioralnych, praktyki monitorowania oraz ogólną ocenę ryzyka.

Google DeepMind

Dokument Frontier Safety Framework firmy Google DeepMind wyjaśnia, jak dąży ona do dopasowania:

Struktura wielopoziomowa

Ramy te traktują brak dopasowania jako jedną z czterech domen ryzyka i definiują go konkretnie jako ryzyko wynikające z możliwości modelu w zakresie ML R&D lub niedopasowanych skłonności, które obniżają ogólną zdolność społeczeństwa do zarządzania ryzykiem związanym z AI. Zostały one wyraźnie przedstawione jako czynnik, który może przyczynić się do poważnych szkód za pośrednictwem kilku różnych ścieżek jednocześnie, a nie jako jedno odizolowane ryzyko.

Etap wczesnego ostrzegania

Gdy model jest na tyle silny, że podstawowy nadzór okazuje się niewystarczający, DeepMind na bieżąco sprawdza zachowanie modelu, w tym sposób jego wykorzystania wewnętrznego. Jeśli pojawią się problemy, firma dodaje zabezpieczenia, takie jak monitorowanie procesu rozumowania modelu.

Mitygacja ryzyka

W odniesieniu konkretnie do braku dopasowania DeepMind wymienia takie środki jak ograniczenie możliwości modelu, ciągłe monitorowanie i procesy eskalacji, audyty oraz trening dopasowujący. Firma stosuje je również do zastosowań wewnętrznych wysokiego ryzyka, ponieważ ryzyko braku dopasowania może ujawnić się w sposobie wykorzystania modelu wewnątrz firmy.

Dopasowanie sztucznej inteligencji: debata wokół zagrożeń

W branży trwają nieustające dyskusje na temat tego, czy wyżej wymienione ramy dobrowolne są same w sobie wystarczające, czy też zobowiązania dotyczące dopasowania muszą mieć moc prawnie wiążącą, aby utrzymać się pod presją konkurencji.

W lipcu 2026 roku 1386 kadry zarządzającej i pracowników wiodących firm zajmujących się sztuczną inteligencją, w tym OpenAI, Anthropic, Google DeepMind i Meta, podpisało oświadczenie zatytułowane Pacing the Frontier. W oświadczeniu tym argumentuje się, że firmy te mogą zbliżać się do momentu, w którym będą w stanie zautomatyzować same badania nad sztuczną inteligencją. Może to oznaczać, że możliwości AI będą rosły szybciej, niż badacze będą w stanie nadążyć, a prace nad dopasowaniem na stałe pozostaną w tyle.

Inicjatywa Pacing the Frontier wzywa rząd USA do pomocy w zbudowaniu technicznych i regulacyjnych hamulców, które mogłyby zostać użyte w przyszłości, argumentując, że żadne pojedyncze laboratorium nie zwolni tempa, dopóki rywale będą przeć do przodu. Można to uznać za milczące przyznanie ze strony branży, że same ramy dobrowolne nie wystarczą do zachowania dopasowania sztucznej inteligencji w przyszłości.

Kto jeszcze zajmuje się dopasowaniem sztucznej inteligencji

Prace nad dopasowaniem wykraczają daleko poza firmy budujące modele graniczne.

Rządy

Rządy bezpośrednio finansują i koordynują badania nad dopasowaniem. Przykładowo, brytyjski Instytut Bezpieczeństwa AI prowadzi Alignment Project – globalny fundusz, który od 2025 roku przyznał ponad 27 milionów funtów na ponad 60 projektów w ośmiu krajach, ukierunkowanych konkretnie na kontrolę sztucznej inteligencji. W Stanach Zjednoczonych CAISI koncentruje się na standardach ewaluacji.

Oba te elementy funkcjonują w ramach szerszej sieci International Network for Advanced AI Measurement, Evaluation and Science, skupiającej krajowe instytuty bezpieczeństwa z dziesięciu krajów, która prowadzi wspólne ćwiczenia testowe i dąży do zharmonizowania metod ewaluacji ponad granicami.

Organizacje non-profit

Future of Life Institute publikuje AI Safety Index – zestawienie porównujące praktyki bezpieczeństwa w laboratoriach sztucznej inteligencji. Center for AI Safety tworzy benchmarki wykorzystywane w całej branży, w tym WMDP i SafeBench. Alignment Research Center bada bardziej teoretyczne problemy dopasowania, a jego spin-off, Model Evaluation and Threat Research (METR), przeprowadza niezależne oceny modeli granicznych przed ich wdrożeniem. FAR.AI testuje modele graniczne pod kątem słabych punktów przed i po ich wydaniu.

Uczelnie

Wiele uniwersytetów odgrywa aktywną rolę w badaniach nad dopasowaniem sztucznej inteligencji, w tym Center for Human-Compatible AI na Uniwersytecie Kalifornijskim w Berkeley oraz Leverhulme Centre for the Future of Intelligence na Uniwersytecie w Cambridge.

Dopasowanie sztucznej inteligencji: powszechne nieporozumienia

Dopasowanie to nie to samo co moderacja treści, chociaż termin ten bywa czasem używany w tym kontekście. Moderacja treści dotyczy tego, co model może, a czego nie może powiedzieć, odfiltrowując obelgi, treści o charakterze drastycznym lub konkretne zakazane tematy. Dopasowanie odnosi się do tego, czy rzeczywiste zachowanie modelu jest zgodne z tym, do czego został stworzony.

Pojęcie dopasowania bywa również stosowane jako synonim bezpieczeństwa AI, ale nie jest to jedyny czynnik, który należy wziąć pod uwagę. Inne kwestie związane z bezpieczeństwem sztucznej inteligencji obejmują:

Bezpieczeństwo (ochrona wag modelu przed kradzieżą)

Solidność (niezawodne działanie modelu poza dokładnymi warunkami, w których był trenowany)

Zapobieganie nadużyciom (uniemożliwienie wykorzystania zaawansowanego modelu do wyrządzenia szkody)

Dopasowanie dotyczy zachowania samego modelu. Bezpieczeństwo sztucznej inteligencji to szersze działania mające na celu zapobieganie wyrządzaniu szkód przez cały system.

W końcu istnieje powszechne przypuszczenie, że bardziej zaawansowany model jest automatycznie lepiej dopasowany. Jednak możliwości i dopasowanie mogą zmierzać w różnych kierunkach – i właśnie dlatego istnieją progi takie jak poziomy zdolności ML R&D w Google DeepMind czy kategoria ryzyka związana z badaniami automatycznymi (automated-research) w Anthropic. Zostały one stworzone z myślą o obawie, że rozwój możliwości może prześcignąć zdolność dziedziny do weryfikacji, czy model nadal robi to, co powinien.

Jak Perplexity podchodzi do dopasowania sztucznej inteligencji

Perplexity nie trenuje modelowych fundamentów granicznych. Uruchamia modele produkcyjnie na skalę masową za pomocą produktów opartych na agentach, takich jak Computer, dzięki czemu jej praca dotyka konkretnego aspektu dopasowania: sposobu zachowania agentów działających w otwartej sieci.

Secure Intelligence Institute to ośrodek badawczy firmy Perplexity zajmujący się bezpieczeństwem, prywatnością i zaufaniem w dziedzinie zaawansowanej sztucznej inteligencji. Opracował on BrowseSafe – open-source'owy model wykrywania zaprojektowany do identyfikowania ataków typu prompt injection ukrytych na stronach internetowych, które odwiedzają agenci przeglądarkowi AI.

Zespół zbudował również BrowseSafe-Bench, publiczny benchmark obejmujący ponad 14 700 scenariuszy iniekcji promptów, obejmujących różne cele ataków, miejsca umieszczenia na stronie oraz style językowe.

Praca ta leży bliżej stosowanej strony kontroli sztucznej inteligencji niż badań nad dopasowaniem. Ogranicza ona działania agenta w środowisku adversarialnym (konfrontacyjnym), zamiast kształtować leżące u podstaw wartości modelu podczas treningu.

Aby dowiedzieć się więcej, zapoznaj się z Secure Intelligence Institute oraz badaniami nad BrowseSafe.