Kako detektori umjetne inteligencije rade i zašto samo rezultat ne može dokazati autorstvo

Zalijepite esej, članak ili e-poštu u detektor umjetne inteligencije, i nekoliko sekundi kasnije on može vratiti rezultat poput „85% AI“.

Čini se preciznim. Ali također može biti lako pogrešno pročitano.

Detektor nije promatrao kako je dokument napisan. Analizirao je gotov tekst u potrazi za uzorcima povezanim s pisanjem generiranim umjetnom inteligencijom. Ovisno o alatu, tih 85% može predstavljati procijenjenu vjerojatnost da je umjetna inteligencija proizvela dokument ili udio teksta koji je detektor označio.

Zbog toga je detektor umjetne inteligencije koristan kao signal, posebno kada nečemu treba bliži pregled. No ocjeni su i dalje potrebni kontekst i prateći dokazi prije nego što donese zaključak o tome tko je napisao tekst ili kako ga je stvorio. Razumijevanje načina na koji detektori proizvode svoje ocjene pomaže objasniti i ono što mogu uočiti i zašto ponekad griješe.

Što je detektor umjetne inteligencije?

Detektor pisanja pomoću umjetne inteligencije proučava završeni tekst i procjenjuje nalikuje li pisanju koje proizvodi jezični model. Korisnik obično zalijepi tekst ili prenese dokument. U roku od nekoliko sekundi alat može vratiti oznaku, postotak, istaknute odlomke ili sve troje.

• Nastavnici i akademske ustanove koriste ih pri pregledavanju studentskih radova.
• Izdavači i timbovi sadržaja mogu ih koristiti za provjeru predanog ili naručenog pisanja, dok neke tvrtke koje nude detektore plasiraju verzije za timove za zapošljavanje koji pregledavaju materijale za prijavu.
• Pisci ponekad provjeravaju i vlastiti rad kako bi shvatili kako bi ga nastavnik, urednik, klijent ili platforma mogli klasificirati.

Napomena: Alati za provjeru plagijata služe srodnoj, ali zasebnoj svrsi. Oni uspoređuju dokument s objavljenim materijalom i drugim izvorima kako bi pronašli podudaran jezik. Detektori umjetne inteligencije procjenjuju uzorke u predanom tekstu. Stoga potpuno izvorni odlomak može dobiti oznaku umjetne inteligencije, dok kopirani tekst koji je napisao čovjek možda neće sadržavati snažan signal generiranja putem umjetne inteligencije.

Kako detektori umjetne inteligencije analiziraju tekst

Mnogi detektori umjetne inteligencije oslanjaju se na klasifikator, model strojnog učenja obučen na primjerima ljudskog pisanja i pisanja generiranog pomoću umjetne inteligencije. Dok ih uspoređuje, uči koji se uzorci obično pojavljuju u svakom od njih, uključujući uzorke u izboru riječi i strukturi rečenice. Zatim traži te uzorke u novom tekstu i daje predviđanje.

Ono što detektor uči ovisi o tome što vidi tijekom treniranja. Alat treniran na ograničenom rasponu pisanja može imati poteškoća s novom temom, nepoznatim stilom ili izlazom iz modela umjetne inteligencije s kojim se prije nije susreo. Istraživanja različitih vrsta teksta i modela umjetne inteligencije otkrila su da učinkovitost detekcije može pasti u tim uvjetima.

Neke metode imaju drugačiji pristup. Umjesto treniranja zasebnog klasifikatora, koriste vlastite procjene vjerojatnosti jezičnog modela kako bi procijenile kolika je vjerojatnost da će proizvesti odlomak.

• DetectGPT, na primjer, uspoređuje izvorni tekst s blago izmijenjenim verzijama kako bi potražio uzorke povezane s generiranjem putem umjetne inteligencije. Njegovo istraživanje to opisuje kao "zero-shot" metodu jer ne zahtijeva zasebno trenirani detektor. Rezultat može uključivati ukupni rezultat, istaknute rečenice ili oboje.
• GPTZero navodi da njegovi istaknuti dijelovi pokazuju koje rečenice imaju najveći utjecaj na njegovu ukupnu predviđenu vrijednost. Budući da također procjenjuje širi dokument, odlomak skeniran sam za sebe možda neće dobiti isti rezultat kada se pojavi kao dio dužem teksta.

Svaki rezultat odražava i tekst i sustav koji ga procjenjuje, zbog čega različiti detektori mogu donijeti različite zaključke o istom odlomku.

Povećaj

Što perplexity i burstiness mjere

Perplexity i burstiness često se spominju u objašnjenjima detekcije umjetne inteligencije. Oni mogu otkriti korisne uzorke u tekstu, ali nijedan ne upućuje na jedan jedinstveni način pisanja tipičan za umjetnu inteligenciju.

Jedan potencijalno zbunjujući detalj: perplexity ovdje ima dvostruku ulogu. U malim slovima to je statistička mjera. S velikim slovom P, to smo mi.

Perplexity mjeri koliko je tekst predvidljiv

Jezični modeli generiraju tekst dodjeljivanjem vjerojatnosti mogućim sljedećim tokenima, što mogu biti cijele riječi ili dijelovi riječi. Perplexity mjeri koliko dobro model može predvidjeti tokene u odlomku.

• Niža složenost (perplexity): Tekst prati uzorke koje model smatra poznatima.
• Veća složenost (perplexity): Formulacija je manje očekivana.

Rezultat je specifičan za model koji provodi procjenu i način na koji se tekst obrađuje, tako da isti odlomak može dobiti različite rezultate za perplexity u različitim postavkama.

Uzmite rečenicu: „Molim vas javite mi ako imate pitanja.“ Jezični se model vjerojatno bezbroj puta susreo sa sličnom formulacijom, što svaku riječ čini relativno lako predvidljivom. To nam govori nešto o prepoznatljivosti rečenice. Ne govori ništa konačno o tome tko ju je napisao.

Burstiness mjeri koliko ti uzorci variraju

Varijabilnost rečenica (engl. burstiness) koristi se slobodnije u raspravama o detekciji umjetne inteligencije. Općenito opisuje koliko se pisanje mijenja kroz odlomak. To može uključivati varijacije u duljini i strukturi rečenica ili pomake između vrlo predvidljivog i iznenađujućeg jezika.

• Niža varijabilnost rečenica: Rečenice prate dosljedniju duljinu, strukturu ili ritam.
• Veći burstiness: Tekst se kreće između kraćih izjava, duljih objašnjenja i manje očekivanog izražavanja.

Neki tekstovi generirani pomoću umjetne inteligencije dosljedni su i predvidljivi, zbog čega se burstiness počeo povezivati s detekcijom. Ljudsko pisanje može imati iste kvalitete, posebno u poslovnim, akademskim i tehničkim kontekstima. Modeli umjetne inteligencije također mogu proizvesti raznolikiji jezik kada im se to zada ili kada se uredi.

GPTZero navodi da su perplexity i burstiness bile dvije od nekoliko značajki koje je koristila starija verzija njegovog detektora.

Što ove mjere pokazuju: Perplexity i burstiness opisuju uzorke u odlomku. Ti uzorci mogu pomoći objasniti zašto je tekst označen, ali ne mogu utvrditi tko ga je napisao.

Što znači rezultat detektora umjetne inteligencije

Rezultat "80% AI" izgleda jednostavno. Njegovo značenje ovisi o detektoru.

GPTZero opisuje postotak kao procijenjenu vjerojatnost svog modela da je umjetna inteligencija ili čovjek napisao dokument. Turnitin koristi postotak kako bi pokazao koliko kvalificirajuće proze njegov model označava kao potencijalno generirano pomoću umjetne inteligencije ili modificirano određenim alatima umjetne inteligencije.

Ista oznaka „80% AI“ stoga može značiti:

• Detektor procjenjuje 80% vjerojatnosti da je umjetna inteligencija generirala dokument.
• Detektor je označio 80% proznog teksta koji je procijenio.

To su različiti nalazi. Jedan daje predviđanje o dokumentu u cjelini. Drugi identificira koliki se dio teksta podudara s kriterijima detektora.

Rezultati vjerojatnosti trebaju još jednu provjeru: kalibraciju. Ako detektor za 100 dokumenata dodijeli vjerojatnost umjetne inteligencije od oko 80%, otprilike 80 njih trebalo bi doista biti generirano pomoću umjetne inteligencije da bi rezultat bio dobro kalibriran. Testiranje modela na primjerima s poznatim podrijetlom pokazuje koliko se blisko njegove vjerojatnosti podudaraju sa stvarnim ishodima.

Postotak može izgledati točno prije nego što mu značenje ili pouzdanost postanu jasni. Oznaka, metoda bodovanja i učinkovitost detektora određuju što broj može podržati.

Povećaj

Granična vrijednost određuje što će biti označeno

Detektor još uvijek mora odlučiti kada je rezultat dovoljno visok da se na njega djeluje. Ta se granica naziva graničnom vrijednošću ili pragom.

Pretpostavimo da alat ocjenjuje tekst od 0 do 100 i označava sve iznad 70. Pomicanje granice na 60 ostavilo bi svaku ocjenu nepromijenjenom, istodobno povećavajući broj označenih dokumenata.

• Niža granična vrijednost općenito detektira više pisanja generiranog pomoću umjetne inteligencije, ali također netočno označava više ljudskog pisanja.
• Viša granična vrijednost smanjuje netočne oznake, istovremeno dopuštajući da više pisanja generiranog pomoću umjetne inteligencije prođe nedetektirano. Ovaj kompromis općenito se primjenjuje na sustave klasifikacije.

Dvije moguće pogreške imaju različita imena.

• Lažno pozitivan rezultat javlja se kada je pisanje koje je napisao čovjek označeno kao generirano pomoću umjetne inteligencije.
• Lažno negativan rezultat javlja se kada pisanje generirano pomoću umjetne inteligencije ostane nedetektirano.

Mjesto na kojem detektor povlači crtu odražava koju pogrešku želi izbjeći. Taj izbor ima veću težinu kada oznaka može utjecati na ocjenu, posao ili nečiju vjerodostojnost.

Kako stopa pogreške od 2% može proizvesti gotovo 30% netočnih oznaka

Utjecaj stope lažno pozitivnih rezultata od 2% ovisi o tome koliko ljudskog pisanja detektor pregledava.

Razmotrimo hipotetski skup od 1000 članaka:

• 50 ih je generirano pomoću umjetne inteligencije.
• 950 ih je napisao čovjek.
• Detektor hvata 90% članaka generiranih pomoću umjetne inteligencije.
• Netočno označava 2% članaka koje su napisali ljudi.

Evo što se događa:

Detektor označava 64 članka ukupno. Devetnaest ih je napisao čovjek, pa je gotovo 30% njegovih oznaka pogrešno.

Brojke od 2% i 30% mjere različite stvari. Detektor netočno označava 2% svih članaka koje su napisali ljudi. Te pogreške zatim čine gotovo 30% svega što označi.

Brojke se zbrajaju na ovaj način jer je detektor pregledao znatno više članaka koje su napisali ljudi nego onih generiranih pomoću umjetne inteligencije. Čak i mala stopa pogrešaka može proizvesti značajan broj netočnih oznaka kada se primjenjuje na mnogo veću skupinu.

Pojam osnovna stopa opisuje koliko je često pisanje generirano pomoću umjetne inteligencije u materijalu koji se provjerava. Kako se taj udio mijenja, mijenja se i značenje pozitivnog rezultata. Ako stope istinski pozitivnih i lažno pozitivnih rezultata detektora ostanu iste, oznaka će općenito biti pouzdanija kada je pisanje generirano pomoću umjetne inteligencije uobičajeno u zbirci, a manje pouzdana kada je rijetko.

Ovi su brojevi hipotetski i ne opisuju određen detektor. U stvarnoj provjeri udio pisanja generiranog pomoću umjetne inteligencije obično je nepoznat. Ta je neizvjesnost još jedan razlog da se oznaka tretira kao razlog za pomnije pretraživanje, a ne kao dokaz o tome kako je dokument napisan.

Točnost ovisi o tome na čemu je detektor testiran

Stopa točnosti opisuje učinkovitost pod određenim skupom uvjeta. Prije primjene te stope na drugi tekst, provjerite:

• Verzija detektora
• Duljina, jezik, tema i format teksta
• Model umjetne inteligencije i postavke korištene za generiranje testnog materijala
• Je li tekst uređen ili namjerno modificiran
• Pisci zastupljeni u uzorcima koje su napisali ljudi

Započnite s unosima koje alat podržava

Turnitin, na primjer, zahtijeva najmanje 300 riječi duže proze. Navodi da njegov model pouzdano ne detektira poeziju, skripte, kod ili druge neprozne formate generirane pomoću umjetne inteligencije. Snažna učinkovitost na esejima stoga govori malo o tome kako će isti detektor obraditi pjesmu ili kratku e-poštu.

Usporedite test sa stvarnim pisanjem

Godine 2024. istraživači su testirali 12 detektora koristeći RAID, referentnu vrijednost koja sadrži više od 6 milijuna odlomaka generiranih pomoću umjetne inteligencije u 11 modela i osam područja. Učinkovitost je pala kada su detektori naišli na nepoznate modele, različite postavke generiranja ili namjerno modificirani tekst.

Izazov iz 2025. koji je koristio RAID dao je bolje rezultate u poznatijim uvjetima. Nekoliko sudionika otkrilo je preko 99% tekstova generiranih strojno uz održavanje stope lažno pozitivnih rezultata od 5%. Područja primjene i modeli umjetne inteligencije korišteni u testu također su bili zastupljeni u podacima za treniranje.

Zajedno, rezultati pokazuju da detektori mogu dobro funkcionirati na raznolikom materijalu za čije su prepoznavanje obučeni, dok nepoznati materijal ostaje teži za procjenu.

Pogledajte tko je bio zastupljen

U studiji iz 2023., sedam detektora netočno je klasificiralo prosječno 61,3% od 91 eseja s testa TOEFL koje su napisali izvorni govornici engleskog jezika kao generirane umjetnom inteligencijom. Taj rezultat odnosi se na alate i uzorke testirane u to vrijeme. Također pokazuje zašto stopa ukupne točnosti možda ne opisuje jednako dobro učinak za svaku skupinu pisaca.

Kako čitati tvrdnju o točnosti: Što je predani tekst bliži materijalu korištenom u testiranju, to prijavljeni rezultat postaje relevantniji.

Konačni dokument prikazuje samo dio načina na koji je napisan

Umjetna inteligencija može imati mnoge uloge u procesu pisanja. Netko je može upotrijebiti za istraživanje teme, organiziranje bilješki, prevođenje odlomka, dotjerivanje rečenice ili izradu prvog nacrta.

Ti tijek rada mogu dovesti do vrlo različitih dokumenata. Jedan pisac može koristiti umjetnu inteligenciju za istraživanje i sastaviti svaku rečenicu samostalno. Drugi može u znatnoj mjeri prepisati nacrt generiran umjetnom inteligencijom. Treći može dodati jedan generirani odlomak inače ljudski pisanom članku.

Detektor teksta vidi riječi koje su predane. Nema pristup uputama (promptovima), uređivanjima ili odlukama koje su im prethodile. Njegov rezultat ne može rekonstruirati cijeli proces pisanja niti utvrditi je li autor slijedio određena pravila. Na primjer,

• Škola može dopustiti prikupljanje ideja uz zahtjev da učenici sami napišu zadatak.
• Izdavač može dopustiti uređivanje uz pomoć umjetne inteligencije ako je to otkriveno.
• Radnom mjestu može biti važnija činjenična točnost, povjerljivost ili navođenje izvora nego je li umjetna inteligencija pridonijela formulaciji.

Primjena tih pravila zahtijeva dokaze o procesu kao i o gotovom tekstu. Povijest nacrta, bilješke istraživanja i piščevo objašnjenje mogu pružiti kontekst koji detektor ne može. Turnitin izričito savjetuje edukatorima da ne koriste njegovu ocjenu pisanja pomoću umjetne inteligencije kao jedinu osnovu za nepovoljne mjere protiv učenika.

Detektor može prepoznati jezik koji sliči uzorcima koje povezuje s umjetnom inteligencijom. Odlučivanje o tome što se dogodilo i je li to bilo dopušteno zahtijeva širu provjeru.

Vodeni žigovi dodaju drugačiju vrstu signala

Neki sustavi umjetne inteligencije mogu dodati prepoznatljiv uzorak dok generiraju tekst. Taj se proces naziva označavanjem vodenim žigom.

Kako funkcionira vodeni žig teksta

Google DeepMindov SynthID pruža jedan primjer:

1. Sustav prilagođava vjerojatnosti tokena. Blago mijenja vjerojatnost da će model odabrati određene riječi ili dijelove riječi.
2. Ti izbori stvaraju uzorak. Vodeni žig je dizajniran tako da ostane nevidljiv čitatelju.
3. Kompatibilan detektor provjerava postojanje vodenog žiga. Detektor analizira tekst u potrazi za očekivanim statističkim signalom.

Budući da se uzorak dodaje tijekom generiranja, može pružiti informacije povezane sa sustavom koji je proizveo tekst.

Što ograničava detekciju vodenog žiga

• Generator ga mora dodati. Sustav umjetne inteligencije mora podržavati i primjenjivati vodeni žig. Odsutnost vodenog žiga ne dokazuje da je osoba napisala tekst.
• Mora ostati dovoljno uzorka. Google izvješćuje da SynthID može izdržati određeno obrezivanje, izmjene riječi i blago parafraziranje. Opsežno prepisivanje ili prevođenje može smanjiti pouzdanost.

Vodeni žigovi mogu ojačati dokaze kada sustav kompatibilan s njima generira tekst i kada ostane dovoljno signala. Oni ne mogu identificirati svaki tekst generiran pomoću umjetne inteligencije.

Ostali zapisi mogu upotpuniti širu sliku

• Povijest nacrta prikazuje kako se dokument mijenjao tijekom vremena.
• Bilješke o istraživanju povezuju njegove tvrdnje s izvorima.
• Otkrivene interakcije s umjetnom inteligencijom pokazuju gdje je alat pridonio.

Ovi zapisi pružaju izravniji kontekst o procesu pisanja nego sam rezultat temeljen na uzorcima.

Smatrajte oznaku početkom provjere

Rezultat detektora postaje korisniji kada ima definiranu ulogu. Prije postupanja po oznaci, recenzenti trebaju razumjeti što je alat mjerio, potvrditi da tekst spada u njegov opseg i proučiti druge dostupne dokaze.

Pet provjera može pomoći:

1. Pročitajte definiciju ocjene. Odredite predstavlja li postotak vjerojatnost na razini dokumenta ili udio označenog teksta.
2. Provjerite opseg alata. Potvrdite da se jezik, duljina i format dokumenta podudaraju s onim što detektor podržava.
3. Pregledajte dokaze. Proučite istaknute odlomke zajedno s nacrtima, bilješkama o izvorima i autorovim objašnjenjem.
4. Primijenite relevantno pravilo. Utvrdite koje su upotrebe umjetne inteligencije dopuštene i koji bi dokazi pokazali kršenje.
5. Procijenite sami rad. Pregledajte činjeničnu točnost, navođenje izvora, izvornost i kvalitetu na temelju njih samih.

Ulozi bi trebali oblikovati dubinu pregleda. Urednik može koristiti oznaku kako bi odlučio kojem članku treba ponovni pregled. Odluka koja utječe na ocjenu, posao ili ugovor o izdavaštvu zahtijeva čvršće dokaze i priliku da autor objasni svoj proces.

Detektor umjetne inteligencije sažima složenu prosudbu u rezultat. Tumačenje tog rezultata zahtijeva informacije koje broj ne sadrži: što je alat mjerio, koji je prag koristio, kako se pokazao na usporedivom pisanju i koliko je tekst generiran pomoću umjetne inteligencije uobičajen u materijalu koji se pregledava. Rezultat može usmjeriti pozornost. Rezultat detektora može pridonijeti toj provjeri, ali svaki zaključak o autorstvu također zahtijeva dokaze o procesu pisanja.

Često postavljana pitanja

Mogu li detektori umjetne inteligencije pogriješiti?

Da. Lažno pozitivan rezultat događa se kada detektor označi ljudsko pisanje kao generirano umjetnom inteligencijom. Lažno negativan rezultat događa se kada pisanje generirano umjetnom inteligencijom ostane neotkriveno. Učestalost svake pogreške ovisi o detektoru, njegovom pragu i tome koliko posadani tekst sliči materijalu korištenom za njegovo testiranje.

Koliko su točni detektori umjetne inteligencije?

Ne postoji jedinstvena stopa točnosti za detektore umjetne inteligencije. Učinkovitost može varirati ovisno o jeziku, duljini, temi, stilu pisanja, modelu generiranja i količini uređivanja. Tvrdnja o točnosti najkorisnija je kada uvjeti testiranja nalikuju pisanju koje se pregledava, a rezultat izvještava o lažno pozitivnim rezultatima kao i o uspješnim detekcijama.

Što znači postotak detekcije umjetne inteligencije?

Definicija ovisi o alatu. Može predstavljati procijenjenu vjerojatnost da je dokument generiran pomoću umjetne inteligencije, postotak označenog kvalificirajućeg teksta ili oblik pouzdanosti u rezultat. Dokumentacija detektora trebala bi objasniti koje mjerenje izvještava.

Može li detektor umjetne inteligencije dokazati da je netko koristio umjetnu inteligenciju?

Sama ocjena detektora ne može dokazati kako je dokument stvoren. Ona analizira posadani tekst bez uvidjanja u upute, nacrte, uređivanja ili istraživanje iza njega. Pouzdan pregled razmatra ocjenu uz dokaze o procesu i pravila koja upravljaju prihvatljivom uporabom umjetne inteligencije.

Zašto se ljudsko pisanje ponekad označava kao umjetna inteligencija?

Ljudsko pisanje i pisanje generirano umjetnom inteligencijom mogu dijeliti iste statističke uzorke. Formulačni jezik, predvidljivo fraziranje, ograničen vokabular ili stil koji se razlikuje od podataka za treniranje detektora mogu pridonijeti lažno pozitivnom rezultatu. Istraživanja su također otkrila da su neki detektori testirani 2023. godine nerazmjerno označavali eseje koje su napisali izvorni govornici engleskog jezika koji nisu izvorni.