Kako detektori veštačke inteligencije rade i zašto sam skor ne može da dokaže autorstvo

Nalepite esej, članak ili imejl u detektor veštačke inteligencije, i nekoliko sekundi kasnije on može da vrati rezultat poput „85% AI“.

Deluje precizno. Ali se takođe može lako pogrešno pročitati.

Detektor nije posmatrao kako je dokument napisan. On je analizirao gotov tekst u potrazi za obrascima povezanim sa pisanjem koje je generisala veštačka inteligencija. U zavisnosti od alata, tih 85% može da predstavlja procenjenu verovatnoću da je veštačka inteligencija proizvela dokument ili udeo teksta koji je detektor označio.

Zahvaljujući tome, detektor veštačke inteligencije je koristan kao signal, posebno kada nečemu treba detaljniji pregled. Ipak, skor i dalje zahteva kontekst i prateće dokaze pre nego što bilo ko donese zaključak o tome ko je napisao tekst ili kako ga je kreirao. Razumevanje načina na koji detektori proizvode svoje skorove pomaže da se objasni i šta oni mogu da uhvate i zašto ponekad greše.

Šta je detektor veštačke inteligencije?

Detektor pisanja pomoću veštačke inteligencije posmatra završen deo teksta i procenjuje da li podseća na pisanje koje je proizveo jezički model. Korisnik obično nalepi tekst ili otpremi dokument. U roku od nekoliko sekundi, alat može da vrati oznaku, procenat, istaknute odlomke ili sve troje.

• Nastavnici i akademske ustanove ih koriste kada pregledaju radove učenika.
• Izdavači i timovi za sadržaj mogu da ih koriste za proveru poslatog ili naručenog pisanja, dok neke kompanije koje se bave detektorima plasiraju verzije za timove za zapošljavanje koji pregledaju materijale za prijavu.
• Pisci takođe ponekad proveravaju sopstveni rad kako bi razumeli kako bi ga nastavnik, urednik, klijent ili platforma mogli klasifikovati.

Napomena: Proveravači plagijata služe srodnoj, ali zasebnoj svrsi. Oni upoređuju dokument sa objavljenim materijalom i drugim izvorima kako bi pronašli podudarni jezik. Detektori veštačke inteligencije procenjuju obrasce u poslatom pisanju. Potpuno originalan odlomak može stoga da primi oznaku veštačke inteligencije, dok kopirano ljudsko pisanje možda ne sadrži jak signal generisanja pomoću veštačke inteligencije.

Kako detektori veštačke inteligencije analiziraju tekst

Mnogi detektori veštačke inteligencije se oslanjaju na klasifikator, model mašinskog učenja obučen na primerima ljudskog pisanja i pisanja generisanog pomoću veštačke inteligencije. Dok upoređuje to dvoje, on uči koji se obrasci obično pojavljuju u svakom, uključujući obrasce u izboru reči i strukturi rečenica. On zatim traži te obrasce u novom tekstu i proizvodi predviđanje.

Ono što detektor nauči zavisi od toga šta vidi tokom obuke. Alat obučen na ograničenom opsegu pisanja može da ima poteškoće sa novom temom, nepoznatim stilom ili izlaznim podacima iz modela veštačke inteligencije sa kojim se ranije nije susretao. Istraživanje širom različitih vrsta tekstova i modela veštačke inteligencije otkrilo je da performanse detekcije mogu da opadnu u tim uslovima.

Neke metode imaju drugačiji pristup. Umesto obučavanja zasebnog klasifikatora, oni koriste sopstvene procene verovatnoće jezičkog modela da procene koliko bi verovatno proizveo odlomak.

• DetectGPT, na primer, upoređuje originalni tekst sa blago izmenjenim verzijama kako bi potražio obrasce povezane sa generisanjem pomoću veštačke inteligencije. Njegovo istraživanje ovo opisuje kao „zero-shot“ metodu jer ne zahteva zasebno obučeni detektor. Rezultat može da obuhvati ukupan skor, istaknute rečenice ili jedno i drugo.
• GPTZero kaže da njegovi naglašeni delovi pokazuju koje rečenice imaju najviše uticaja na njegovu ukupnu predvidljivost. Pošto on takođe procenjuje širi dokument, odlomak skeniran sam za sebe možda neće dobiti isti rezultat kada se pojavi kao deo duže celine.

Svaki rezultat odražava i tekst i sistem koji ga procenjuje, i zato različiti detektori mogu doneti različite zaključke o istom odlomku.

Uvećaj

Šta perplexity i skokovitost (burstiness) mere

Perplexity i skokovitost (burstiness) se često javljaju u objašnjenjima detekcije veštačke inteligencije. Oni mogu da otkriju korisne obrasce u nekom tekstu, ali nijedan ne ukazuje na jedan, jedinstven način pisanja karakterističan samo za veštačku inteligenciju.

Jedan potencijalno zbunjujući detalj: perplexity ovde ima dvostruku ulogu. U malim slovima, to je statistička mera. Sa velikim P, to smo mi.

Perplexity meri koliko je tekst predvidljiv

Jezički modeli generišu tekst dodeljivanjem verovatnoća mogućim sledećim tokenima, što mogu biti cele reči ili delovi reči. Perplexity meri koliko dobro model može da predvidi tokene u odlomku.

• Manja zbunjenost (perplexity): Tekst prati obrasce koje model smatra poznatim.
• Veća zbunjenost (perplexity): Formulacija je manje očekivana.

Skor je specifičan za model koji vrši procenu i način na koji se tekst obrađuje, tako da isti odlomak može primiti različite skorove zbunjenosti pod različitim postavkama.

Uzmite rečenicu: „Molim vas da me obavestite ako imate bilo kakvih pitanja.“ Jezički model se verovatno susreo sa sličnom formulacijom mnogo puta, čineći svaku reč relativno lakom za predviđanje. To nam govori nešto o poznatosti rečenice. To ne govori ništa konačno o tome ko ju je napisao.

Skokovitost meri koliko ti obrasci variraju

Izraz „burstiness“ (skokovitost) se slobodnije koristi u diskusijama o detekciji veštačke inteligencije. On uglavnom opisuje koliko se pisanje menja u okviru nekog odlomka. To može da obuhvati varijaciju u dužini i strukturi rečenica, ili prelete između visoko predvidljivog jezika i jezika koji više iznenađuje.

• Manja skokovitost (burstiness): Rečenice prate dosledniju dužinu, strukturu ili ritam.
• Veća skokovitost (burstiness): Pisanje prelazi između kraćih izjava, dužem objašnjenja i manje očekivanih formulacija.

Neki tekstovi generisani pomoću veštačke inteligencije su dosledni i predvidljivi, i zato je skokovitost postala povezana sa detekcijom. Ljudsko pisanje može imati iste osobine, posebno u poslovnim, akademskim i tehničkim kontekstima. Modeli veštačke inteligencije takođe mogu da proizvode raznovrsniji jezik kada im se to naloži ili kada se uređuju na taj način.

GPTZero navodi da su perplexity i skokovitost bile dve od nekoliko karakteristika koje je koristila ranija verzija njegovog detektora.

Šta ove mere pokazuju: Perplexity i skokovitost opisuju obrasce u odlomku. Ti obrasci mogu pomoći da se objasni zašto je tekst označen, ali ne mogu da utvrde ko ga je napisao.

Šta znači skor detektora veštačke inteligencije

Rezultat od „80% AI“ deluje jednostavno. Njegovo značenje zavisi od detektora.

GPTZero opisuje procenat kao procenjenu verovatnoću svog modela da je veštačka inteligencija ili čovek napisao dokument. Turnitin koristi procenat da pokaže koliko kvalifikujuće proze njegov model označava kao potencijalno generisano ili modifikovano pomoću veštačke inteligencije sa određenim alatima veštačke inteligencije.

Ista oznaka „80% AI“ može stoga da znači:

• Detektor procenjuje verovatnoću od 80% da je veštačka inteligencija generisala dokument.
• Detektor je označio 80% proze koju je procenio.

To su različiti nalazi. Jedan pravi predviđanje o dokumentu u celini. Drugi identifikuje koliko se teksta podudaralo sa kriterijumima detektora.

Skorovi verovatnoće zahtevaju još jednu proveru: kalibraciju. Ako detektor dâ 100 dokumenata verovatnoću veštačke inteligencije od oko 80%, otprilike 80 njih bi trebalo stvarno da bude generisano pomoću veštačke inteligencije da bi skor bio dobro kalibrisan. Testiranje modela u odnosu na primere sa poznatim poreklom pokazuje koliko se njegove verovatnoće podudaraju sa stvarnim ishodištima.

Procenat može da izgleda tačno pre nego što njegovo značenje ili pouzdanost postanu jasni. Oznaka, metoda bodovanja i performanse detektora određuju šta broj može da podrži.

Uvećaj

Prag određuje šta biva označeno

Detektor i dalje mora da odluči kada je skor dovoljno visok da se postupi po njemu. Ta razdvojna linija se naziva prag.

Pretpostavimo da alat boduje tekst od 0 do 100 i označava sve iznad 70. Pomicanje granice na 60 ostavilo bi svaki skor nepromenjenim uz istovremeno povećanje broja označenih dokumenata.

• Manji prag obično detektuje više pisanja generisanog pomoću veštačke inteligencije, ali takođe nepravilno označava više ljudskog pisanja.
• Veći prag smanjuje netačne oznake, dok omogućava da više pisanja generisanog pomoću veštačke inteligencije prođe neprimećeno. Ovaj kompromis se široko primenjuje na sisteme klasifikacije.

Dve moguće greške imaju različita imena.

• A lažno pozitivna greška se javlja kada je ljudsko pisanje označeno kao generisano pomoću veštačke inteligencije.
• A lažno negativna greška se javlja kada pisanje generisano pomoću veštačke inteligencije prođe detekciju.

Gde detektor povlači crtu odražava koju grešku je dizajniran da izbegne. Taj izbor nosi veću težinu kada oznaka može uticati na ocenu, posao ili nečiji kredibilitet.

Kako stopa greške od 2% može da proizvede skoro 30% netačnih oznaka

Uticaj stope lažno pozitivnih rezultats od 2% zavisi od toga koliko ljudskog pisanja detektor pregleda.

Razmotrite hipotetički skup od 1.000 članaka:

• 50 je generisala veštačka inteligencija.
• 950 je napisao čovek.
• Detektor hvata 90% članaka generisanih pomoću veštačke inteligencije.
• On pogrešno označava 2% članaka koje su pisali ljudi.

Evo šta se dešava:

Detektor označava 64 članka ukupno. Devetnaest su napisali ljudi, tako da je skoro 30% njegovih oznaka pogrešno.

Brojke od 2% i 30% meru različite stvari. Detektor nepravilno označava 2% svih članaka koje su pisali ljudi. Te greške zatim čine skoro 30% svega što on označi.

Brojevi se sabiraju na ovaj način zato što je detektor pregledao daleko više članaka koje su pisali ljudi nego onih koje je generisala veštačka inteligencija. Čak i mala stopa grešaka može da proizvede značajan broj netačnih oznaka kada se primenjuje na mnogo veću grupu.

Pojam bazna stopa opisuje koliko je česta pisanje generisano pomoću veštačke inteligencije u materijalu koji se provera. Kako se taj udeo menja, tako se menja i značenje pozitivnog rezultata. Ako stope istinito pozitivnih i lažno pozitivnih rezultata detektora ostanu iste, oznaka će generalno biti pouzdanija kada je pisanje generisano pomoću veštačke inteligencije često u zbirci, a manje pouzdana kada je retko.

Ovi brojevi su hipotetički i ne opisuju određen detektor. U stvarnom pregledu, udeo pisanja generisanog pomoću veštačke inteligencije je obično nepoznat. Ta neizvesnost je još jedan razlog da se oznaka tretira kao razlog za bliži pregled, a ne kao dokaz o tome kako je dokument napisan.

Tačnost zavisi od toga na čemu je detektor testiran

Stopa tačnosti opisuje performanse pod određenim skupom uslova. Pre primene te stope na drugi tekst, proverite:

• Verzija detektora
• Dužina, jezik, predmet i format teksta
• Model veštačke inteligencije i podešavanja korišćeni za generisanje testnog materijala
• Da li je tekst uređen ili namerno izmenjen
• Pisci predstavljeni u uzorcima koje su pisali ljudi

Počnite sa podržanim ulaznim podacima alata

Turnitin, na primer, zahteva najmanje 300 reči proze u dugom formatu. On navodi da njegov model pouzdano ne detektuje poeziju, skripte, kod ili druge formamente koji nisu proza generisani pomoću veštačke inteligencije. Snažne performanse na esejima stoga nam malo govore o tome kako će isti detektor podneti pesmu ili kratak imejl.

Uporedite test sa pisanjem iz stvarnog sveta

U 2024. godini, istraživači su testirali 12 detektora koristeći RAID, referentnu vrednost koja sadrži više od 6 miliona odlomaka generisanih pomoću veštačke inteligencije u 11 modela i osam predmetnih oblasti. Performanse su opale kada su se detektori susreli sa nepoznatim modelima, različitim podešavanjima generisanja ili namerno izmenjenim tekstom.

Izazov iz 2025. godine u kojem je korišćen RAID dao je snažnije rezultate pod poznatijim uslovima. Nekoliko učesnika detektovalo je preko 99% tekstova koje je generisala mašina uz održavanje stope lažno pozitivnih rezultata od 5%. Predmetne oblasti i modeli veštačke inteligencije korišćeni u testu takođe su bili zastupljeni u podacima za obuku.

Zajedno, rezultati pokazuju da detektori mogu dobro da obavljaju posao sa raznovrsnim materijalom koji su obučeni da prepoznaju, dok nepoznati materijal ostaje teži za procenu.

Pogledajte ko je bio predstavljen

U studiji iz 2023. godine, sedam detektora je nepravilno klasifikovalo prosečno 61,3% od 91 TOEFL esej koje su napisali govornici kojima engleski nije maternji jezik kao generisane pomoću veštačke inteligencije. Taj rezultat se odnosi na alate i uzorke testirane u to vreme. On takođe pokazuje zašto stopa ukupne tačnosti možda ne opisuje performanse podjednako dobro za svaku grupu pisaca.

Kako pročitati tvrdnju o tačnosti: Što je poslati tekst bliži materijalu korišćenom u testiranju, to izveštaj o rezultatu postaje relevantniji.

Konačni dokument prikazuje samo deo načina na koji je napisan

Veštačka inteligencija može da igra mnoge uloge u procesu pisanja. Neko može da je koristi za istraživanje teme, organizovanje beleški, prevođenje odlomka, doterivanje rečenice ili proizvodnju prvog nacrta.

Ti radni tokovi mogu da dovedu do veoma različitih dokumenata. Jedan pisac može da koristi veštačku inteligenciju za istraživanje i da svaku rečenicu sastavi nezavisno. Drugi može suštinski da prepiše nacrt generisan pomoću veštačke inteligencije. Treći može da doda jedan generisani paragraf u članak koji je inače napisao čovek.

Detektor teksta vidi reči koje su poslate. On nema pristup upitima, izmenama ili odlukama koje su im prethodile. Njegov skor ne može da rekonstruiše ceo proces pisanja niti da utvrdi da li je autor sledio određenu smernicu. Na primer,

• Škola može dozvoliti razmatranje ideja uz zahtev da učenici sami napišu zadatak.
• Izdavač može dozvoliti uređivanje uz pomoć veštačke inteligencije kada je ono obelodanjeno.
• Radno mesto može više da brine o činjeničnoj tačnosti, poverljivosti ili pripisivanju izvora nego o tome da li je veštačka inteligencija doprinela formulaciji.

Primena tih pravila zahteva dokaze o procesu, kao i o završenom tekstu. Istorija nacrta, beleške sa istraživanja i objašnjenje pisca mogu da obezbede kontekst koji detektor ne može. Turnitin izričito savetuje prosvetne radnike da ne koriste svoj skor pisanja pomoću veštačke inteligencije kao jedinu osnovu za nepovoljne mere protiv učenika.

Detektor može da identifikuje jezik koji podseća na obrasce koje povezuje sa veštačkom inteligencijom. Odlučivanje o tome šta se dogodilo i da li je to bilo dozvoljeno zahteva širi pregled.

Vodeni žigovi dodaju drugačiju vrstu signala

Neki sistemi veštačke inteligencije mogu da dodaju detektabilan obrazac dok generišu tekst. Ovaj proces se naziva postavljanje vodenog žiga.

Kako radi vodeni žig teksta

Google DeepMind-ov SynthID pruža jedan primer:

1. Sistem prilagođava verovatnoće tokena. On blago menja verovatnoću da će model odabrati određene reči ili delove reči.
2. Ti izbori stvaraju obrazac. Vodeni žig je dizajniran da ostane nevidljiv čitaocu.
3. Kompatibilan detektor proverava njegovo prisustvo. Detektor analizira tekst u potrazi za očekivanim statističkim signalom.

Pošto se obrazac dodaje tokom generisanja, on može da obezbedi informacije povezane sa sistemom koji je proizveo tekst.

Šta ograničava detekciju vodenog žiga

• Generator mora da ga doda. Sistem veštačke inteligencije treba da podržava i primenjuje vodeni žig. Odsustvo vodenog žiga ne utvrđuje da je osoba napisala tekst.
• Mora da ostane dovoljno obrasca. Google izveštava da SynthID može da izdrži određeno opsecanje, promene reči i blago parafraziranje. Opsežno prepisivanje ili prevođenje može da smanji njegovo pouzdanje.

Vodeni žigovi mogu da ojačaju dokaze kada je kompatibilan sistem generisao tekst i kada je ostalo dovoljno signala. Oni ne mogu da identifikuju svaki komad pisanja generisanog pomoću veštačke inteligencije.

Drugi zapisi mogu da upotpune celiku sliku

• Istorija nacrta prikazuje kako se dokument menjao tokom vremena.
• Beleške o istraživanju povezuju njegove tvrdnje sa izvorima.
• Obelodanjene interakcije sa veštačkom inteligencijom pokazuju gde je alat doprineo.

Ovi zapisi pružaju direktniji kontekst o procesu pisanja nego sam skor zasnovan na obrascima.

Tretirajte oznaku kao početak pregleda

Rezultat detektora postaje korisniji kada ima definisanu ulogu. Pre preduzimanja radnji na osnovu oznake, recenzenti treba da razumeju šta je alat izmerio, da potvrde da tekst spada u njegov opseg i da ispitaju druge dostupne dokaze.

Pet provera može da pomogne:

1. Pročitajte definiciju skora. Utvrdite da li procenat predstavlja verovatnoću na nivou dokumenta ili udeo označenog teksta.
2. Proverite opseg alata. Potvrdite da se jezik, dužina i format dokumenta podudaraju sa onim što detektor podržava.
3. Pregledajte dokaze. Proučite istaknute odlomke uz nacrte, beleške o izvorima i autorovo objašnjenje.
4. Primenite relevantnu smernicu. Identifikujte koje upotrebe veštačke inteligencije su dozvoljene i koji dokazi bi demonstrirali kršenje.
5. Procenite sam rad. Pregledajte činjeničnu tačnost, pripisivanje izvora, originalnost i kvalitet po sopstvenim merilima.

Ulozi bi trebalo da oblikuju dubinu pregleda. Urednik može da upotrebi oznaku da odluči kom članku je potreban ponovni pregled. Odluka koja utiče na ocenu, posao ili ugovor o objavljivanju zahteva snažnije dokaze i priliku za autora da objasni svoj proces.

Detektor veštačke inteligencije sažima složenu procenu u skor. Tumačenje tog skora zahteva informacije koje broj ne sadrži: šta je alat izmerio, koji prag je koristio, kako se pokazao na uporedivom pisanju i koliko je čest tekst generisan pomoću veštačke inteligencije u materijalu koji se pregleda. Skor može usmeriti pažnju. Skor detektora može da doprinese tom pregledu, ali svaki zaključak o autorstvu takođe zahteva dokaze o procesu pisanja.

Često postavljana pitanja

Mogu li detektori veštačke inteligencije da pogreše?

Da. Lažno pozitivan rezultat se javlja kada detektor označi ljudsko pisanje kao generisano pomoću veštačke inteligencije. Lažno negativan rezultat se javlja kada pisanje generisano pomoću veštačke inteligencije prođe detekciju. Učestalost svake greške zavisi od detektora, njegovog praga i od toga koliko poslati tekst podseća na materijal koji je korišćen za njegovo testiranje.

Koliko su tačni detektori veštačke inteligencije?

Ne postoji jedinstvena stopa tačnosti za detektore veštačke inteligencije. Performanse mogu da variraju u zavisnosti od jezika, dužine, predmeta, stila pisanja, modela generisanja i količine uređivanja. Tvrdnja o tačnosti je najkorisnija kada uslovi testiranja podsećaju na tekst koji se pregleda, a rezultat izveštava o lažno pozitivnim rezultatima, kao i o uspešnim detekcijama.

Šta znači procenat detekcije veštačke inteligencije?

Definicija zavisi od alata. Ona može predstavljati procenjenu verovatnoću da je dokument generisan pomoću veštačke inteligencije, procenat označenog kvalifikujućeg teksta ili oblik poverenja u rezultat. Dokumentacija detektora treba da objasni koje merenje izveštava.

Može li detektor veštačke inteligencije da dokaže da je neko koristio veštačku inteligenciju?

Sam rezultat detektora ne može da dokaže kako je dokument kreiran. On analizira poslati tekst bez uvidjanja u upite, nacrte, izmene ili istraživanje iza njega. Pouzdan pregled razmatra skor uz dokaze o procesu i smernicu koja uređuje prihvatljivu upotrebu veštačke inteligencije.

Zašto ljudsko pisanje ponekad biva označeno kao veštačka inteligencija?

Ljudsko pisanje i pisanje generisano pomoću veštačke inteligencije mogu da dele iste statističke obrasce. Formulačni jezik, predvidljiva frazeologija, ograničen rečnik ili stil koji se razlikuje od podataka za obuku detektora mogu da doprinesu lažno pozitivnom rezultatu. Istraživanje je takođe otkrilo da su neki detektori testirani 2023. godine nesrazmerno označavali eseje koje su pisali govornici kojima engleski nije maternji jezik.