Kā darbojas AI detektori un kāpēc ar rādītāju vien nevar pierādīt autorību

Ielīmējiet eseju, rakstu vai e-pastu AI detektorā, un dažas sekundes vēlāk tas var atgriezt tādu rezultātu kā “85% AI”.

Šķiet precīzi. Bet to var arī viegli nepareizi saprast.

Detektors novēroja nevis to, kā dokuments tika uzrakstīts, bet gan analizēja gatavo tekstu, lai atrastu modeļus, kas saistīti ar AI ģenerētu rakstīšanu. Atkarībā no rīka šie 85% var atspoguļot paredzamo varbūtību, ka AI ir izveidojis dokumentu, vai arī detektora atzīmētā teksta īpatsvaru.

Tas padara AI detektoru noderīgu kā signālu, jo īpaši tad, ja kaut kam nepieciešama rūpīgāka pārbaude. Taču rezultātam joprojām ir nepieciešams konteksts un pamatojoši pierādījumi, pirms kāds izdara secinājumus par to, kas uzrakstījis tekstu vai kā tas tika izveidots. Izpratne par to, kā detektori ģenerē savus rādītājus, palīdz izskaidrot gan to, ko tie spēj atklāt, gan to, kāpēc tie dažkārt kļūdās.

Kas ir AI detektors?

AI rakstīšanas detektors apskata gatavu teksta fragmentu un novērtē, vai tas līdzinās valodas modeļa sagatavotam tekstam. Lietotājs parasti ielīmē tekstu vai augšupielādē dokumentu. Dažu sekunžu laikā rīks var atgriezt etiķeti, procentuālo daļu, izceltus fragmentus vai visus trīs.

• Skolotāji un akadēmiskās institūcijas tos izmanto, pārskatot studentu darbus.
• Izdevēji un satura komandas var tos izmantot, lai pārbaudītu iesniegto vai pasūtīto rakstīto materiālu, savukārt daži detektoru uzņēmumi piedāvā versijas pieņemšanas komandām, kas izskata pieteikuma materiālus.
• Rakstnieki dažreiz pārbauda arī savu darbu, lai saprastu, kā skolotājs, redaktors, klients vai platforma to varētu klasificēt.

Piezīme: plaģiāta detektori kalpo saistītam, bet atsevišķam mērķim. Tie salīdzina dokumentu ar publicētiem materiāliem un citiem avotiem, lai atrastu sakritības valodā. AI detektori novērtē modeļus iesniegtajā rakstībā. Tādējādi pilnīgi oriģināls fragments var saņemt AI atzīmi, savukārt kopēts cilvēka teksts var nesaturēt spēcīgu AI ģenerēšanas signālu.

Kā AI detektori analizē tekstu

Daudzi AI detektori paļaujas uz klasifikatoru – mašīnmācīšanās modeli, kas apmācīts ar cilvēka un AI ģenerēta teksta piemēriem. Salīdzinot abus, tas uzzina, kādi modeļi parasti parādās katrā no tiem, tostarp modeļi vārdu izvēlē un teikuma struktūrā. Pēc tam tas meklē šos modeļus jaunajā tekstā un sagatavo prognozi.

Tas, ko detektors iemācās, ir atkarīgs no tā, ko tas redz apmācības laikā. Rīks, kas apmācīts ar ierobežotu rakstības klāstu, var saskarties ar grūtībām, saskaroties ar jaunu tēmu, nepazīstamu stilu vai tāda AI modeļa izvadi, ar kuru tas iepriekš nav saskāries. Pētījumi dažādos teksta veidos un AI modeļos ir atklājuši, ka šādos apstākļos noteikšanas veiktspēja var samazināties.

Dažas metodes izmanto citu pieeju. Tā vietā, lai apmācītu atsevišķu klasifikatoru, tās izmanto paša valodas modeļa varbūtības novērtējumus, lai spriestu par to, cik liela ir varbūtība, ka tas radītu konkrētu fragmentu.

• Piemēram, DetectGPT salīdzina oriģinālo tekstu ar nedaudz modificētām versijām, lai meklētu modeļus, kas saistīti ar mākslīgā intelekta ģenerēšanu. Tā pētījumā tas ir raksturots kā “zero-shot” metode, jo tai nav nepieciešams atsevišķi apmācīts detektors. Rezultāts var ietvert kopējo vērtējumu, izceltus teikumus vai abus.
• GPTZero norāda, ka tā izcēlumi parāda, kuriem teikumiem ir vislielākā ietekme uz tā kopējo prognozi. Tā kā tas novērtē arī plašāku dokumentu, atsevišķi skenēts fragments var saņemt citu rezultātu, ja tas parādās garāka teksta sastāvā.

Katrs rezultāts atspoguļo gan tekstu, gan sistēmu, kas to novērtē, tāpēc dažādi detektori var nonākt pie atšķirīgiem secinājumiem par vienu un to pašu fragmentu.

Izvērst

Ko mēra perplexity un burstiness

Perplexity un burstiness bieži parādās AI noteikšanas skaidrojumos. Tie var atklāt noderīgus modeļus rakstītā tekstā, taču neviens no tiem nenorāda uz vienu vienīgu, unikālu AI rakstīšanas veidu.

Viena potenciāli mulsinoša detaļa: perplexity šeit pilda divējādu lomu. Mazajiem burtiem tas ir statistikas mērs. Ar lielo burtu P – tie esam mēs.

Perplexity mēra, cik paredzams ir teksts

Valodas modeļi ģenerē tekstu, piešķirot varbūtības iespējamiem nākamajiem tokeniem, kas var būt veseli vārdi vai vārdu daļas. Perplexity mēra, cik labi modelis spēj prognozēt tokenus kādā fragmentā.

• Zemāka perplexity: Teksts seko modeļiem, kurus modelis uzskata par pazīstamiem.
• Augstāka perplexity: Vārdu izvēle ir mazāk paredzama.

Rādītājs ir specifisks modelim, kas veic novērtējumu, un teksta apstrādes veidam, tāpēc viens un tas pats fragments dažādos iestatījumos var saņemt atšķirīgus perplexity rādītājus.

Ņemsim teikumu: “Lūdzu, paziņojiet man, ja jums ir kādi jautājumi.” Valodas modelis, visticamāk, ir saskāries ar līdzīgu formulējumu daudzas reizes, tāpēc katru vārdu ir salīdzinoši viegli paredzēt. Tas mums kaut ko pasaka par teikuma pazīstamību, bet nesniedz nekādu pārliecinošu informāciju par to, kas to uzrakstīja.

Impulsu intensitāte mēra to, cik ļoti šie modeļi mainās

Diskusijās par AI noteikšanu “burstiness” (impulsu intensitāte) tiek lietota brīvākā nozīmē. Tā parasti apraksta to, cik ļoti teksts mainās caurlaides laikā. Tas var ietvert teikuma garuma un struktūras variācijas vai pārejas starp ļoti paredzamu un pārsteidzošāku valodu.

• Zemāka impulsu intensitāte: Teikumiem ir konsekventāks garums, struktūra vai ritms.
• Augstāka impulsu intensitāte: Teksts svārstās starp īsākiem paziņojumiem, garākiem skaidrojumiem un mazāk paredzamu formulējumu.

Daļa AI ģenerētā teksta ir konsekventa un paredzama, tāpēc burstiness kļuva saistīta ar noteikšanu. Cilvēka rakstītam tekstam var piemīt tās pašas īpašības, jo īpaši biznesa, akadēmiskajā un tehniskajā kontekstā. AI modeļi var arī radīt daudzveidīgāku valodu, ja tam tiek dota attiecīga uzvedne vai veikti labojumi.

GPTZero norāda, ka perplexity un burstiness bija divas no vairākām funkcijām, ko izmantoja tā detektora agrākā versija.

Ko šie mēri parāda: Perplexity un burstiness apraksta modeļus fragmentā. Šie modeļi var palīdzēt izskaidrot, kāpēc teksts tika atzīmēts, bet tie nevar noteikt, kas to uzrakstīja.

Ko nozīmē AI detektora rādītājs

Rezultāts “80% AI” izskatās vienkāršs un saprotams. Tā nozīme ir atkarīga no detektora.

GPTZero raksturo procentuālo daļu kā sava modeļa aplēsto varbūtību, ka dokumentu uzrakstījis AI vai cilvēks. Turnitin izmanto procentuālo daļu, lai parādītu, cik daudz no atbilstošās prozas tā modelis atzīmē kā potenciāli AI ģenerētu vai modificētu ar noteiktiem AI rīkiem.

Tāpēc viena un tā pati etiķete “80% AI” var nozīmēt:

• Detektors lēš, ka pastāv 80% varbūtība, ka AI ir ģenerējis šo dokumentu.
• Detektors ir atzīmējis 80% no tā izvērtētā teksta.

Tie ir dažādi secinājumi. Viens veic prognozi par dokumentu kopumā. Otrs identificē, cik liela teksta daļa atbilst detektora kritērijiem.

Varbūtības rādītājiem ir nepieciešama vēl viena pārbaude – kalibrēšana. Ja detektors 100 dokumentiem piešķir AI varbūtību aptuveni 80%, aptuveni 80 no tiem patiesībā vajadzētu būt AI ģenerētiem, lai rādītājs būtu labi kalibrēts. Modeļa testēšana pret piemēriem ar zināmu izcelsmi parāda, cik cieši tā varbūtības sakrīt ar reālajiem rezultātiem.

Procents var izskatīties precīzs pirms tam, kad ir skaidra tā nozīme vai uzticamība. Etiķete, vērtēšanas metode un detektora veiktspēja nosaka, ko šis skaitlis var pamatot.

Izvērst

Robežvērtība nosaka, kas tiek atzīmēts

Detektoram joprojām ir jāizlemj, kad rādītājs ir pietiekami augsts, lai rīkotos. Šo robežlīniju sauc par robežvērtību jeb slieksni.

Pieņemsim, ka rīks novērtē tekstu no 0 līdz 100 un atzīmē visu, kas ir virs 70. Pārvietojot robežvērtību uz 60, visi rādītāji paliktu nemainīgi, vienlaikus palielinot atzīmēto dokumentu skaitu.

• Zemāka robežvērtība parasti atklāj vairāk AI ģenerēta teksta, bet arī nepareizi atzīmē vairāk cilvēka rakstīta teksta.
• Augstāka robežvērtība samazina nepareizu atzīmju skaitu, vienlaikus ļaujot vairāk AI ģenerētam tekstam palikt nepamanītam. Šis kompromiss plaši attiecas uz klasifikācijas sistēmām.

Abām iespējamām kļūdām ir dažādi nosaukumi.

• Viltus pozitīvs rezultāts rodas tad, kad cilvēka rakstīts teksts tiek atzīmēts kā AI ģenerēts.
• Viltus negatīvs rezultāts rodas tad, kad AI ģenerēts teksts paliek nepamanīts.

Tas, kur detektors novelk līniju, atspoguļo kļūdu, no kuras tas ir paredzēts izvairīties. Šai izvēlei ir lielāks svars, ja atzīme var ietekmēt atzīmi, darbu vai personas reputāciju.

Kā 2% kļūdu īpatsvars var radīt gandrīz 30% nepareizu atzīmju

2% viltus pozitīvu rādītāja ietekme ir atkarīga no tā, cik daudz cilvēka rakstīta teksta detektors pārskata.

Apsveriet hipotētisku 1000 rakstu kopu:

• 50 ir AI ģenerēti.
• 950 ir cilvēka rakstīti.
• Detektors atklāj 90% AI ģenerēto rakstu.
• Tas nepareizi atzīmē 2% no cilvēka rakstītajiem rakstiem.

Lūk, kas notiek:

Detektors kopumā atzīmē 64 rakstus. Deviņpadsmit ir cilvēka rakstīti, tāpēc gandrīz 30% tā atzīmju ir nepareizas.

Cipari 2% un 30% mēra dažādas lietas. Detektors nepareizi atzīmē 2% no visiem cilvēka rakstītajiem rakstiem. Šīs kļūdas tad veido gandrīz 30% no visa, ko tas atzīmē.

Šie skaitļi summējas šādi, jo detektors pārbaudīja daudz vairāk cilvēka rakstītu rakstu nekā AI ģenerētu. Pat neliels kļūdu īpatsvars var radīt ievērojamu skaitu nepareizu atzīmju, ja tas attiecas uz daudz lielāku grupu.

Termins bāzes rādītājs apraksta to, cik izplatīts ir AI ģenerēts teksts pārbaudāmajā materiālā. Mainoties šim īpatsvaram, mainās arī pozitīva rezultāta nozīme. Ja detektora patiesi pozitīvo un viltus pozitīvo rezultātu rādītāji paliek nemainīgi, atzīme parasti būs ticamāka, ja AI ģenerēts teksts kolekcijā ir bieži sastopams, un mazāk ticamāka, ja tas ir retums.

Šie skaitļi ir hipotētiski un neapraksta kādu konkrētu detektoru. Reālā pārbaudē AI ģenerētā teksta īpatsvars parasti nav zināms. Šī nenoteiktība ir vēl viens iemesls, lai uzskatītu atzīmi par iemeslu rūpīgākai izpētei, nevis par pierādījumu tam, kā dokuments tika uzrakstīts.

Precizitāte ir atkarīga no tā, kas tika testēts ar detektoru

Precizitātes rādītājs apraksta veiktspēju noteiktos apstākļos. Pirms šī rādītāja piemērošanas citam teksta fragmentam, pārbaudiet:

• Detektora versija
• Teksta garums, valoda, tēma un formāts
• AI modelis un iestatījumi, kas izmantoti testa materiāla ģenerēšanai
• Vai teksts tika rediģēts vai apzināti modificēts
• Rakstnieki, kas pārstāvēti cilvēka rakstītajos paraugos

Sāciet ar rīka atbalstītajām ievades formām

Piemēram, Turnitin pieprasa vismaz 300 vārdus garā teksta formātā. Tas norāda, ka tā modelis uzticami nekonstatē AI ģenerētu dzeju, scenārijus, kodu vai citus neprozas formātus. Spēcīga veiktspēja esejās tāpēc maz ko pasaka par to, kā tas pats detektors rīkosies ar dzejoli vai īsu e-pastu.

Salīdziniet testu ar reālās pasaules rakstību

2024. gadā pētnieki testēja 12 detektorus, izmantojot RAID – etalonu, kurā ir vairāk nekā 6 miljoni AI ģenerētu fragmentu no 11 modeļiem un astoņām jomām. Veiktspēja pasliktinājās, kad detektori saskārās ar nepazīstamiem modeļiem, dažādiem ģenerēšanas iestatījumiem vai apzināti modificētu tekstu.

2025. gada izaicinājums ar RAID deva labākus rezultātus pazīstamākos apstākļos. Vairāki dalībnieki atklāja vairāk nekā 99% mašīnas ģenerētā teksta, vienlaikus saglabājot 5% viltus pozitīvu rādītāju. Testa tēmas un izmantotie AI modeļi bija pārstāvēti arī apmācību datos.

Kopumā rezultāti rāda, ka detektori var labi darboties ar dažādiem materiāliem, kuru atpazīšanai tie ir apmācīti, savukārt nepazīstamus materiālus joprojām ir grūtāk novērtēt.

Apskatiet, kas tika pārstāvēts

2023. gada pētījumā septiņi detektori nepareizi klasificēja vidēji 61,3% no 91 TOEFL esejas, ko uzrakstīja cilvēki, kuru dzimtā valoda nav angļu, kā AI ģenerētas. Šis rezultāts attiecas uz to brīdi testētajiem rīkiem un paraugiem. Tas arī parāda, kāpēc kopējais precizitātes rādītājs var vienlīdz labi neaprakstīt sniegumu katrai rakstnieku grupai.

Kā lasīt precizitātes apgalvojumu: jo tuvāks iesniegtais teksts ir testēšanai izmantotajam materiālam, jo atbilstošāks kļūst ziņotais rezultāts.

Gatavais dokuments parāda tikai daļu no tā, kā tas tika uzrakstīts

AI var spēlēt daudzas lomas rakstīšanas procesā. Kāds var to izmantot, lai izpētītu tēmu, sakārtotu piezīmes, pārtulkotu fragmentu, noslīpētu teikumu vai sagatavotu pirmo melnrakstu.

Šie darbplūsmas var novest pie ļoti atšķirīgiem dokumentiem. Viens rakstnieks var izmantot AI pētniecībai un patstāvīgi sacerēt katru teikumu. Cits var būtiski pārrakstīt AI ģenerētu melnrakstu. Trešais var pievienot vienu ģenerētu rindkopu citādi cilvēka uzrakstītam rakstam.

Teksta detektors redz iesniegtos vārdus. Tam nav piekļuves uzvednēm, labojumiem vai lēmumiem, kas bija pirms tiem. Tā rādītājs nevar atjaunot pilnu rakstīšanas procesu vai noteikt, vai autors ievērojis konkrētu politiku. Piemēram,

• Skola var atļaut ideju vētru, vienlaikus pieprasot, lai skolēni uzdevumu uzrakstītu paši.
• Izdevējs var atļaut AI atbalstītu rediģēšanu, ja tas tiek atklāts.
• Darba videi var būt svarīgāka faktiskā precizitāte, konfidencialitāte vai avotu atsauces nekā tas, vai AI deva ieguldījumu formulējumā.

Šo noteikumu piemērošanai ir nepieciešami pierādījumi gan par procesu, gan par gatavo tekstu. Melnraksta vēsture, pētījumu piezīmes un rakstītāja skaidrojums var sniegt kontekstu, ko detektors nespēj nodrošināt. Turnitin nepārprotami iesaka pedagogiem neizmantot tā AI teksta radīšanas rezultātu kā vienīgo pamatu nelabvēlīgai rīcībai pret studentu.

Detektors var identificēt valodu, kas līdzinās modeļiem, kurus tas saista ar AI. Lēmuma pieņemšana par to, kas noticis un vai tas bija atļauts, prasa plašāku pārskatīšanu.

Ūdenszīmes pievieno cita veida signālu

Dažas AI sistēmas var pievienot nosakāmu modeli, kad tās ģenerē tekstu. Šo procesu sauc par ūdenszīmju pievienošanu.

Kā darbojas teksta ūdenszīme

Google DeepMind SynthID sniedz vienu piemēru:

1. Sistēma pielāgo tokenu varbūtības. Tā nedaudz mainīja varbūtību, ka modelis izvēlēsies noteiktus vārdus vai vārdu daļas.
2. Šīs izvēles veido modeli. Ūdenszīme ir izstrādāta tā, lai lasītājam tā paliktu neredzama.
3. Saderīgs detektors to pārbauda. Detektors analizē tekstu, lai atrastu paredzēto statistisko signālu.

Tā kā šis modelis tiek pievienots ģenerēšanas laikā, tas var sniegt informāciju, kas saistīta ar sistēmu, kura izveidoja attiecīgo tekstu.

Kas ierobežo ūdenszīmju noteikšanu

• Ģeneratoram tas ir jāpievieno. AI sistēmai ir jāatbalsta un jāizmanto ūdenszīme. Tas, ka ūdenszīmes nav, nenozīmē, ka tekstu uzrakstījis cilvēks.
• Jāpaliek pietiekami lielai modeli daļai. Google ziņo, ka SynthID spēj izturēt zināmu apgriešanu, vārdu maiņu un vieglu pārfrāzēšanu. Plaša pārrakstīšana vai tulkošana var samazināt tā pārliecību.

Ūdenszīmes var stiprināt pierādījumus, ja saderīga sistēma ģenerējusi tekstu un ir saglabājusies pietiekama signāla daļa. Tās nevar identificēt katru AI ģenerēto tekstu.

Citi ieraksti var sniegt pilnīgāku priekšstatu

• Melnrakstu vēsture parāda, kā dokuments laika gaitā mainījās.
• Pētījuma piezīmes saista tā apgalvojumus ar avotiem.
• Atklātā AI mijiedarbība parāda, kur rīks deva savu ieguldījumu.

Šie ieraksti sniedz tiešāku kontekstu par rakstīšanas procesu nekā tikai uz modeļiem balstīts rādītājs.

Uzskatiet atzīmi par pārbaudes sākumu

AI detektora rezultāts kļūst noderīgāks, ja tam ir definēta loma. Pirms rīkoties saskaņā ar atzīmi, pārbaudītājiem ir jāsaprot, ko rīks mērīja, jāapstiprina, ka teksts ietilpst tā darbības jomā, un jāizpēta citi pieejamie pierādījumi.

Var palīdzēt piecas pārbaudes:

1. Izlasiet rezultāta definīciju. Noskaidrojiet, vai procents atspoguļo dokumenta līmeņa varbūtību vai atzīmētā teksta īpatsvaru.
2. Pārbaudiet rīka darbības jomu. Apstipriniet, ka dokumenta valoda, garums un formāts atbilst tam, ko detektors atbalsta.
3. Pārskatiet pierādījumus. Izpētiet izceltos fragmentus kopā ar melnrakstiem, avotu piezīmēm un autora skaidrojumu.
4. Piemēro attiecīgo politiku. Nosakiet, kuri AI izmantošanas veidi ir atļauti un kādi pierādījumi liecinātu par pārkāpumu.
5. Novērtējiet pašu darbu. Pārbaudiet faktisko precizitāti, avotu atsaucēm, oriģinalitāti un kvalitāti.

Likmei vajadzētu noteikt pārbaudes dziļumu. Redaktors var izmantot atzīmi, lai izlemtu, kuram rakstam nepieciešama papildu uzmanība. Lēmums, kas ietekmē atzīmi, darbu vai publicēšanas līgumu, prasa stingrākus pierādījumus un iespēju autoram izskaidrot savu procesu.

AI detektors saspiež sarežģītu vērtējumu vienā rādītājā. Šī rādītāja interpretācijai ir nepieciešama informācija, ko skaitlis nesatur: ko rīks mērīja, kādu slieksni tas izmantoja, kāda bija tā veiktspēja salīdzināmā tekstā un cik izplatīts ir AI ģenerēts teksts pārskatāmajā materiālā. Rādītājs var norādīt virzienu. Detektora rezultāts var dot ieguldījumu šajā pārbaudē, bet jebkuram secinājumam par authorship ir nepieciešami arī pierādījumi par rakstīšanas procesu.

Bieži uzdotie jautājumi

Vai AI detektori var kļūdīties?

Jā. Viltus pozitīvs rezultāts rodas tad, kad detektors atzīmē cilvēka rakstītu tekstu kā AI ģenerētu. Viltus negatīvs rezultāts rodas tad, kad AI ģenerēts teksts paliek nepamanīts. Katras kļūdas biežums ir atkarīgs no detektora, tā sliekšņa un tā, cik cieši iesniegtais teksts līdzinās materiālam, ko izmantoja tā testēšanai.

Cik precīzi ir AI detektori?

AI detektoriem nav viena vienota precizitātes rādītāja. Veiktspēja var mainīties atkarībā no valodas, garuma, tēmas, rakstīšanas stila, ģenerēšanas modeļa un rediģēšanas apjoma. Precizitātes apgalvojums ir visnoderīgākais tad, ja testa apstākļi līdzinās pārskatāmajam tekstam un rezultātā ir norādīti gan viltus pozitīvi rezultāti, gan veiksmīgas atklāšanas gadījumi.

Ko nozīmē AI noteikšanas procents?

Definīcija ir atkarīga no rīka. Tas var atspoguļot aplēsto varbūtību, ka dokuments ir AI ģenerēts, atzīmētā atbilstošā teksta procentuālo daļu vai ticamības pakāpi rezultātam. Detektora dokumentācijā jāpaskaidro, kuru mērījumu tas uzrāda.

Vai AI detektors var pierādīt, ka kāds izmantojis AI?

Ar detektora rezultātu vien nepietiek, lai pierādītu, kā dokuments tika izveidots. Tas analizē iesniegto tekstu, neredzot tam pamatā esošās uzvednes, melnrakstus, labojumus vai pētījumus. Uzticamā pārbaudē rezultāts tiek izvērtēts kopā ar procesa pierādījumiem un politiku, kas nosaka pieņemamu AI lietojumu.

Kāpēc cilvēka rakstīts teksts dažreiz tiek atzīmēts kā AI?

Cilvēka un AI ģenerēta rakstība var dalīties ar vieniem un tiem pašiem statistiskajiem modeļiem. Formālu valodu, paredzamu frāžu lietojumu, ierobežotu vārdu krājumu vai stilu, kas atšķiras no detektora apmācības datiem, var veicināt viltus pozitīvu rezultātu. Pētījumos arī atklāts, ka daži 2023. gadā testētie detektori nesamērīgi daudz atzīmēja esejas, ko sarakstījuši cilvēki, kuru dzimtā valoda nav angļu.