Kaip veikia DI detektoriai ir kodėl vien balas negali įrodyti autorystės

Įklijuokite esė, straipsnį arba el. laišką į DI detektorių, ir po kelių sekundžių jis gali pateikti tokį rezultatą kaip „85% DI“.

Atrodo tikslu. Taip pat gali būti lengva neteisingai suprasti.

Detektorius nematė, kaip dokumentas buvo parašytas. Jis išanalizavo gatavą tekstą, ieškodamas su DI sugeneruotam tekstui būdingų šablonų. Priklausomai nuo įrankio, šie 85% gali reikšti numatomą tikimybę, kad dokumentą sukūrė DI, arba detektoriaus pažymėto teksto dalį.

Dėl to DI detektorius yra naudingas kaip signalas, ypač kai kažką reikia atidžiau apžiūrėti. Tačiau, prieš darant išvadas apie tai, kas parašė tekstą ar kaip jis buvo sukurtas, balui vis tiek reikia konteksto ir pagrindžiančių įrodymų. Supratimas, kaip detektoriai sukuria savo balus, padeda paaiškinti tiek tai, ką jie gali aptikti, tiek tai, kodėl jie kartais klysta.

Kas yra DI detektorius?

DI rašymo detektorius apžvelgia baigtą tekstą ir įvertina, ar jis primena kalbos modelio sugeneruotą rašinį. Vartotojas paprastai įklijuoja tekstą arba įkelia dokumentą. Per kelias sekundes įrankis gali grąžinti etiketę, procentinę išraišką, pažymėtas ištraukas arba visus tris dalykus.

• Mokytojai ir akademinės institucijos jas naudoja peržiūrėdami studentų darbus.
• Leidėjai ir turinio komandos gali juos naudoti pateiktiems arba užsakytiems rašiniams tikrinti, o kai kurios detektorių įmonės parduoda versijas atrankos komandoms, peržiūrinčioms paraiškų medžiagą.
• Rašytojai taip pat kartais patikrina savo darbus, kad suprastų, kaip mokytojas, redaktorius, klientas arba platforma galėtų juos klasifikuoti.

Pastaba: Plagiato tikrintuvai atlieka susijusią, bet atskirą funkciją. Jie lygina dokumentą su publikuota medžiaga ir kitais šaltiniais, kad rastų sutampančią kalbą. DI detektoriai vertina pateikto rašinio šablonus. Todėl visiškai originali ištrauka gali gauti DI žymėjimą, o nukopijuotame žmogaus parašytame tekste gali nebūti stipraus DI generavimo signalo.

Kaip DI detektoriai analizuoja tekstą

Daugelis DI detektorių remiasi klasifikatoriumi – mašininio mokymosi modeliu, apmokytu pagal žmogaus ir DI sugeneruoto rašinio pavyzdžius. Lygindamas abu, jis išmoksta, kokie šablonai paprastai pasirodo kiekviename iš jų, įskaitant žodžių pasirinkimo ir sakinių struktūros šablonus. Tada jis ieško šių šablonų naujame tekste ir pateikia prognozę.

Tai, ko išmoksta detektorius, priklauso nuo to, ką jis mato mokymo metu. Įrankis, išmokytas su ribotu rašymo diapazonu, gali sunkiai tvarkytis su nauja tema, nepažįstamu stiliumi arba kito anksčiau nesutikto DI modelio išvestimi. Tyrimai, atlikti su įvairių tipų tekstais ir DI modeliais, parodė, kad tokiomis sąlygomis aptikimo našumas gali sumažėti.

Kai kurie metodai taiko kitokį požiūrį. Vietoj to, kad apmokytų atskirą klasifikatorių, jie naudoja paties kalbos modelio tikimybės įverčius, kad įvertintų, kaip tikėtina, jog jis sukurs ištrauką.

• Pavyzdžiui, „DetectGPT“ lygina originalų tekstą su šiek tiek pakeistomis versijomis, ieškodamas su dirbtinio intelekto generavimu susijusių šablonų. Jo tyrimas tai apibūdina kaip „nulinio mokymo“ („zero-shot“) metodą, nes tam nereikia atskirai išmokyto detektoriaus. Rezultate gali būti bendras balas, pažymėti sakiniai arba abu šie dalykai.
• „GPTZero“ teigia, kad jo išryškinimai rodo, kurie sakiniai turi daugiausia įtakos bendrai prognozei. Kadangi jis taip pat vertina platesnį dokumentą, atskirai nuskenuota pastraipa gali gauti kitokį rezultatą, kai ji pateikiama kaip ilgesnio kūrinio dalis.

Kiekvienas rezultatas atspindi tiek tekstą, tiek jį vertinančią sistemą, todėl skirtingi detektoriai gali padaryti skirtingas išvadas apie tą pačią ištrauką.

Padidinti

Ką matuoja Perplexity ir kintamumas

Perplexity ir kintamumas dažnai minima aiškinant DI aptikimą. Jos gali atskleisti naudingus rašinio dėsningumus, tačiau nė viena iš jų nenurodo vieno vienintelio, tik DI būdingo rašymo būdo.

Viena galbūt kelerių detalių: perplexity čia atlieka dvigubą vaidmenį. Parašytas mažąja raide – tai statistinis matas. Parašytas didžiąja raide P – tai mes.

Perplexity matuoja, kiek tekstas yra nuspėjamas

Kalbos modeliai generuoja tekstą priskirdami tikimybes galimiems sekoje esantiems žetonams (tokens), kurie gali būti sveikieji žodžiai arba žodžių dalys. Perplexity matuoja, kaip gerai modelis gali nuspėti žetonus ištraukoje.

• Mažesnis Perplexity: Tekstas atitinka modelio atpažįstamus šablonus.
• Didesnis Perplexity: Formuluotė mažiau tikėtina.

Balas yra specifiškas vertinimą atliekančiam modeliui ir teksto apdorojimo būdui, todėl ta pati ištrauka skirtingose sąrankose gali gauti skirtingus perplexity balus.

Paimkime sakinį: „Prašome pranešti, jei turite klausimų.“ Kalbos modelis tikriausiai jau ne kartą yra susidūręs su panašia formuluote, todėl kiekvieną žodį palyginti lengva nuspėti. Tai mums šį tą pasako apie sakinio pažįstamumą, tačiau nieko galutinio nepasako apie tai, kas jį parašė.

Kintamumas matuoja, kiek šie šablonai skiriasi

Kintamumas („burstiness“) DI aptarimuose naudojamas laisvesne prasme. Jis paprastai apibūdina, kiek tekstas keičiasi visoje pastraipoje. Tai gali apimti sakinių ilgio ir struktūros svyravimus arba perėjimą nuo lengvai nuspėjamos prie labiau stebinančios kalbos.

• Mažesnis kintamumas: Sakiniai yra nuoseklesnio ilgio, struktūros ar ritmo.
• Didesnis kintamumas: Rašinys kaitalioja trumpesnius teiginius, ilgesnius paaiškinimus ir mažiau tikėtinas formuluotes.

Kai kas iš DI sugeneruoto teksto yra nuoseklu ir nuspėjama, todėl kintamumas ir tapo siejamas su aptikimu. Žmogaus parašytas tekstas gali turėti tas pačias savybes, ypač verslo, akademiniame ir techniniame kontekste. DI modeliai taip pat gali sukurti įvairesnę kalbą, kai tam yra paskatinti arba redaguoti.

GPTZero teigia, kad perplexity ir kintamumas buvo dvi iš kelių funkcijų, kurias naudojo ankstesnė jo detektoriaus versija.

Ką šie matavimai rodo: Perplexity ir kintamumas apibūdina ištraukos šablonus. Šie šablonai gali padėti paaiškinti, kodėl tekstas buvo pažymėtas, tačiau jie negali nustatyti, kas jį parašė.

Ką reiškia DI detektoriaus balas

„80% DI“ rezultatas atrodo suprantamai. Jo reikšmė priklauso nuo detektoriaus.

GPTZero procentą apibūdina kaip savo modelio apskaičiuotą tikimybę, kad dokumentą parašė DI arba žmogus. Turnitin procentą naudoja parodyti, kiek kvalifikuotos prozos jos modelis pažymi kaip potencialiai sugeneruotą DI arba modifikuotą tam tikrais DI įrankiais.

Todėl ta pati žyma „80% DI“ galėtų reikšti:

• Detektorius apskaičiuoja 80% tikimybę, kad dokumentą sugeneravo DI.
• Detektorius pažymėjo 80% vertinto prozos teksto.

Tai skirtingos išvados. Viena daro prognozę apie dokumentą kaip visumą. Kita nustatyta, kiek teksto atitiko detektoriaus kriterijus.

Tikimybės balams reikia kito patikrinimo – kalibravimo. Jei detektorius 100-ui dokumentų priskiria maždaug 80% DI tikimybę, maždaug 80 iš jų iš tikrųjų turėtų būti sugeneruoti DI, kad balas būtų gerai sukalibruotas. Modelio testavimas su žinomos kilmės pavyzdžiais parodo, kaip tiksliai jo tikimybės atitinka realius rezultatus.

Procentinė išraiška gali atrodyti tiksli dar prieš paaiškėjant jos reikšmei ar patikimumui. Etiketė, vertinimo metodas ir detektoriaus našumas – visa tai lemia, ką šis skaičius gali pagrįsti.

Padidinti

Slenksčio riba nustato, kas yra pažymima

Detektorius vis tiek turi nuspręsti, kada balas yra pakankamai aukštas, kad būtų galima imtis veiksmų. Ši skiriamoji linija vadinama riba arba slenksčiu.

Tarkime, įrankis vertina tekstą balais nuo 0 iki 100 ir pažymi viską, kas viršija 70. Nuleidus ribą iki 60, visi balai liktų nepakeisti, tačiau padidėtų pažymėtų dokumentų skaičius.

• Didesnė apribojimo riba paprastai aptinka daugiau DI sugeneruoto teksto, tačiau taip pat klaidingai pažymi daugiau žmogaus parašyto teksto.
• Didesnė slenksčio riba sumažina klaidingų žymėjimų skaičių, tačiau leidžia nepastebėti daugiau DI sugeneruoto teksto. Šis kompromisas būdingas klasifikavimo sistemoms apskritai.

Abi galimos klaidos turi skirtingus pavadinimus.

• Klaidingai teigiamas (false positive) rezultatas gaunamas, kai žmogaus parašytas tekstas pažymimas kaip sugeneruotas DI.
• Klaidingai neigiamas (false negative) rezultatas gaunamas, kai DI generuotas tekstas lieka nepastebėtas.

Vieta, kurioje detektorius brėžia ribą, atspindi, kokios klaidos jis siekia išvengti. Šis pasirinkimas turi daugiau svorio, kai žymėjimas gali turėti įtakos pažymiui, darbui ar kieno nors reputacijai.

Kaip 2% klaidų rodiklis gali duoti beveik 30% neteisingų žymėjimų

2% klaidingai teigiamų rezultatų rodiklio poveikis priklauso nuo to, kiek žmogaus parašyto teksto peržiūri detektorius.

Apsvarstykite hipotetinį 1 000 straipsnių rinkinį:

• 50 yra sugeneruoti DI.
• 950 yra parašyti žmonių.
• Detektorius pagauna 90% DI sugeneruotų straipsnių.
• Jis klaidingai pažymi 2% žmogaus parašytų straipsnių.

Štai kas nutinka:

Detektorius iš viso pažymi 64 straipsnius. Devyniolika iš jų parašė žmonės, todėl beveik 30% jo žymėjimų yra klaidingi.

2% ir 30% rodikliai matuoja skirtingus dalykus. Detektorius klaidingai pažymi 2% visų žmogaus parašytų straipsnių. Šios klaidos vėliau sudaro beveik 30% visko, ką jis pažymi.

Skaičiai susideda taip todėl, kad detektorius peržiūrėjo kur kas daugiau žmogaus parašytų straipsnių nei DI sugeneruotų. Net ir mažas klaidų rodiklis, taikomas daug didesnei grupei, gali duoti reikšmingą neteisingų žymėjimų skaičių.

Terminas bazinė dažnių riba (base rate) apibūdina, kaip dažnai tikrinamoje medžiagoje pasitaiko DI sugeneruotas rašinys. Keičiantis šiai daliai, keičiasi ir teigiamo rezultato reikšmė. Jei detektoriaus tiksliai teigiamų ir klaidingai teigiamų rezultatų rodikliai išlieka tokie patys, žymėjimas paprastai bus patikimesnis, kai DI sugeneruotas rašinys kolekcijoje yra dažnas, ir mažiau patikimas, kai jis retas.

Šie skaičiai yra hipotetiniai ir neapibūdina konkretaus detektoriaus. Realioje peržiūroje DI sugeneruoto teksto dalis paprastai nežinoma. Šis neapibrėžtumas yra dar viena priežastis žymėjimą laikyti priežastimi pažvelgti atidžiau, o ne dokumento parašymo būdo įrodymu.

Tikslumas priklauso nuo to, su kuo detektorius buvo testuojamas

Tikslumo rodiklis apibūdina veiksmingumą tam tikromis sąlygomis. Prieš pritaikydami šį rodiklį kitam tekstui, patikrinkite:

• Detektoriaus versija
• Teksto ilgis, kalba, tema ir formatas
• Testinei medžiagai sugeneruoti naudotas DI modelis ir nustatymai
• Ar tekstas buvo redaguotas arba tyčia modifikuotas
• Žmogaus parašytuose pavyzdžiuose atstovaujami rašytojai

Pradėkite nuo įrankio palaikomų įvesties duomenų

Pavyzdžiui, Turnitin reikalauja bent 300 žodžių ilgos formos prozos. Ji teigia, kad jos modelis patikimai neaptinka DI sugeneruotos poezijos, scenarijų, kito kodo ar kitų ne prozos formatų. Todėl geri esė rezultatai mažai ką pasako apie tai, kaip tas pats detektorius elgsis su eilėraščiu ar trumpu el. laišku.

Palyginkite testą su realaus pasaulio rašytiniais tekstais

2024 metais tyrėjai išbandė 12 detektorių, naudodami RAID – etaloną, apimantį daugiau nei 6 milijonus DI sugeneruotų ištraukų iš 11 modelių ir aštuonių sričių. Veiksmingumas krito, kai detektoriai susidūrė su nepažįstamais modeliais, kitais generavimo nustatymais arba tyčia modifikuotu tekstu.

2025 m. iššūkis, naudojantis „RAID“, davė geresnius rezultatus labiau pažįstamomis sąlygomis. Keli dalyviai aptiko daugiau nei 99% mašinos generuoto teksto, o klaidingai teigiamų rezultatų rodiklis išliko 5%. Teste naudotos sritys ir DI modeliai taip pat buvo atstovaujami mokymo duomenyse.

Kartu šie rezultatai rodo, kad detektoriai gali gerai pasirodyti su įvairia medžiaga, kurią jie buvo išmokti atpažinti, o nepažįstamą medžiagą įvertinti tebėra sunkiau.

Pažiūrėkite, kas buvo atstovaujamas

2023 m. tyrime septyni detektoriai klaidingai klasifikavo vidutiniškai 61,3% iš 91 TOEFL rašinio, kuriuos parašė ne gimtąja anglų kalba kalbantys asmenys, kaip sugeneruotus DI. Šis rezultatas taikomas tuo metu testuotiems įrankiams ir pavyzdžiams. Tai taip pat parodo, kodėl bendras tikslumo rodiklis gali ne vienodai gerai apibūdinti kiekvienos rašytojų grupės našumą.

Kaip suprasti teiginį apie tikslumą: Kuo pateiktas tekstas artimesnis testavimui naudotai medžiagai, tuo aktualesnis tampa gautas rezultatas.

Galutinis dokumentas parodo tik dalį to, kaip jis buvo parašytas

DI rašymo procese gali atlikti daugybę vaidmenų. Kažkas gali jį naudoti temai tirti, užrašams tvarkyti, ištraukai versti, sakiniui tobulinti arba pirmajam juodraščiui parengti.

Tokia darbo eiga gali lemti labai skirtingus dokumentus. Vienas rašytojas gali naudoti DI tyrimams ir savarankiškai kurti kiekvieną sakinį. Kitas gali iš esmės perrašyti DI sugeneruotą juodraštį. Trečias gali pridėti vieną sugeneruotą pastraipą prie kito žmogaus parašyto straipsnio.

Teksto detektorius mato pateiktus žodžius. Jis neturi prieigos prie raginimų, pataisų ar sprendimų, kurie buvo priimti prieš tai. Jo balas negali atkurti viso rašymo proceso arba nustatyti, ar autorius laikėsi konkrečios politikos. Pavyzdžiui,

• Mokykla gali leisti minčių lietų (brainstorming), tačiau reikalauti, kad studentai užduotį parašytų patys.
• Leidėjas gali leisti DI padedamą redagavimą, kai jis yra atskleistas.
• Darbo vietai gali labiau rūpėti faktinis tikslumas, konfidencialumas arba šaltinių nurodymas, o ne tai, ar DI prisidėjo prie formuluotės.

Šių taisyklių taikymui reikia tiek įrodymų apie procesą, tiek galutinio teksto. Juodraščių istorija, tyrimų užrašai ir rašytojo paaiškinimas gali suteikti konteksto, kurio detektorius negali pateikti. Turnitin tiesiogiai pataria pedagogams nenaudoti jos DI rašymo balo kaip vienintelio pagrindo neigiamiems veiksmams studento atžvilgiu.

Detektorius gali atpažinti kalbą, kuri primena jo su DI siejamus šablonus. Sprendimui, kas įvyko ir ar tai buvo leista, reikia platesnės peržiūros.

Vandenženkliai prideda kitokio tipo signalą

Kai kurios DI sistemos generuodamos tekstą gali pridėti aptinkamą šabloną. Šis procesas vadinamas vandenženklių kūrimu.

Kaip veikia teksto vandenženklis

„Google DeepMind“ padalinio „SynthID“ pateikia vieną pavyzdį:

1. Sistema pakoreguoja žetonų tikimybes. Ji šiek tiek pakeičia tikimybę, kad modelis pasirinks tam tikrus žodžius ar žodžių dalis.
2. Šie pasirinkimai sukuria šabloną. Vedenženklis sukurtas taip, kad išliktų nematomas skaitytojui.
3. Suderinamas detektorius patikrina, ar jis yra. Detektorius analizuoja tekstą ieškodamas tikėtino statistinio signalo.

Kadangi šablonas pridedamas generavimo metu, jis gali pateikti informaciją, susijusią su tekstą sukūrusia sistema.

Kas riboja vandenženklių aptikimą

• Generatorius privalo jį pridėti. DI sistema turi palaikyti ir taikyti vandenženklį. Vandens ženklo nebuvimas neįrodo, kad tekstą parašė žmogus.
• Turi likti pakankamai šablono. „Google“ praneša, kad „SynthID“ gali atlaikyti tam tikrą apkirpimą, žodžių keitimą ir lengvą perfrazavimą. Išsamus perrašymas arba vertimas gali sumažinti jo patikimumą.

Vandenženkliai gali sustiprinti įrodymus, kai suderinama sistema sugeneravo tekstą ir lieka pakankamai signalo. Jie negali identifikuoti kiekvieno DI sugeneruoto rašinio.

Kiti įrašai gali suteikti daugiau aiškumo

• Juodraščių istorija rodo, kaip dokumentas bėgant laikui keitėsi.
• Tyrimo užrašai susieja teiginius su šaltiniais.
• Atskleistos DI sąveikos rodo, kur prisidėjo įrankis.

Šie įrašai suteikia tiesioggesnį kontekstą apie rašymo procesą nei vien šablonu pagrįstas balas.

Laikykite žymėjimą peržiūros pradžia

DI detektoriaus rezultatas tampa naudingesnis, kai jis atlieka apibrėžtą vaidmenį. Prieš reaguodami į žymėjimą, vertintojai turėtų suprasti, ką įrankis išmatavo, patvirtinti, kad tekstas patenka į jo taikymo sritį, ir išnagrinėti kitus prieinamus įrodymus.

Gali padėti penki patikrinimai:

1. Perskaitykite balo apibrėžimą. Nustatykite, ar procentas reiškia dokumento lygio tikimybę, ar pažymėto teksto dalį.
2. Patikrinkite įrankio aprėptį. Įsitikinkite, kad dokumento kalba, ilgis ir formatas atitinka tai, ką detektorius palaiko.
3. Peržiūrėkite įrodymus. Išnagrinėkite pažymėtas ištraukas kartu su juodraščiais, šaltinių užrašais ir autoriaus paaiškinimu.
4. Taikykite atitinkamą politiką. Nustatykite, kuris DI naudojimas yra leidžiamas ir kokie įrodymai parodytų pažeidimą.
5. Įvertinkite pačią darbų kokybę. Faktinį tikslumą, šaltinių nurodymą, originalumą ir kokybę vertinkite pagal jų pačių kriterijus.

Statymai turėtų lemti peržiūros gilumą. Redaktorius gali naudoti žymėjimą norėdamas nuspręsti, kurį straipsnį reikia peržiūrėti atidžiau. Sprendimas, turintis įtakos pažymiui, darbui ar leidybos sutarčiai, reikalauja tvirtesnių įrodymų ir galimybės autoriui paaiškinti savo procesą.

DI detektorius sutraukia sudėtingą vertinimą į balą. Šiam balui interpretuoti reikia informacijos, kurios skaičius savyje neturi: ką įrankis išmatavo, kokį slenkstį jis panaudojo, kaip pasirodė su palyginamu rašiniu ir kaip dažnai peržiūrimoje medžiagoje pasitaiko DI sugeneruotas tekstas. Balas gali nurodyti kryptį. Detektoriaus balas gali prisidėti prie šios peržiūros, tačiau bet kokiai išvadai apie autorystę taip pat reikia įrodymų apie rašymo procesą.

Dažniausiai užduodami klausimai

Ar DI detektoriai gali klysti?

Taip. Klaidingai teigiamas rezultatas (false positive) gaunamas, kai detektorius žmogaus parašytą tekstą palaiko sugeneruotu DI. Klaidingai neigiamas rezultatas (false negative) gaunamas, kai DI generuotas tekstas lieka nepastebėtas. Kiekvienos klaidos dažnis priklauso nuo detektoriaus, jo slenksčio ir to, kiek pateiktas tekstas panašus į medžiagą, naudotą jam testuoti.

Kiek tikslūs yra DI detektoriai?

Nėra vieno DI detektorių tikslumo rodiklio. Veiksmingumas gali skirtis priklausomai nuo kalbos, ilgio, temos, rašymo stiliaus, generuojančio modelio ir redagavimo apimties. Tikslumo teiginys yra naudingiausias tada, kai testavimo sąlygos primena peržiūrimą rašinį, o rezultate pateikiami tiek klaidingai teigiami, tiek sėkmingai aptikti atvejai.

Ką reiškia DI aptikimo procentas?

Apibrėžimas priklauso nuo įrankio. Jis gali žymėti apskaičiuotą tikimybę, kad dokumentas yra sugeneruotas DI, kvalifikuoto pažymėto teksto procentą arba pasitikėjimo rezultatu formą. Detektoriaus dokumentacijoje turėtų būti paaiškinta, kurį matavimą jis pateikia.

Ar DI detektorius gali įrodyti, kad kažkas naudojo DI?

Vien detektoriaus balas negali įrodyti, kaip dokumentas buvo sukurtas. Jis analizuoja pateiktą tekstą nematydamas už jo stovinčių raginimų (prompts), juodraščių, pataisų ar tyrimų. Patikimoje peržiūroje balas vertinamas kartu su proceso įrodymais ir priimtino DI naudojimo taisyklėmis.

Kodėl žmogaus parašytas tekstas kartais pažymimas kaip DI?

Žmogaus ir DI sugeneruotas rašinys gali turėti tuos pačius statistinius šablonus. Formulės, nuspėjamos frazės, ribotas žodynas arba stilius, kuris skiriasi nuo detektoriaus mokymo duomenų, gali lemti klaidingai teigiamą rezultatą. Tyrimai taip pat parodė, kad kai kurie 2023 metais testuoti detektoriai neproporcingai dažnai žymėjo esė, parašytas ne gimtąja anglų kalba kalbančių asmenų.