Kuidas tehisintellekti tuvastajad töötavad ja miks hinne üksi ei suuda autorsust tõestada

Kleepige essee, artikkel või e-kiri tehisintellekti tuvastajasse ja mõni sekund hiljem võib see tagastada tulemuse, näiteks „85% AI“.

Tundub täpne. Kuid seda võib ka olla lihtne valesti lugeda.

Tuvastaja ei jälginud, kuidas dokument kirjutati. See analüüsis valmis teksti tehisintellekti loodud kirjutistele omaste mustrite suhtes. Sõltuvalt tööriistast võib see 85% tähistada hinnangulist tõenäosust, et tehisintellekt lõi dokumendi, või tuvastaja märgitud teksti osakaalu.

See teeb tehisintellekti tuvastajast kasuliku signaali, eriti kui midagi on vaja lähemalt uurida. Kuid hinne vajab siiski konteksti ja toetavaid tõendeid, enne kui keegi teeb järelduse selle kohta, kes teksti kirjutas või kuidas nad selle lõid. Mõistmine, kuidas tuvastajad oma hindeid loovad, aitab selgitada nii seda, mida nad suudavad tabada, kui ka seda, miks nad mõnikord eksivad.

Mis on tehisintellekti tuvastaja?

Tehisintellekti kirjutise tuvastaja vaatleb valmis tekstiosa ja hindab, kas see sarnaneb keelemudeli toodetud kirjutisega. Kasutaja kleebib tavaliselt teksti sisse või laadib üles dokumendi. Mõne sekundi jooksul võib tööriist tagastada sildi, protsendi, esiletõstetud lõigud või kõik kolm.

• Õpetajad ja akadeemilised asutused kasutavad neid õpilaste tööde ülevaatamisel.
• Kirjastajad ja sisutiimid võivad neid kasutada esitatud või tellitud kirjutiste sõelumiseks, samas kui mõned tuvastajate ettevõtted turustavad versioone kandideerimismaterjale ülevaatavatele värbamismeeskondadele.
• Kirjanikud kontrollivad mõnikord ka oma tööd, et mõista, kuidas õpetaja, toimetaja, klient või platvorm võib selle klassifitseerida.

Märkus: Plagiaadituvastajad teenivad seotud, kuid eraldiseisvat eesmärki. Nad võrdlevad dokumenti avaldatud materjali ja muude allikatega, et leida kattuva keelekasutuse. Tehisintellekti tuvastajad hindavad esitatud kirjutise mustreid. Täiesti originaalne lõik võib seetõttu saada tehisintellekti märke, samas kui kopeeritud inimkirjutatud tekst ei pruugi sisaldada tugevat tehisintellekti genereerimise signaali.

Kuidas tehisintellekti tuvastajad teksti analüüsivad

Paljud tehisintellekti tuvastajad tuginevad klassifitseerijale, masinõppe mudelile, mis on treenitud inimeste ja tehisintellekti loodud kirjutiste näidetel. Kahte võrreldes õpib see ära, millised mustrid kipuvad kummaski esinema, sealhulgas mustrid sõjavalikus ja lause struktuuris. Seejärel otsib see neid mustreid uuest tekstist ja toodab ennustuse.

See, mida tuvastaja õpib, sõltub sellest, mida ta näeb treeningu ajal. Piiratud kirjutamisvalikuga treenitud tööriist võib hädas olla uue teema, võõra stiili või varem kohtamata tehisintellekti mudeli väljundiga. Erinevat tüüpi tekstide ja tehisintellekti mudelite uuringud on leidnud, et tuvastustulemus võib nendes tingimustes langeda.

Mõned meetodid kasutavad teistsugust lähenemist. Eraldi klassifitseerija treenimise asemel kasutavad nad keelemudeli enda tõenäosuse hinnanguid, et hinnata, kui tõenäoline oleks lõigu tootmine.

• DetectGPT võrdleb näiteks algset teksti kergelt muudetud versioonidega, et otsida tehisintellekti loodud tekstile omaseid mustreid. Selle uuring nimetab seda nullnäitega meetodiks (zero-shot), kuna see ei vaja eraldi treenitud tuvastajat. Tulemus võib sisaldada üldhinnet, esiletõstetud lauseid või mõlemat.
• GPTZero väidab, et selle esiletõstmised näitavad, millistel lausetel on selle üldisele ennustusele suurim mõju. Kuna see hindab ka laiemat dokumenti, ei pruugi eraldi skannitud lõik saada sama tulemust, kui see esineb pikema teose osana.

Iga tulemus peegeldab nii teksti kui ka seda hindavat süsteemi, mistõttu erinevad tuvastajad võivad sama lõigu osas jõuda erinevate järeldusteni.

Suurenda

Mida keelemudeli ennustamatuse tase (perplexity) ja tekstipulsisagedus (burstiness) mõõdavad

Keelemudeli ennustamatuse tase (Perplexity) ja tekstipulsisagedus (burstiness) tulevad tehisintellekti tuvastamise selgitustes sageli esile. Need võivad paljastada kirjutises kasulikke mustreid, kuid kumbki ei viita üheleainsale, ainulaadsele tehisintellekti kirjutamisviisile.

Üks potentsiaalselt segane detail: keelemudeli ennustamatuse tase (perplexity) teeb siin topeltrolli. Väiketähega on see statistiline mõõdik. Suure P-ga tähed on meie.

Keelemudeli ennustamatuse tase (perplexity) mõõdab, kui ennustatav tekst on

Keelemudelid genereerivad teksti, määrates tõenäosused võimalikele järgmistele märkidele, milleks võivad olla terved sõnad või sõnade osad. Keelemudeli ennustamatuse tase (perplexity) mõõdab, kui hästi mudel suudab lõigus märke ennustada.

• Madalam keelemudeli ennustamatuse tase (perplexity): Tekst järgib mustreid, mida mudel peab tuttavlikuks.
• Kõrgem keelemudeli ennustamatuse tase (perplexity): Sõnastus on vähem ootuspärane.

Hinne on hindamist teostavale mudelile ja teksti töötlemise viisile spetsiifiline, mistõttu sama lõik võib erinevates seadistustes saada erinevad keelemudeli ennustamatuse taseme (perplexity) hinded.

Võtke näiteks lause: „Palun andke mulle teada, kui teil on küsimusi.“ Keemudel on tõenäoliselt sarnase sõnastusega korduvalt kokku puutunud, mistõttu on iga sõna suhteliselt lihtne ennustada. See ütleb meile midagi lause tuttavlikkuse kohta. See ei ütle midagi lõplikku selle kohta, kes selle kirjutas.

Tekstipulsisagedus mõõdab, kui palju need mustrid varieeruvad

Tekstipulsisagedust ehk "burstiness’i" kasutatakse tehisintellekti tuvastamise aruteludes vabamalt. See kirjeldab üldiselt seda, kui palju kirjutis lõigu lõikes muutub. See võib hõlmata lause pikkuse ja struktuuri varieerumist või muutusi prognoositava ja üllatavama keelekasutuse vahel.

• Madalam tekstipulsisagedus: Laused järgivad ühtlasemat pikkust, struktuuri või rütmi.
• Kõrgem tekstipulsisagedus: Kirjutis liigub lühemate avalduste, pikemate selgituste ja vähem ootuspärase sõnastuse vahel.

Mõni tehisintellekti loodud tekst on järjepidev ja prognoositav, mistõttu tekstipulsisagedus (burstiness) seostus tuvastamisega. Inimkirjutisel võivad olla samad omadused, eriti äri-, akadeemilises ja tehnilises kontekstis. Tehisintellekti mudelid võivad toota ka mitmekesisemat keelt, kui neile antakse selleks vastav vihje või neid redigeeritakse.

GPTZero ütleb, et keelemudeli ennustamatuse tase (perplexity) ja tekstipulsisagedus (burstiness) olid kaks mitmest funktsioonist, mida selle tuvastaja varasem versioon kasutas.

Mida need mõõdikud näitavad: Keelemudeli ennustamatuse tase (Perplexity) ja tekstipulsisagedus kirjeldavad mustreid lõigus. Need mustrid võivad aidata selgitada, miks tekst märgiti, kuid nad ei saa kindlaks teha, kes selle kirjutas.

Mida tehisintellekti tuvastaja hinne tähendab

Tulemus „80% AI“ tundub ühene. Selle tähendus sõltub tuvastajast.

GPTZero kirjeldab protsenti kui oma mudeli hinnangulist tõenäosust, et dokumendi kirjutas tehisintellekt või inimene. Turnitin kasutab protsenti näitamaks, kui palju selle mudel märgib kvalifitseeruvast proosast potentsiaalselt tehisintellekti loodud või teatud tehisintellekti tööriistadega muudetud tekstina.

Sama silt „80% AI“ võib seega tähendada järgmist:

• Tuvastaja hindab 80% tõenäosust, et tehisintellekt lõi dokumendi.
• Tuvastaja on märkinud 80% hinnatud proosast.

Need on erinevad leiud. Üks teeb ennustuse dokumendi kui terviku kohta. Teine tuvastab, kui suur osa tekstist vastas tuvastaja kriteeriumidele.

Tõenäosushinded vajavad teist kontrolli: kalibreerimist. Kui tuvastaja annab 100 dokumendile tehisintellekti tõenäosuseks umbes 80%, peaks umbes 80 neist tegelikult olema tehisintellekti loodud, et hinne oleks hästi kalibreeritud. Mudeli testimine teadaoleva päritoluga näidiste vastu näitab, kui lähedalt selle tõenäosused tegelike tulemustega ühtivad.

Protsent võib tunduda täpne enne, kui selle tähendus või usaldusväärsus on selge. Silt, hindamismeetod ja tuvastaja jõudlus määravad kõik selle, mida number saab toetada.

Suurenda

Piir määrab kindlaks, mis märgitakse

Tuvastaja peab ikkagi otsustama, millal hinne on tegutsemiseks piisavalt kõrge. Seda eraldusjoont nimetatakse piiriks või läveks.

Oletame, et tööriist hindab teksti vahemikus 0 kuni 100 ja märgib kõik, mis on üle 70. Piiri viimine 60 peale jätaks iga hinde muutmata, suurendades samal ajal märgitud dokumentide arvu.

• Madalam piir tuvastab üldiselt rohkem tehisintellekti loodud kirjutisi, kuid märgib ka rohkem inimkirjutatud teksti valesti.
• Kõrgem piir vähendab valesid märkeid, võimaldades samal ajal rohkematel tehisintellekti loodud kirjutistel tuvastamata jääda. See kompromiss kehtib laiemalt klassifitseerimissüsteemide kohta.

Kahel võimalikul veal on erinevad nimed.

• Valepositiivne tulemus tekib siis, kui inimkirjutamine märgitakse tehisintellekti looduks.
• Valenegatiivne tulemus tekib siis, kui tehisintellekti loodud kirjutis jääb tuvastamata.

See, kuhu tuvastaja piiri tõmbab, peegeldab seda, millist viga see soovib vältida. Sellel valikul on suurem kaal, kui märge võib mõjutada hinnet, töökohta või kellegi usaldusväärsust.

Kuidas 2% veamäär võib toota peaaegu 30% valesid märkeid

2% valepositiivse määra mõju sõltub sellest, kui palju inimkirjutatud teksti tuvastaja üle vaatab.

Mõelge hüpoteetilisele 1000 artikli komplektile:

• 50 on tehisintellekti loodud.
• 950 on inimkirjutatud.
• Tuvastaja tabab 90% tehisintellekti loodud artiklitest.
• See märgib ekslikult 2% inimkirjutatud artiklitest.

Siin on see, mis juhtub:

Tuvastaja märgib kokku 64 artiklit. Üheksateist on inimkirjutatud, nii et peaaegu 30% selle märgistustest on valed.

2% ja 30% näitavad erinevaid asju. Tuvastaja märgib ekslikult 2% kõigist inimkirjutatud artiklitest. Need vead moodustavad peaaegu 30% kõigest, mida see märgib.

Numbrid liituvad sel viisil, kuna tuvastaja vaatas läbi palju rohkem inimkirjutatud artikleid kui tehisintellekti looduid. Isegi väike veamäär võib palju suuremale rühmale rakendudes tekitada märkimisväärsel hulgal valesid märkeid.

Termin baasmäär kirjeldab, kui levinud on kontrollitavas materjalis tehisintellekti loodud kirjutis. Kui see osakaal muutub, muutub ka positiivse tulemuse tähendus. Kui tuvastaja tõeliselt positiivsed ja valepositiivsed määrad jäävad samaks, on märge üldiselt usaldusväärsem siis, kui tehisintellekti loodud kirjutis on kogumikus tavaline, ja vähem usaldusväärne siis, kui see on haruldane.

Need numbrid on hüpoteetilised ega kirjelda konkreetset tuvastajat. Reaalses ülevaatuses on tehisintellekti loodud kirjutise osakaal tavaliselt teadmata. See ebakindlus on veel üks põhjus käsitleda märkust põhjusena vaadata asja lähemalt, mitte tõendina selle kohta, kuidas dokument kirjutati.

Täpsus sõltub sellest, mille peal tuvastajat testiti

Täpsusmäär kirjeldab jõudlust teatud tingimustes. Enne selle määra rakendamist mõnele teisele kirjutisele kontrollige järgmist:

• Tuvastaja versioon
• Teksti pikkus, keel, teema ja vorming
• Testmaterjali genereerimiseks kasutatud tehisintellekti mudel ja sätted
• Kas teksti redigeeriti või muudeti tahtlikult
• Inimkirjutatud näidistes esindatud kirjutajad

Alustage tööriista toetatud sisenditest

Turnitin nõuab näiteks vähemalt 300 sõna pikkust proosat. See ütleb, et selle mudel ei tuvasta usaldusväärselt tehisintellekti loodud luuletusi, skripte, koodi ega muid mitteproosalisi vorminguid. Tugev esseejõudlus ütleb seetõttu vähe selle kohta, kuidas sama tuvastaja saab hakkama luuletuse või lühikese e-kirjaga.

Võrrelge testi reaalse maailma kirjutisega

2024. aastal testisid teadlased 12 tuvastajat, kasutades RAID-i – võrdlusalust, mis sisaldab üle 6 miljoni tehisintellekti loodud lõigu 11 mudelis ja kaheksas teemavaldkonnas. Jõudlus langes, kui tuvastajad puutusid kokku võõraste mudelite, erinevate genereerimissätete või tahtlikult muudetud tekstiga.

RAID-i kasutav 2025. aasta väljakutse andis tuttavamates tingimustes tugevamad tulemused. Mitmed osalejad tuvastasid üle 99% masinloodud tekstist, säilitades samal ajal valepositiivsete määraga 5%. Testis kasutatud teemad ja tehisintellekti mudelid olid esindatud ka treeningandmetes.

Tulemused näitavad ühiselt, et tuvastajad võivad hästi toime tulla mitmekesise materjaliga, mille tuvastamiseks neid koolitati, samas kui võõrast materjali on endiselt raskem hinnata.

Vaadake, keda esindati

2023. aasta uuringus liigitasid seitse tuvastajat ekslikult keskmiselt 61,3% 91-st TOEFL-i esseest, mille olid kirjutanud mitte-emakeelsed inglise keele kõnelejad, tehisintellekti looduks. See tulemus kehtib tollal testitud tööriistade ja näidiste kohta. See näitab ka seda, miks üldine täpsusmäär ei pruugi iga kirjutajate rühma jõudlust ühtviisi hästi kirjeldada.

Kuidas lugeda täpsusväidet: Mida lähemal on esitatud tekst testimisel kasutatud materjalile, seda asjakohasemaks teatatud tulemus muutub.

Lõplik dokument näitab vaid osa sellest, kuidas see kirjutati

Tehisintellekt võib kirjutamisprotsessis mängida mitut rolli. Keegi võib seda kasutada teema uurimiseks, märkmete korraldamiseks, lõigu tõlkimiseks, lause lihvimiseks või esimese mustandi koostamiseks.

Need töövood võivad viia väga erinevate dokumentideni. Üks kirjutaja võib kasutada tehisintellekti uurimistööks ja koostada iga lause iseseisvalt. Teine võib tehisintellekti loodud mustandi põhjalikult ümber kirjutada. Kolmas võib lisada ühe loodud lõigu muidu inimkirjutatud artiklile.

Tekstituvastaja näeb esitatud sõnu. Sellel puudub juurdepääs vihjetele, redigeerimistele või otsustele, mis neile eelnesid. Selle hinne ei saa taastada kogu kirjutamisprotsessi ega määrata, kas autor järgis kindlat eeskirja. Näiteks

• Kool võib lubada ajurünnakut, nõudes samal ajal, et õpilased kirjutaksid ülesande ise.
• Kirjastaja võib lubada tehisintellekti abil redigeerimist, kui see on avalikustatud.
• Töökohal võib rohkem hoolida faktilisest täpsusest, konfidentsiaalsusest või allika omistamisest kui sellest, kas tehisintellekt andis sõnastusse oma panuse.

Nende reeglite rakendamine nõuab tõendeid nii protsessi kui ka valmis teksti kohta. Mustandite ajalugu, uuringute märkmed ja kirjutaja selgitus võivad pakkuda konteksti, mida tuvastaja ei suuda. Turnitin soovitab koolitajatel tungivalt mitte kasutada oma tehisintellektiga kirjutamise hinnet õpilase vastase negatiivse meetme ainsa alusena.

Tuvastaja saab tuvastada keelt, mis sarnaneb mustritega, mida see seostab tehisintellektiga. Otsustamine, mis juhtus ja kas see oli lubatud, nõuab põhjalikumat ülevaatust.

Vesimärgid lisavad teistsuguse signaali

Mõned tehisintellekti süsteemid saavad teksti genereerimisel lisada tuvastatava mustri. Seda protsessi nimetatakse vesimärgistamiseks.

Kuidas teksti vesimärk toimib

Google DeepMindi SynthID toob ühe näite:

1. Süsteem kohandab märgi tõenäosusi. See muudab veidi tõenäosust, et mudel valib teatud sõnad või sõnade osad.
2. Need valikud loovad mustri. Vesimärk on loodud jääma lugejale nähtamatuks.
3. Ühilduv tuvastaja kontrollib seda. Tuvastaja analüüsib teksti oodatud statistilise signaali suhtes.

Kuna muster lisatakse genereerimise ajal, võib see anda teavet, mis on seotud teksti loonud süsteemiga.

Mis piirab vesimärkide tuvastamist

• Generaator peab selle lisama. Tehisintellekti süsteem peab vesimärki toetama ja rakendama. Vesimärgi puudumine ei tõenda, et inimene kirjutas teksti.
• Osa mustrist peab säilima. Google teatab, et SynthID peab vastu teatud kärpimisele, sõnade muutmisele ja kergele parafraseerimisele. Ulatuslik ümberkirjutamine või tõlkimine võib selle usaldust vähendada.

Vesimärgid võivad tõendeid tugevdada, kui ühilduv süsteem lõi teksti ja piisavalt palju signaalist on alles. Need ei suuda tuvastada iga tehisintellekti loodud kirjutist.

Muud andmed võivad anda suurema pildi

• Mustandite ajalugu näitab, kuidas dokument aja jooksul muutus.
• Uurimismärkmed seovad väited allikatega.
• Avalikustatud tehisintellekti interaktsioonid näitavad, kus tööriist andis oma panuse.

Need kirjed pakuvad kirjutamisprotsessi kohta otsesemat konteksti kui pelgalt mustripõhine hinne.

Käsitlege märkust ülevaatuse algusena

Tuvastaja tulemus muutub kasulikumaks, kui sellel on määratletud roll. Enne märke alusel tegutsemist peaksid hindajad mõistma, mida tööriist mõõtis, kinnitama, et tekst jääb selle kohaldamisalasse, ja uurima muid saadaolevaid tõendeid.

Viis kontrolli võivad aidata:

1. Lugege hinde definitsiooni. Tehke kindlaks, kas protsent esindab dokumenditaseme tõenäosust või märgitud teksti osakaalu.
2. Kontrollige tööriista kohaldamisala. Kinnitage, et dokumendi keel, pikkus ja vorming vastavad sellele, mida tuvastaja toetab.
3. Vaadake tõendid üle. Uurige esiletõstetud lõike koos mustandite, allikamärkmete ja autori selgitusega.
4. Rakendage asjakohast eeskirja. Tehke kindlaks, millised tehisintellekti kasutused on lubatud ja millised tõendid näitaksid rikkumist.
5. Hinnake tööd ennast. Vaadake üle faktiline täpsus, allika omistamine, originaalsus ja kvaliteet nende endi tingimustel.

Panused peaksid kujundama ülevaatuse põhjalikkust. Toimetaja võib märke abil otsustada, milline artikkel vajab uuesti vaatamist. Otsus, mis mõjutab hinnet, töökohta või avaldamislepingut, nõuab tugevamaid tõendeid ja autorile võimalust oma protsessi selgitada.

Tehisintellekti tuvastaja tihendab keeruka hinnangu hindeks. Selle hinde tõlgendamine nõuab teavet, mida number ei sisalda: mida tööriist mõõtis, millist läve see kasutas, kuidas see sarnase kirjutisega esines ja kui levinud on tehisintellekti loodud tekst ülevaadatavas materjalis. Hinne saab suunata tähelepanu. Tuvastaja hinne võib sellele ülevaatusele kaasa aidata, kuid iga järeldus autorsuse kohta nõuab ka tõendeid kirjutamisprotsessi kohta.

Korduma kippuvad küsimused

Kas tehisintellekti tuvastajad võivad eksida?

Jah. Valepositiivne tulemus tekib siis, kui tuvastaja märgib inimkirjutatud teksti tehisintellekti looduks. Valenegatiivne tulemus tekib siis, kui tehisintellekti loodud tekst jääb tuvastamata. Mõlema vea sagedus sõltub tuvastajast, selle lävest ja sellest, kui sarnane on esitatud tekst selle testimiseks kasutatud materjaliga.

Kui täpsed on tehisintellekti tuvastajad?

Tehisintellekti tuvastajate jaoks pole ühteainsat täpsusmäära. Jõudlus võib erineda keele, pikkuse, teema, kirjutusstiili, genereeriva mudeli ja redigeerimise mahu järgi. Täpsusväide on kõige kasulikum siis, kui testi tingimused sarnanevad ülevaadatava kirjutisega ja tulemus kajastab nii valepositiivseid kui ka edukadi tuvastamisi.

Mida tähendab tehisintellekti tuvastamise protsent?

Definitsioon sõltub tööriistast. See võib esindada hinnangulist tõenäosust, et dokument on tehisintellekti loodud, märgitud kvalifitseeruva teksti protsenti või kindlustunnet tulemuse suhtes. Tuvastaja dokumentatsioon peaks selgitama, millist mõõtmist see kajastab.

Kas tehisintellekti tuvastaja saab tõestada, et keegi kasutas tehisintellekti?

Tuvastaja hinne üksi ei saa tõestada, kuidas dokument loodi. See analüüsib esitatud teksti ilma seda tagantpoolt toetavate vihjete, mustandite, redigeerimiste või uuringuteta. Usaldusväärne ülevaatus võtab hinnet arvesse koos protsessitõendite ja vastuvõetavat tehisintellekti kasutust reguleeriva eeskirjaga.

Miks märgitakse inimkirjutis mõnikord tehisintellektina?

Inimese ja tehisintellekti loodud kirjutised võivad jagada samu statistilisi mustreid. Valemipõhine keel, prognoositav sõnastus, piiratud sõnavara või tuvastaja treeningandmetest erinev stiil võivad aidata kaasa valepositiivsele tulemusele. Uuringud on leidnud ka seda, et mõned 2023. aastal testitud tuvastajad märkisid ebaproportsionaalselt palju mitte-emakeelsete inglise keele kõnelejate kirjutatud esseesid.