Slik fungerer KI-detektorer og hvorfor en poengsum alene ikke kan bevise forfatterskap

Lim inn et essay, en artikkel eller en e-post i en KI-detektor, og noen sekunder senere kan den returnere et resultat som «85 % KI».

Virker presist. Men det kan også være lett å misforstå.

Detektoren observerte ikke hvordan dokumentet ble skrevet. Den analyserte den ferdige teksten for mønstre knyttet til KI-generert skriving. Avhengig av verktøy kan de 85 prosentene representere den anslåtte sannsynligheten for at KI produserte dokumentet, eller andelen av teksten detektoren merket.

Det gjør en KI-detektor nyttig som et signal, spesielt når noe trenger en nærmere titt. Men poengsummen trenger fremdeles kontekst og støttebevis før noen trekker en konklusjon om hvem som skrev teksten, eller hvordan de opprettet den. Å forstå hvordan detektorer produserer poengsummene sine, bidrar til å forklare både hva de kan fange opp, og hvorfor de av og til tar feil.

Hva er en KI-detektor?

En KI-skrivedetektor ser på et ferdig tekstverk og anslår om det ligner skriving produsert av en språkmodell. En bruker limer vanligvis inn teksten eller laster opp et dokument. I løpet av sekunder kan verktøyet returnere en etikett, en prosentandel, uthevede passasjer eller alle tre.

• Lærere og akademiske institusjoner bruker dem når de gjennomgår studentarbeid.
• Utgivere og innholdsteam kan bruke dem til å sjekke innlevert eller bestilt skriving, mens enkelte detektorselskaper markedsfører versjoner for ansettelsesteam som går gjennom søknadsmateriell.
• Forfattere sjekker også av og til sitt eget arbeid for å forstå hvordan en lærer, redaktør, oppdragsgiver eller plattform kan klassifisere det.

Merk: Plagiatkontrollører tjener et beslektet, men separat formål. De sammenligner et dokument med publisert materiale og andre kilder for å finne matchende språk. KI-detektorer vurderer mønstre i den innsendte teksten. En helt original passasje kan derfor motta en KI-markering, mens kopiert menneskelig skriving kanskje ikke inneholder noen sterke signaler om KI-generering.

Hvordan KI-detektorer analyserer tekst

Mange KI-detektorer baserer seg på en klassifiserer, en maskinlæringsmodell som er trent på eksempler på menneskelig og KI-generert skriving. Mens den sammenligner de to, lærer den hvilke mønstre som har en tendens til å dukke opp i hver av dem, inkludert mønstre i ordvalg og setningsstruktur. Den leter deretter etter disse mønstrene i ny tekst og produserer en prediksjon.

Hva detektoren lærer, avhenger av hva den ser under trening. Et verktøy som er trent på et begrenset utvalg skriving, kan slite med et nytt emne, en ukjent stil eller utdata fra en KI-modell den ikke har møtt før. Forskning på tvers av ulike typer tekst og KI-modeller har funnet at deteksjonsytelsen kan falle under slike forhold.

Noen metoder tar en annen tilnærming. I stedet for å trene en separat klassifiserer, bruker de en språkmodells egne sannsynlighetsestimater til å vurdere hvor sannsynlig det ville være at den produserte en passasje.

• DetectGPT sammenligner for eksempel originalteksten med litt endrede versjoner for å lete etter mønstre knyttet til KI-generering. Forskningen deres beskriver dette som en «null-skudds»-metode fordi den ikke krever en separat trenet detektor. Resultatet kan inkludere en helhetlig poengsum, uthevede setninger eller begge deler.
• GPTZero sier at høydepunktene viser hvilke setninger som har størst innflytelse på den helhetlige prediksjonen. Fordi den også evaluerer det bredere dokumentet, vil en passasje som skannes alene, kanskje ikke motta det samme resultatet når den fremstår som en del av et lengre stykke.

Hvert resultat reflekterer både teksten og systemet som evaluerer den, noe som er grunnen til at forskjellige detektorer kan komme til forskjellige konklusjoner om den samme passasjen.

Forstørr

Hva perplexity og språkflyt måler

Perplexity og språkflyt dukker ofte opp i forklaringer på KI-deteksjon. De kan avdekke nyttige mønstre i et skriftstykke, men ingen av dem peker på en enkelt, unikt KI-preget måte å skrive på.

En potensielt forvirrende detalj: perplexity gjør en dobbel jobb her. Med små bokstaver er det et statistisk mål. Med stor P er det oss.

Perplexity måler hvor forutsigbar teksten er

Språkmodeller genererer tekst ved å tilordne sannsynligheter til mulige neste tokens, som kan være hele ord eller deler av ord. Perplexity måler hvor godt en modell kan forutsi tokens i en passasje.

• Lavere perplexity: Teksten følger mønstre som modellen kjenner igjen.
• Høyere perplexity: Ordlyden er mindre forventet.

Poengsummen er spesifikk for modellen som utfører evalueringen, og måten teksten behandles på, slik at den samme passasjen kan motta forskjellige perplexity-skårer under forskjellige oppsett.

Ta setningen «Gi meg gjerne beskjed hvis du har noen spørsmål.» En språkmodell har sannsynligvis møtt lignende ordlyd mange ganger, noe som gjør hvert ord relativt enkelt å forutsi. Det forteller oss noe om setningens gjenkjennelighet. Det sier ingenting endelig om hvem som skrev den.

Språkflyt måler hvor mye disse mønstrene varierer

Språkflyt brukes løsere i diskusjoner om KI-deteksjon. Det beskriver generelt hvor mye teksten endrer seg gjennom en passasje. Det kan inkludere variasjon i setningslengde og -struktur, eller skifter mellom svært forutsigbart og mer overraskende språk.

• Lavere språkflyt: Setningene følger en mer konsistent lengde, struktur eller rytme.
• Høyere språkflyt: Teksten beveger seg mellom kortere utsagn, lengre forklaringer og mindre forventet ordlyd.

Noe KI-generert tekst er konsistent og forutsigbar, noe som er grunnen til at språkflyt ble knyttet til deteksjon. Menneskelig skriving kan ha de samme egenskapene, spesielt i forretningsmessige, akademiske og tekniske sammenhenger. KI-modeller kan også produsere mer variert språk når de blir bedt om det eller redigert til å gjøre det.

GPTZero sier at perplexity og språkflyt var to av flere funksjoner som ble brukt av en tidligere versjon av detektoren deres.

Hva disse målene viser: Perplexity og språkflyt beskriver mønstre i en passasje. Slike mønstre kan bidra til å forklare hvorfor tekst ble merket, men de kan ikke slå fast hvem som skrev den.

Hva en KI-detektors poengsum betyr

Et «80 % KI»-resultat ser enkelt ut. Betydningen av det avhenger av detektoren.

GPTZero beskriver prosenten som modellens anslåtte sannsynlighet for at KI eller et menneske skrev dokumentet. Turnitin bruker prosenten til å vise hvor mye av den kvalifiserende teksten modellen merker som potensielt KI-generert eller modifisert med visse KI-verktøy.

Den samme «80 % KI»-etikken kan derfor bety:

• Detektoren anslår en 80 % sjanse for at KI genererte dokumentet.
• Detektoren har merket 80 % av teksten den vurderte.

Dette er forskjellige funn. Det ene gir en spådom om dokumentet som helhet. Det andre identifiserer hvor mye av teksten som samsvarte med detektorens kriterier.

Sannsynlighetsscorene trenger en ny sjekk: kalibrering. Hvis en detektor gir 100 dokumenter en KI-sannsynlighet på rundt 80 %, bør om lag 80 av dem faktisk være KI-genererte for at poengsummen skal være godt kalibrert. Å teste modellen mot eksempler med kjente opprinnelser viser hvor nøye sannsynlighetene samsvarer med virkelige utfall.

En prosentandel kan virke nøyaktig før betydningen eller påliteligheten er klar. Etiketten, poengsummetoden og detektorens ytelse avgjør alle hva tallet kan støtte.

Forstørr

Grenseverdien avgjør hva som blir merket

En detektor må fremdeles avgjøre når en poengsum er høy nok til å handle på. Den delelinjen kalles grenseverdien eller terskelen.

Tenk deg at et verktøy gir tekst en poengsum fra 0 til 100 og merker alt over 70. Å flytte grensen til 60 ville la hver poengsum være uendret samtidig som det øker antall merkede dokumenter.

• En lavere grenseverdi oppdager generelt mer KI-generert skriving, men merker også mer menneskelig skriving feilaktig.
• En høyere grenseverdi reduserer feilaktige markeringer, samtidig som den tillater at mer KI-generert skriving forblir uoppdaget. Denne avveiningen gjelder generelt for klassifiseringssystemer.

De to mulige feilene har forskjellige navn.

• En falsk positiv oppstår når menneskelig skriving merkes som KI-generert.
• En falsk negativ oppstår når KI-generert skriving går uoppdaget.

Hvor en detektor trekker grensen, gjenspeiler hvilken feil den er utformet for å unngå. Det valget veier tyngre når en markering kan påvirke en karakter, en jobb eller noens troverdighet.

Hvordan en feilrate på 2 % kan produsere nesten 30 % feilaktige markeringer

Effekten av en falsk-positiv-rate på 2 % avhenger av hvor mye menneskeskrevet tekst detektoren gjennomgår.

Tenk deg et hypotetisk sett med 1 000 artikler:

• 50 er KI-genererte.
• 950 er menneskeskrevne.
• Detektoren fanger opp 90 % av de KI-genererte artiklene.
• Den feilmerker 2 % av de menneskeskrevde artiklene.

Dette er det som skjer:

Detektoren merker 64 artikler totalt. Nitten er menneskeskrevne, så nesten 30 % av markeringene er feil.

Tallene på 2 % og 30 % måler ulike ting. Detektoren feilmerker 2 % av all menneskeskrevet teksten. Disse feilene utgjør deretter nesten 30 % av alt den merker.

Tallene summerer seg opp på denne måten fordi detektoren gjennomgikk langt flere menneskeskrevde artikler enn KI-genererte. Selv en liten feilrate kan produsere et betydelig antall feilaktige markeringer når den gjelder en mye større gruppe.

Begrepet grunnopptak beskriver hvor vanlig KI-generert skriving er i materialet som sjekkes. Etter hvert som denne andelen endres, endres også betydningen av et positivt resultat. Hvis detektorens sanne positive og falske positive rater forblir de samme, vil en markering generelt være mer pålitelig når KI-generert skriving er vanlig i samlingen, og mindre pålitelig når den er sjelden.

Disse tallene er hypotetiske og beskriver ikke en bestemt detektor. I en virkelig gjennomgang er andelen KI-generert skriving vanligvis ukjent. Den usikkerheten er en annen grunn til å behandle en markering som en grunn til å se nærmere etter, snarere enn et bevis på hvordan et dokument ble skrevet.

Nøyaktigheten avhenger av hva detektoren ble testet på

En nøyaktighetsprosent beskriver ytelsen under et bestemt sett med forhold. Før du bruker denne prosenten på et annet skriftstykke, sjekk:

• Detektorversjonen
• Tekstens lengde, språk, emne og format
• KI-modellen og innstillingene som ble brukt til å generere testmaterialet
• Hvorvidt teksten ble redigert eller bevisst modifisert
• Forfatterne som er representert i de menneskeskrevne utvalgene

Start med verktøyets støttede inndata

Turnitin krever for eksempel minst 300 ord med langformattekst. Den opplyser at modellen ikke på en pålitelig måte oppdager KI-generert poesi, skript, kode eller andre formater enn løpende tekst. Sterk ytelse på essays forteller oss derfor lite om hvordan den samme detektoren vil håndtere et dikt eller en kort e-post.

Sammenlign testen med virkelighetens skriving

I 2024 testet forskere 12 detektorer ved hjelp av RAID, en referanseindeks som inneholder mer enn 6 millioner KI-genererte passasjer på tvers av 11 modeller og åtte fagområder. Ytelsen falt da detektorer møtte ukjente modeller, ulike genereringsinnstillinger eller bevisst modifisert tekst.

En utfordring fra 2025 som brukte RAID, produserte sterkere resultater under mer kjente forhold. Flere deltakere oppdaget over 99 % av den maskingenererte teksten samtidig som de opprettholdt en falsk-positiv-rate på 5 %. Fagområdene og KI-modellene som ble brukt i testen, var også representert i treningsdataene.

Resultatene viser samlet sett at detektorer kan prestere godt på variert materiale som de ble trent opp til å gjenkjenne, mens ukjent materiale forblir vanskeligere å vurdere.

Se på hvem som var representert

I en studie fra 2023 klassifiserte sju detektorer feilaktig i gjennomsnitt 61,3 % av 91 TOEFL-essays skrevet av ikke-morsmålsspråklige i engelsk som KI-generert. Det resultatet gjelder for verktøyene og utvalgene som ble testet på det tidspunktet. Det viser også hvorfor en generell nøyaktighetsprosent kanskje ikke beskriver ytelsen like godt for alle grupper forfattere.

Slik leser du en påstand om nøyaktighet: Jo nærmere den innsendte teksten er materialet som ble brukt i testingen, desto mer relevant blir det rapporterte resultatet.

Det endelige dokumentet viser bare en del av hvordan det ble skrevet

KI kan spille mange roller i skriveprosessen. Noen kan bruke den til å utforske et emne, organisere notater, oversette en passasje, pusse på en setning eller produsere et første utkast.

Slike arbeidsflyter kan føre til svært forskjellige dokumenter. Én forfatter kan bruke KI til forskning og komponere hver setning uavhengig. En annen kan omskrive et KI-generert utkast vesentlig. En tredje kan legge til ett generert avsnitt i en ellers menneskeskrevet artikkel.

En tekstdetektor ser ordene som ble sendt inn. Den har ingen tilgang til ledetekstene, redigeringene eller beslutningene som kom før dem. Poengsummen dens kan ikke gjenskape hele skriveprosessen eller fastslå om forfatteren fulgte en bestemt retningslinje. For eksempel,

• En skole kan tillate idémyldring samtidig som den krever at studentene skriver oppgaven selv.
• En utgiver kan tillate KI-assistert redigering når det oppgis.
• En arbeidsplass kan bry seg mer om faktanøyaktighet, konfidensialitet eller kildehenvisning enn om KI bidro til ordlyden.

Å anvende disse reglene krever bevis om selve prosessen i tillegg til den ferdige teksten. Utkastshistorikk, forskningsnotater og en forfatters forklaring kan gi en kontekst som en detektor ikke kan. Turnitin fraråder eksplisitt lærere å bruke sin KI-skrivescore som eneste grunnlag for negative tiltak mot en student.

En detektor kan identifisere språk som ligner mønstrene den assosierer med KI. Å avgjøre hva som skjedde, og om det var tillatt, krever en bredere gjennomgang.

Vannmerker legger til en annen type signal

Noen KI-systemer kan legge til et gjenkjennelig mønster mens de genererer tekst. Denne prosessen kalles vannmerking.

Hvordan et tekstvannmerke fungerer

Google DeepMinds SynthID gir ett eksempel:

1. Systemet justerer tokensannsynligheter. Det endrer litt på sannsynligheten for at modellen vil velge visse ord eller deler av ord.
2. Disse valgene skaper et mønster. Vannmerket er utformet for å forbli usynlig for leseren.
3. En kompatibel detektor sjekker etter det. Detektoren analyserer teksten for det forventede statistiske signalet.

Fordi mønsteret legges til under generering, kan det gi informasjon knyttet til systemet som produserte teksten.

Hva som begrenser vannmerkedeteksjon

• Generatoren må legge det til. KI-systemet må støtte og bruke vannmerket. Et manglende vannmerke slår ikke fast at et menneske skrev teksten.
• Nok av mønsteret må være intakt. Google rapporterer at SynthID tåler noe beskjæring, ordendringer og mild parafrasering. Omfattende omskriving eller oversettelse kan redusere tilliten til det.

Vannmerker kan styrke bevisene når et kompatibelt system genererte teksten og nok av signalet er intakt. De kan ikke identifisere alt som er KI-generert.

Andre registreringer kan utfylle bildet

• Utkastshistorikk viser hvordan et dokument endret seg over tid.
• Forskningsnotater knytter påstandene i teksten til kilder.
• Oppgitte KI-interaksjoner viser hvor et verktøy bidro.

Disse oppføringene gir mer direkte kontekst om skriveprosessen enn bare en mønsterbasert poengsum alene.

Behandle en markering som starten på en gjennomgang

Et detektorresultat blir mer nyttig når det har en definert rolle. Før man handler ut fra en markering, bør de som vurderer, forstå hva verktøyet målte, bekrefte at teksten faller innenfor dets virkeområde, og undersøke de andre tilgjengelige bevisene.

Fem sjekker kan være til hjelp:

1. Les definisjonen av poengsummen. Bestem om prosenten representerer en sannsynlighet på dokumentnivå eller andelen merket tekst.
2. Sjekk verktøyets omfang. Bekreft at dokumentets språk, lengde og format samsvarer med det detektoren støtter.
3. Gå gjennom bevisene. Undersøk de uthevede passasjene sammen med utkast, kildenotater og forfatterens forklaring.
4. Bruk de relevante retningslinjene. Identifiser hvilken bruk av KI som er tillatt, og hvilke bevis som vil demonstrere et brudd.
5. Vurder selve arbeidet. Gå gjennom faktanøyaktighet, kildehenvisning, originalitet og kvalitet på egne premisser.

Alvoret i situasjonen bør styre dybden på gjennomgangen. En redaktør kan bruke en markering til å avgjøre hvilken artikkel som trenger en ny titt. En beslutning som påvirker karakterer, jobb eller utgivelsesavtale, krever sterkere bevis og en mulighet for forfatteren til å forklare prosessen sin.

En KI-detektor komprimerer en kompleks vurdering til en poengsum. Å tolke den poengsummen krever informasjon som tallet ikke inneholder: hva verktøyet målte, hvilken terskelverdi det brukte, hvordan det presterte på sammenlignbar skriving, og hvor vanlig KI-generert tekst er i materialet som gjennomgås. Poengsummen kan styre oppmerksomheten. En detektorpoengsum kan bidra til den gjennomgangen, men en konklusjon om forfatterskap krever også bevis om skriveprosessen.

Ofte stilte spørsmål

Kan KI-detektorer ta feil?

Ja. En falsk positiv oppstår når en detektor merker menneskeskrevet tekst som KI-generert. En falsk negativ oppstår når KI-generert tekst forblir uoppdaget. Hvor ofte hver feil oppstår, avhenger av detektoren, terskelverdien og hvor lik den innsendte teksten er materialet som ble brukt til å teste den.

Hvor nøyaktige er KI-detektorer?

Det finnes ingen enkeltstående nøyaktighetsprosent for KI-detektorer. Ytelsen kan variere med språk, lengde, emne, skriftstil, genererende modell og mengde redigering. En påstand om nøyaktighet er mest nyttig når testforholdene ligner på teksten som vurderes, og resultatet rapporterer så vel falske positive som vellykkede deteksjoner.

Hva betyr en KI-deteksjonsprosent?

Definisjonen avhenger av verktøyet. Den kan representere den anslåtte sannsynligheten for at et dokument er KI-generert, prosenten av kvalifiserende tekst som er merket, eller en form for tillit til resultatet. Detektorens dokumentasjonsmateriell bør forklare hvilken måling den rapporterer.

Kan en KI-detektor bevise at noen brukte KI?

En detektorpoengsum alene kan ikke bevise hvordan et dokument ble opprettet. Den analyserer den innsendte teksten uten å se ledetekstene, utkastene, redigeringene eller forskningen bak den. En pålitelig gjennomgang vurderer poengsummen opp mot prosessbevis og retningslinjene for akseptabel KI-bruk.

Hvorfor blir menneskelig skriving noen ganger merket som KI?

Menneskelig og KI-generert skriving kan dele de samme statistiske mønstrene. Formelpreget språk, forutsigbar ordlyd, begrenset vokabular eller en stil som avviker fra detektorens treningsdata, kan bidra til en falsk positiv. Forskning har også funnet at noen detektorer som ble testet i 2023, uforholdsmessig merket essays skrevet av ikke-morsmålsspråklige i engelsk.