Sådan fungerer AI-detektorer, og hvorfor en score alene ikke kan bevise forfatterskab

Indsæt et essay, en artikel eller en e-mail i en AI-detektor, og et par sekunder senere kan den returnere et resultat som "85 % AI".

Virker præcist. Men det kan også være nemt at misforstå.

Detektoren observerede ikke hvordan dokumentet blev skrevet. Den analyserede den færdige tekst for mønstre forbundet med AI-genereret skrift. Afhængigt af værktøjet kan disse 85 % repræsentere den estimerede sandsynlighed for, at AI producerede dokumentet, eller andelen af ​​den tekst, detektoren markerede.

Det gør en AI-detektor nyttig som et signal, især når noget har brug for et nærmere eftersyn. Men scoren har stadig brug for kontekst og understøttende beviser, før nogen drager en konklusion om, hvem der skrev teksten, eller hvordan de oprettede den. At forstå, hvordan detektorer producerer deres scorer, hjælper med at forklare både hvad de kan fange, og hvorfor de nogle gange tager fejl.

Hvad er en AI-detektor?

En AI-skrivedetektor ser på et færdigt stykke tekst og anslår, om det ligner skrift produceret af en sprogmodel. En bruger indsætter typisk teksten eller uploader et dokument. Inden for få sekunder kan værktøjet returnere en mærkat, en procentsats, fremhævede afsnit eller alle tre.

• Lærere og akademiske institutioner bruger dem, når de gennemgår studenterarbejde.
• Udgivere og indholdshold kan bruge dem til at screene indsendt eller bestilt tekst, mens nogle detektorfirmaer markedsfører versioner til ansættelsesteam, der gennemgår ansøgningsmateriale.
• Forfattere tjekker også nogle gange deres eget arbejde for at forstå, hvordan en lærer, redaktør, klient eller platform kan klassificere det.

Bemærk: Plagiatkontrollører tjener et relateret, men separat formål. De sammenligner et dokument med udgivet materiale og andre kilder for at finde matchende tekst. AI-detektorer vurderer mønstre i den indsendte tekst. Et fuldstændig originalt afsnit kan derfor modtage et AI-flag, mens kopieret menneskeskrevet tekst muligvis ikke indeholder stærke signaler om AI-generering.

Sådan analyserer AI-detektorer tekst

Mange AI-detektorer er afhængige af en klassificerer, en maskinlæringsmodel der er trænétat på eksempler på menneskelig og AI-genereret tekst. Når den sammenligner de to, lærer den, hvilke mønstre der har tendens til at optræde i hver, herunder mønstre i ordvalg og sætningsstruktur. Den kigger derefter efter disse mønstre i ny tekst og producerer en forudsigelse.

Hvad detektoren lærer, afhænger af, hvad den ser under træning. Et værktøj, der er trænétat på et begrænset udvalg af skrivning, kan kæmpe med et nyt emne, en ukendt stil eller output fra en AI-model, den ikke er stødt på før. Forskning på tværs af forskellige typer tekst og AI-modeller har vist, at detektionsydelsen kan falde under disse forhold.

Nogle metoder tager en anden tilgang. I stedet for at træne en separat klassificerer bruger de en sprogmodels egne sandsynlighedsestimater til at vurdere, hvor sandsynligt det ville være at producere et afsnit.

• DetectGPT sammenligner for eksempel den oprindelige tekst med let ændrede versioner for at lede efter mønstre forbundet med AI-generering. Dens forskning beskriver dette som en "zero-shot"-metode, fordi den ikke kræver en separat trænet detektor. Resultatet kan omfatte en samlet score, fremhævede sætninger eller begge dele.
• GPTZero siger, at dens markeringer viser, hvilke sætninger der har størst indflydelse på dens overordnede forudsigelse. Da den også evaluerer det bredere dokument, modtager et afsnit, der scannes alene, muligvis ikke det samme resultat, når det vises som en del af et længere stykke.

Ethvert resultat afspejler både teksten og det system, der evaluerer den, hvilket er grunden til, at forskellige detektorer kan nå til forskellige konklusioner om det samme afsnit.

Udvid

Hvad perplexity og burstiness måler

Perplexity og burstiness dukker ofte op i forklaringer på AI-detektion. De kan afsløre nyttige mønstre i en tekst, men ingen af ​​dem peger på en enkelt, entydig AI-måde at skrive på.

En potentielt forvirrende detalje: perplexity laver dobbeltarbejde her. Med små bogstaver er det et statistisk mål. Med et stort P er det os.

Perplexity måler, hvor forudsigelig teksten er

Sprogmodeller genererer tekst ved at tildele sandsynligheder til mulige næste tokens, som kan være hele ord eller dele af ord. Perplexity måler, hvor godt en model kan forudsige tokens i et afsnit.

• Lavere perplexity: Teksten følger mønstre, som modellen finder velkendte.
• Højere perplexity: Ordlyden er mindre forventet.

Scoren er specifik for den model, der udfører evalueringen, og den måde, teksten behandles på, så det samme afsnit kan modtage forskellige perplexity-scorer under forskellige opsætninger.

Tag sætningen: "Giv mig besked, hvis du har nogle spørgsmål." En sprogmodel er sandsynligvis stødt på lignende ordlyd mange gange, hvilket gør hvert ord relativt nemt at forudsige. Det fortæller os noget om sætnings kendskab. Det siger intet afgørende om, hvem der skrev den.

Burstiness måler, hvor meget disse mønstre varierer

Burstiness bruges mere løst i diskussioner om AI-detektion. Det beskriver generelt, hvor meget teksten ændrer sig på tværs af et afsnit. Det kan omfatte variation i sætningslængde og -struktur eller skift mellem meget forudsigeligt og mere overraskende sprog.

• Lavere burstiness: Sætninger følger en mere konsekvent længde, struktur eller rytme.
• Højere burstiness: Teksten bevæger sig mellem kortere udsagn, længere forklaringer og mindre forventet formulering.

Noget AI-genereret tekst er konsistent og forudsigelig, hvilket er grunden til, at burstiness blev forbundet med detektion. Menneskelig skrift kan have de samme kvaliteter, især i forretningsmæssige, akademiske og tekniske sammenhænge. AI-modeller kan også producere mere varieret sprog, når de bliver bedt om det eller redigeret til det.

GPTZero siger, at perplexity og burstiness var to af flere funktioner, der blev brugt af en tidligere version af dens detektor.

Hvad disse mål viser: Perplexity og burstiness beskriver mønstre i et afsnit. Disse mønstre kan hjælpe med at forklare, hvorfor tekst blev markeret, men de kan ikke fastslå, hvem der skrev den.

Hvad en AI-detektors score betyder

Et "80 % AI"-resultat ser ligetil ud. Dets betydning afhænger af detektoren.

GPTZero beskriver procentsatsen som sin models estimerede sandsynlighed for, at AI eller et menneske skrev dokumentet. Turnitin bruger procentsatsen til at vise, hvor meget af den kvalificerende proza dens model markerer som potentielt AI-genereret eller modificeret med visse AI-værktøjer.

Den samme "80 % AI"-mærkat kan derfor betyde:

• Detektoren anslår en 80 % sandsynlighed for, at AI genererede dokumentet.
• Detektoren har markeret 80 % af den prosatekst, den vurderede.

Det er forskellige fund. Den ene fremsætter en forudsigelse om dokumentet som helhed. Den anden identificerer, hvor meget af teksten der matchede detektorens kriterier.

Sandsynlighedsscorer har brug for endnu et tjek: kalibrering. Hvis en detektor giver 100 dokumenter en AI-sandsynlighed på omkring 80 %, bør ca. 80 af dem faktisk være AI-genererede, for at scoren er velkalibreret. Test af modellen mod eksempler med kendt oprindelse viser, hvor tæt dens sandsynligheder matcher virkelige resultater.

En procentsats kan se præcis ud, før dens betydning eller pålidelighed er klar. Mærkaten, scoringsmetoden og detektorens ydeevne bestemmer alt sammen, hvad tallet kan understøtte.

Udvid

Grænsen bestemmer, hvad der bliver markeret

En detektor skal stadig beslutte, hvornår en score er høj nok til at handle på. Den skillelinje kaldes grænsen eller tærsklen.

Antag, at et værktøj scorer tekst fra 0 til 100 og markerer alt over 70. Flytning af grænsen til 60 ville efterlade hver score uændret og samtidig øge antallet af markerede dokumenter.

• En lavere grænse detekterer generelt mere AI-genereret tekst, men markerer også mere menneskelig tekst forkert.
• En højere grænse reducerer forkerte markeringer, samtidig med at det tillades, at mere AI-genereret tekst forbliver uoppdaget. Dette kompromis gælder bredt for klassificeringssystemer.

De to mulige fejl har forskellige navne.

• Et falsk positiv opstår, når menneskeskrevet tekst markeres som AI-genereret.
• Et falsk negativ opstår, når AI-genereret tekst går ubemærket hen.

Hvor en detektor trækker grænsen, afspejler hvilken fejl den er designet til at undgå. Det valg bærer mere vægt, når et flag kan påvirke en karakter, et job eller nogens troværdighed.

Hvordan en fejlrate på 2 % kan producere næsten 30 % forkerte markeringer

Effekten af ​​en falsk-positiv rate på 2 % afhænger af, hvor meget menneskelig tekst detektoren gennemgår.

Overvej et hypotetisk sæt på 1.000 artikler:

• 50 er AI-genererede.
• 950 er menneskeskrevne.
• Detektoren fanger 90 % af de AI-genererede artikler.
• Den markerer fejlagtigt 2 % af de menneskeskrevne artikler.

Her er hvad der sker:

Detektoren markerer 64 artikler i alt. Nitten er menneskeskrevne, så næsten 30 % af dens markeringer er forkerte.

Tallene på 2 % og 30 % måler forskellige ting. Detektoren markerer fejlagtigt 2 % af alle menneskeskrevne artikler. Disse fejl udgør derefter næsten 30 % af alt det, den markerer.

Tallene lægger sammen på denne måde, fordi detektoren gennemgik langt flere menneskeskrevne artikler end AI-genererede. Selv en lille fejlrate kan producere et meningsfuldt antal forkerte markeringer, når den gælder for en meget større gruppe.

Udtrykket baserate beskriver, hvor almindelig AI-genereret skrift er i det materiale, der kontrolleres. Når denne andel ændrer sig, gør betydningen af ​​et positivt resultat det også. Hvis detektorens sande positive og falske positive rater forbliver de samme, vil et flag generelt være mere pålideligt, når AI-genereret skrift er almindelig i samlingen, og mindre pålideligt, når det er sjældent.

Disse tal er hypotetiske og beskriver ikke en bestemt detektor. I en rigtig gennemgang er andelen af ​​AI-genereret tekst normalt ukendt. Den usikkerhed er en anden grund til at behandle et flag som en årsag til at kigge nærmere på det i stedet for som bevis på, hvordan et dokument blev skrevet.

Nøjagtighed afhænger af, hvad detektoren blev testet på

En nøjagtighedsrate beskriver ydeevnen under et bestemt sæt betingelser. Før du anvender denne rate på et andet stykke tekst, skal du kontrollere:

• Detektorversionen
• Tekstens længde, sprog, emne og format
• AI-modellen og de indstillinger, der blev brugt til at generere testmaterialet
• Om teksten blev redigeret eller bevidst modificeret
• De forfattere, der er repræsenteret i de menneskeskrevne prøver

Start med værktøjets understøttede input

Turnitin kræver for eksempel mindst 300 ord med lang form proza. Den siger, at dens model ikke pålideligt detekterer AI-genereret poesi, manuskripter, kode eller andre formater, der ikke er proza. Stærk ydeevne på stile fortæller os derfor meget lidt om, hvordan den samme detektor vil håndtere et digt eller en kort e-mail.

Sammenlign testen med tekst fra den virkelige verden

I 2024 testede forskere 12 detektorer ved hjælp af RAID, et benchmark, der indeholder mere end 6 millioner AI-genererede afsnit på tværs af 11 modeller og otte emneområder. Ydeevnen faldt, når detektorer stødte på ukendte modeller, forskellige genereringsindstillinger eller bevidst modificeret tekst.

En udfordring i 2025 ved hjælp af RAID producerede stærkere resultater under mere genkendelige forhold. Flere deltagere detekterede over 99 % af den maskinskrevne tekst, mens de opretholdt en falsk-positiv rate på 5 %. De emneområder og AI-modeller, der blev brugt i testen, var også repræsenteret i træningsdataene.

Sammen viser resultaterne, at detektorer kan præstere godt på forskelligartet materiale, de er blevet trænet til at genkende, mens ukendt materiale forbliver sværere at vurdere.

Se på, hvem der var repræsenteret

I et studie fra 2023 klassificerede syv detektorer forkert i gennemsnit 61,3 % af 91 TOEFL-stile skrevet af ikke-modersmålstalende engelsktalende som AI-genererede. Det resultat gælder for de værktøjer og prøver, der blev testet på det tidspunkt. Det viser også, hvorfor en samlet nøjagtighedsrate muligvis ikke beskriver ydeevnen ens for alle grupper af forfattere.

Sådan læses en påstand om nøjagtighed: Jo tættere den indsendte tekst er på det materiale, der blev brugt til test, jo mere relevant bliver det rapporterede resultat.

Det endelige dokument viser kun en del af, hvordan det blev skrevet

AI kan spille mange roller i skriveprocessen. Nogen kan bruge det til at undersøge et emne, organisere noter, oversætte et afsnit, finpudse en sætning eller producere et første udkast.

Disse arbejdsprocesser kan føre til meget forskellige dokumenter. Én forfatter kan bruge AI til forskning og sammensætte hver sætning uafhængigt. En anden kan omskrive et AI-genereret udkast væsentligt. En tredje kan tilføje et genereret afsnit til en ellers menneskeskrevet artikel.

En tekstdetektor ser de ord, der blev indsendt. Den har ingen adgang til de prompter, redigeringer eller beslutninger, der gik forud for dem. Dens score kan ikke genskabe hele skriveprocessen eller afgøre, om forfatteren fulgte en bestemt politik. For eksempel:

• En skole kan tillade brainstorming, samtidig med at den kræver, at eleverne skriver opgaven selv.
• En udgiver kan tillade AI-assisteret redigering, når det oplyses.
• En arbejdsplads kan bekymre sig mere om faktuel nøjagtighed, fortrolighed eller kildehenvisning end om, hvorvidt AI bidrog til ordlyden.

Anvendelse af disse regler kræver beviser om processen såvel som den færdige tekst. Udkastshistorik, forskningsnotater og en forfatters forklaring kan give kontekst, som en detektor ikke kan. Turnitin fraråder eksplicit undervisere at bruge sin AI-skrivescore som det eneste grundlag for negative foranstaltninger mod en studerende.

En detektor kan identificere sprog, der ligner de mønstre, den associerer med AI. At beslutte, hvad der skete, og om det var tilladt, kræver en bredere gennemgang.

Vandmærker tilføjer en anden slags signal

Nogle AI-systemer kan tilføje et detekterbart mønster, når de genererer tekst. Denne proces kaldes vandmærkning.

Hvordan et tekstvandmærke fungerer

Google DeepMinds SynthID giver et eksempel:

1. Systemet justerer tokensandsynligheder. Det ændrer en smule på sandsynligheden for, at modellen vælger visse ord eller dele af ord.
2. De valg skaber et mønster. Vandmærket er designet til at forblive usynligt for læseren.
3. En kompatibel detektor tjekker for det. Detektoren analyserer teksten for det forventede statistiske signal.

Fordi mønstret tilføjes under generering, kan det give oplysninger knyttet til det system, der producerede teksten.

Hvad der begrænser vandmærkedetektion

• Generatoren skal tilføje det. AI-systemet skal understøtte og anvende vandmærket. Et manglende vandmærke slår ikke fast, at en person skrev teksten.
• Nok af mønstret skal forblive. Google rapporterer, at SynthID kan modstå en vis beskæring, ordskift og mild omskrivning. Omfattende omskrivning eller oversættelse kan mindske dens tillid.

Vandmærker kan styrke beviserne, når et kompatibelt system genererede teksten, og nok af signalet forbliver. De kan ikke identificere hvert eneste stykke AI-genereret tekst.

Andre optegnelser kan udfylde mere af billedet

• Udkastshistorik viser, hvordan et dokument ændrede sig over tid.
• Forskningsnotater knytter dens påstande til kilder.
• Oplyste AI-interaktioner viser, hvor et værktøj har bidraget.

Disse optegnelser giver mere direkte kontekst om skriveprocessen end blot en mønsterbaseret score.

Behandl et flag som starten på en gennemgang

Et detektorresultat bliver mere nyttigt, når det har en defineret rolle. Før man handler på et flag, bør anmeldere forstå, hvad værktøjet målte, bekræfte, at teksten falder inden for dens rækkevidde, og undersøge de andre tilgængelige beviser.

Fem tjek kan hjælpe:

1. Læs scoredefinitionen. Afgør, om procentsatsen repræsenterer en sandsynlighed på dokumentniveau eller andelen af ​​markeret tekst.
2. Tjek værktøjets rækkevidde. Bekræft, at dokumentets sprog, længde og format matcher det, detektoren understøtter.
3. Gennemgå beviserne. Undersøg de fremhævede afsnit sammen med udkast, kildenoter og forfatterens forklaring.
4. Anvend den relevante politik. Identificer, hvilke anvendelser af AI der er tilladt, og hvilke beviser der ville påvise en overtrædelse.
5. Vurder selve arbejdet. Gennemgå faktuel nøjagtighed, kildehenvisning, originalitet og kvalitet på deres egne præmisser.

Indsatserne bør forme dybden af ​​gennemgangen. En redaktør kan bruge en markering til at beslutte, hvilken artikel der har brug for et nyt blik. En beslutning, der påvirker en karakter, et job eller en udgivelsesaftale, kræver stærkere beviser og en mulighed for forfatteren til at forklare deres proces.

En AI-detektor komprimerer en kompleks vurdering til en score. Fortolkning af denne score kræver information, som tallet ikke indeholder: hvad værktøjet målte, hvilken tærskel det brugte, hvordan det præsterede på sammenlignelig tekst, og hvor almindelig AI-genereret tekst er i det materiale, der gennemgås. Scoren kan lede opmærksomheden. En detektorscore kan bidrage til denne gennemgang, men enhver konklusion om forfatterskab kræver også beviser om skriveprocessen.

Ofte stillede spørgsmål

Kan AI-detektorer tage fejl?

Ja. Et falsk positiv opstår, når en detektor markerer menneskeskrevet tekst som AI-genereret. Et falsk negativ opstår, når AI-genereret tekst forbliver uoppdaget. Hyppigheden af ​​hver fejl afhænger af detektoren, dens tærskel og hvor tæt den indsendte tekst ligner det materiale, der blev brugt til at teste den.

Hvor nøjagtige er AI-detektorer?

Der er ikke én enkelt nøjagtighedsrate for AI-detektorer. Ydeevnen kan variere med sproget, længden, emnet, skrivestilen, genereringsmodellen og mængden af ​​redigering. En påstand om nøjagtighed er mest nyttig, når testforholdene ligner den tekst, der gennemgås, og resultatet rapporterer falske positive såvel som vellykkede detektioner.

Hvad betyder en AI-detektionsprocentsats?

Definitionen afhænger af værktøjet. Den kan repræsentere den estimerede sandsynlighed for, at et dokument er AI-genereret, procentdelen af ​​kvalificerende tekst, der er markeret, eller en form for tillid til resultatet. Detektorens dokumentation bør forklare, hvilken måling den rapporterer.

Kan en AI-detektor bevise, at nogen brugte AI?

En detektorscore alene kan ikke bevise, hvordan et dokument blev oprettet. Den analyserer den indsendte tekst uden at se de prompter, udkast, rettelser eller den forskning, der ligger bag. En pålidelig gennemgang overvejer scoren sammen med procesbeviser og politikken for acceptabel AI-brug.

Hvorfor bliver menneskelig tekst nogle gange markeret som AI?

Menneskelig og AI-genereret tekst kan dele de samme statistiske mønstre. Formel sprogbrug, forudsigelig formulering, begrænset ordforråd eller en stil, der afviger fra detektorens træningsdata, kan bidrage til et falsk positiv. Forskning har også vist, at nogle detektorer, der blev testet i 2023, uforholdsmæssigt markerede stile skrevet af ikke-modersmålstalende engelsktalende.