Så fungerar AI-detektorer och varför ett poängtal ensamt inte bevisar vem som skrivit

Klistra in en uppsats, artikel eller ett e-postmeddelande i en AI-detektor, och några sekunder senare kan den ge ett resultat som ”85 % AI”.

Verkar exakt. Men det kan också vara lätt att missförstå.

Detektorn observerade inte hur dokumentet skrevs. Den analyserade den färdiga texten för att hitta mönster förknippade med AI-genererat skrivande. Beroende på verktyg kan de där 85 procenten representera den uppskattade sannolikheten för att AI producerade dokumentet eller den andel av texten som detektorn flaggade.

Det gör AI-detektorn användbar som en signal, särskilt när något behöver kontrolleras närmare. Men poängtalet behöver ändå ett sammanhang och stödjande bevis innan någon drar en slutsats om vem som skrev texten eller hur den skapades. Att förstå hur detektorer producerar sina poängtal hjälper till att förklara både vad de kan fånga upp och varför de ibland har fel.

Vad är en AI-detektor?

En AI-skrivdetektor tittar på en färdig text och uppskattar om den liknar text producerad av en språkmodell. Användaren brukar klistra in texten eller ladda upp ett dokument. Inom några sekunder kan verktyget returnera en etikett, en procentsats, markerade textpassager eller alla tre.

• Lärare och akademiska institutioner använder dem vid granskning av studentarbeten.
• Förlag och content-team kan använda dem för att granska inlämnade eller beställda texter, medan vissa detektorföretag marknadsför versioner för rekryteringsteam som granskar ansökningshandlingar.
• Skribenter kontrollerar ibland också sitt eget arbete för att förstå hur en lärare, redaktör, uppdragsgivare eller plattform kan komma att klassificera det.

Obs: Plagiatkontroller har ett besläktat men separat syfte. De jämför ett dokument med publicerat material och andra källor för att hitta matchande språk. AI-detektorer bedömer mönster i den inlämnade texten. En helt originell textpassage kan därför få en AI-flaggning, medan kopierad mänsklig text kanske inte innehåller några starka signaler om AI-generering.

Hur AI-detektorer analyserar text

Många AI-detektorer förlitar sig på en klassificerare, en maskininlärningsmodell som tränats på exempel på mänskligt och AI-genererat skrivande. När den jämför de båda lär den sig vilka mönster som tenderar att förekomma i respektive texttyp, inklusive mönster i ordval och meningsbyggnad. Den letar sedan efter dessa mönster i ny text och ger en förutsägelse.

Vad detektorn lär sig beror på vad den ser under träningen. Ett verktyg som har tränats på ett begränsat urval av texter kan få problem med ett nytt ämne, en obekant stil eller utdata från en AI-modell som det inte har stött på tidigare. Forskning över olika typer av texter och AI-modeller har visat att detekteringsprestandan kan sjunka under sådana förhållanden.

Vissa metoder tillämpar ett annat angreppssätt. I stället för att träna en separat klassificerare använder de språkmodellens egna sannolikhetsuppskattningar för att bedöma hur troligt det är att den skulle producera en viss textpassage.

• DetectGPT jämför till exempel originaltexten med något ändrade versioner för att leta efter mönster förknippade med AI-generering. Dess forskning beskriver detta som en ”nollskottsmetod” (zero-shot) eftersom den inte kräver en separat tränad detektor. Resultatet kan innehålla en övergripande poäng, markerade meningar eller båda.
• GPTZero uppger att dess markeringar visar vilka meningar som har störst inverkan på dess övergripande förutsägelse. Eftersom den även utvärderar det vidare dokumentet kan en textpassage som skannas separat få ett annat resultat när den förekommer som en del av en längre text.

Varje resultat återspeglar både texten och det system som utvärderar den, vilket är anledningen till att olika detektorer kan komma fram till olika slutsatser om samma textpassage.

Förstora

Vad perplexity och burstiness mäter

Perplexity och burstiness dyker ofta upp i förklaringar av AI-detektering. De kan avslöja användbara mönster i en text, men inget av dem pekar på ett enda unikt AI-sätt att skriva.

En potentiellt förvirrande detalj: perplexity fyller två funktioner här. Med liten bokstav är det ett statistiskt mått. Med stor bokstav är det vi.

Perplexity mäter hur förutsägbar texten är

Språkmodeller genererar text genom att tilldela sannolikheter till möjliga efterföljande tokens, vilket kan vara hela ord eller delar av ord. Perplexity mäter hur väl en modell kan förutsäga tokens i en textpassage.

• Lägre perplexity: Texten följer mönster som modellen finner bekanta.
• Högre perplexity: Ordvalet är mindre förväntat.

Poängtalet är specifikt för den modell som utför utvärderingen och det sätt på vilket texten bearbetas, vilket gör att samma textpassage kan få olika perplexity-poäng med olika inställningar.

Ta meningen: ”Meddela mig gärna om du har några frågor.” En språkmodell har sannolikt stött på liknande formuleringar många gånger, vilket gör varje ord relativt enkelt att förutsäga. Det berättar något om hur bekant meningen är. Det säger ingenting med säkerhet om vem som skrev den.

Burstiness mäter hur mycket dessa mönster varierar

Begreppet ”burstiness” (variation i meningslängd) används på ett friare sätt i diskussioner om AI-detektering. Det beskriver i allmänhet hur mycket texten förändras över en passage. Det kan omfatta variationer i meningslängd och struktur, eller skiften mellan mycket förutsägbart och mer överraskande språk.

• Lägre ”burstiness”: Meningarna följer en mer konsekvent längd, struktur eller rytm.
• Högre ”burstiness”: Texten rör sig mellan kortare påståenden, längre förklaringar och mindre förväntade formuleringar.

Viss AI-genererad text är konsekvent och förutsägbar, vilket är anledningen till att burstiness förknippades med detektering. Mänskligt skrivande kan ha samma egenskaper, i synnerhet i affärsmässiga, akademiska och tekniska sammanhang. AI-modeller kan också producera mer varierande språk när de uppmanas till det eller redigeras för det.

GPTZero uppger att perplexity och burstiness var två av flera funktioner som användes av en tidigare version av deras detektor.

Vad dessa mått visar: Perplexity och burstiness beskriver mönster i en textpassage. Dessa mönster kan bidra till att förklara varför en text flaggades, men de kan inte fastställa vem som skrev den.

Vad en AI-detektors poängtal innebär

Ett resultat på ”80 % AI” ser enkelt ut. Dess innebörd beror på detektorn.

GPTZero beskriver procentsatsen som modellens uppskattade sannolikhet för att AI eller en människa har skrivit dokumentet. Turnitin använder procentsatsen för att visa hur stor del av den kvalificerade prosan som dess modell flaggar som potentiellt AI-genererad eller modifierad med vissa AI-verktyg.

Samma ”80 % AI”-etikett kan därför innebära:

• Detektorn uppskattar att det är 80 % sannolikhet att AI har genererat dokumentet.
• Detektorn har flaggat 80 % av den prosatext som den bedömde.

Det där är olika slutsatser. Den ena gör en förutsägelse om dokumentet som helhet. Den andra identifierar hur stor del av texten som matchade detektorns kriterier.

Sannolikhetspoäng behöver en till kontroll: kalibrering. Om en detektor ger 100 dokument en AI-sannolikhet på omkring 80 %, bör ungefär 80 av dem faktiskt vara AI-genererade för att poängtalet ska vara välkalibrerat. Att testa modellen mot exempel med kända ursprung visar hur nära dess sannolikheter matchar verkliga utfall.

En procentsats kan verka exakt innan dess innebörd eller tillförlitlighet är klarlagd. Etiketten, poängsättningsmetoden och detektorns prestanda avgör vad siffran faktiskt stöder.

Förstora

Gränsvärdet avgör vad som flaggas

En detektor måste ändå avgöra när ett poängtal är tillräckligt högt för att man ska vidta åtgärder. Den skiljelinjen kallas gränsvärde eller tröskelvärde.

Antag att ett verktyg ger text ett poängtal från 0 till 100 och flaggar allt över 70. Att flytta gränsen till 60 skulle lämna alla poängtal oförändrade samtidigt som antalet flaggade dokument ökar.

• Ett lägre gränsvärde detekterar i regel mer AI-genererad text men flaggar också fler mänskliga texter felaktigt.
• Ett högre gränsvärde minskar antalet felaktiga flaggningar, samtidigt som mer AI-genererad text tillåts passera odetekterad. Denna avvägning gäller generellt för klassificeringssystem.

De två möjliga misstagen har olika namn.

• Ett falskt positivt resultat uppstår när mänsklig text flaggas som AI-genererad.
• Ett falskt negativt resultat uppstår när AI-genererad text förblir odetekterad.

Var en detektor drar gränsen speglar vilket fel den är utformad för att undvika. Det valet väger tyngre när en flaggning kan påverka ett betyg, ett jobb eller någons trovärdighet.

Hur en felprocent på 2 % kan ge nästan 30 % felaktiga flaggningar

Effekten av en falskt positiv frekvens på 2 % beror på hur mycket mänskligt skriven text som detektorn granskar.

Betrakta en hypotetisk uppsättning på 1 000 artiklar:

• 50 är AI-genererade.
• 950 är skrivna av människor.
• Detektorn fångar upp 90 % av de AI-genererade artiklarna.
• Den flaggar felaktigt 2 % av de mänskligt skrivna artiklarna.

Det här händer:

Detektorn flaggar 64 artiklar totalt. Nitton är skrivna av människor, så nästan 30 % av dess flaggningar är felaktiga.

Siffrorna 2 % och 30 % mäter olika saker. Detektorn flaggar felaktigt 2 % av alla mänskligt skrivna artiklar. Dessa misstag utgör sedan nästan 30 % av allt den flaggar.

Siffrorna blir så här eftersom detektorn granskade betydligt fler mänskligt skrivna artiklar än AI-genererade. Även en liten felprocent kan ge upphov till ett betydande antal felaktiga flaggningar när den tillämpas på en mycket större grupp.

Termen basfrekvens (base rate) beskriver hur vanligt förekommande AI-genererad text är i det material som kontrolleras. När den andelen förändras, förändras även innebörden av ett positivt resultat. Om detektorns frekvenser för sanna positiva och falska positiva resultat förblir desamma blir en flaggning i regel mer tillförlitlig när AI-genererad text är vanlig i samlingen och mindre tillförlitlig när den är sällsynt.

Dessa siffror är hypotetiska och beskriver inte en specifik detektor. Vid en verklig granskning är andelen AI-genererad text vanligtvis okänd. Den osäkerheten är ytterligare ett skäl till att betrakta en flaggning som en anledning att titta närmare snarare än som ett bevis på hur ett dokument har skrivits.

Träffsäkerheten beror på vad detektorn testades på

En träffsäkerhet beskriver prestandan under en viss uppsättning förhållanden. Innan du tillämpar den siffran på en annan text bör du kontrollera:

• Detektorversionen
• Textens längd, språk, ämne och format
• Den AI-modell och de inställningar som användes för att generera testmaterialet
• Huruvida texten har redigerats eller medvetet modifierats
• De skribenter som representeras i de mänskligt skrivna proven

Börja med verktygets stödda indata

Turnitin kräver till exempel minst 300 ord i lång löpande prosa. De uppger att deras modell inte tillförlitligt detekterar AI-genererad poesi, manus, kod eller andra format än löpande text. Stark prestanda på uppsatser berättar därmed lite om hur samma detektor hanterar en dikt eller ett kort e-postmeddelande.

Jämför testet med verklig text

År 2024 testade forskare 12 detektorer med hjälp av RAID, ett riktmärke (benchmark) som innehåller mer än 6 miljoner AI-genererade textpassager fördelade på 11 modeller och åtta ämnesområden. Prestandan sjönk när detektorer stötte på obekanta modeller, andra genereringsinställningar eller medvetet modifierad text.

En utmaning från 2025 som använde RAID gav starkare resultat under mer bekanta förhållanden. Flera deltagare detekterade över 99 % av den maskingenererade texten samtidigt som de höll en falskt positiv frekvens på 5 %. De ämnesområden och AI-modeller som användes i testet fanns också representerade i träningsdata.

Sammantaget visar resultaten att detektorer kan prestera väl på varierat material som de har tränats på att känna igen, medan obekant material förblir svårare att bedöma.

Titta på vilka som representerades

I en studie från 2023 klassificerade sju detektorer felaktigt i genomsnitt 61,3 % av 91 TOEFL-uppsatser skrivna av icke-infödda engelsktalande som AI-genererade. Det resultatet gäller för de verktyg och urval som testades vid tillfället. Det visar också varför en generell träffsäkerhet kanske inte beskriver prestandan lika bra för alla grupper av skribenter.

Så tolkar du ett påstående om träffsäkerhet: Ju likare testmaterialet den inlämnade texten är, desto mer relevant blir det rapporterade resultatet.

Det slutgiltiga dokumentet visar bara en del av hur det skrevs

AI kan spela många roller i skrivprocessen. Någon kanske använder den för att göra efterforskningar i ett ämne, organisera anteckningar, översätta en textpassage, finputsa en mening eller ta fram ett första utkast.

Dessa arbetsflöden kan leda till mycket olika dokument. En skribent kanske använder AI för efterforskningar och författar varje mening självständigt. En annan kanske omarbetar ett AI-genererat utkast i grunden. En tredje kanske lägger till ett genererat stycke i en i övrigt mänskligt skriven artikel.

En textdetektor ser de ord som har lämnats in. Den har ingen tillgång till de prompter, redigeringar eller beslut som föregick dem. Dess poängtal kan inte återskapa hela skrivprocessen eller fastställa om författaren följde en viss policy. Till exempel:

• En skola kan tillåta idéskapande (brainstorming) samtidigt som den kräver att studenterna skriver uppgiften själva.
• Ett förlag kan tillåta AI-stödd redigering när den redovisas.
• En arbetsplats kan bry sig mer om faktauffekter, sekretess eller källhänvisningar än om huruvida AI har bidragit till formuleringarna.

Att tillämpa dessa regler kräver bevis om processen såväl som den färdiga texten. Utkastshistorik, forskningsanteckningar och en författares förklaring kan ge ett sammanhang som en detektor inte kan erbjuda. Turnitin avråder uttryckligen lärare från att använda dess poäng för AI-skrivande som enda grund för negativa åtgärder mot en student.

En detektor kan identifiera språk som liknar de mönster den förknippar med AI. Att avgöra vad som har hänt, och om det var tillåtet, kräver en bredare genomgång.

Vattenstämplar tillför en annan typ av signal

Vissa AI-system kan lägga till ett detekterbart mönster när de genererar text. Denna process kallas vattenmärkning.

Hur en textvattenstämpel fungerar

Google DeepMinds SynthID utgör ett exempel:

1. Systemet justerar tokensannolikheter. Det ändrar en aning sannolikheten för att modellen ska välja vissa ord eller delar av ord.
2. De valen skapar ett mönster. Vattenstämplarna är utformade för att förbli osynliga för läsaren.
3. En kompatibel detektor söker efter den. Detektorn analyserar texten efter den förväntade statistiska signalen.

Eftersom mönstret läggs till under genereringen kan det tillhandahålla information som är kopplad till det system som producerade texten.

Vad som begränsar detektering av vattenstämplar

• Generatorn måste lägga till det. AI-systemet måste stödja och tillämpa vattenstämplar. Att en vattenstämpel saknas bevisar inte att en människa har skrivit texten.
• Tillräckligt mycket av mönstret måste finnas kvar. Google uppger att SynthID tål viss beskärning, ordbyten och mild parafrasering. Omfattande omskrivning eller översättning kan minska dess träffsäkerhet.

Vattenstämplar kan stärka bevisen när ett kompatibelt system har genererat texten och tillräckligt mycket av signalen finns kvar. De kan inte identifiera varje enskild AI-genererad text.

Andra register kan ge en fylligare bild

• Utkastshistorik visar hur ett dokument förändrades över tid.
• Forskningsanteckningar kopplar dess påståenden till källor.
• Redovisade AI-interaktioner visar var ett verktyg har bidragit.

Dessa register ger ett mer direkt sammanhang kring skrivprocessen än en enbart mönsterbaserad poäng.

Betrakta en flaggning som starten på en granskning

Ett detektorresultat blir mer användbart när det har en definierad roll. Innan man agerar på en flaggning bör granskare förstå vad verktyget mäter, bekräfta att texten ryms inom dess omfattning och granska de övriga tillgängliga bevisen.

Fem kontrollpunkter kan vara till hjälp:

1. Läs definitionen av poängtalet. Fastställ om procentsatsen representerar en sannolikhet på dokumentsnivå eller andelen flaggad text.
2. Kontrollera verktygets omfattning. Bekräfta att dokumentets språk, längd och format matchar det som detektorn har stöd för.
3. Granska bevisen. Undersök de markerade textpassagerna tillsammans med utkast, källanteckningar och författarens förklaring.
4. Tillämpa gällande policy. Identifiera vilka AI-användningsområden som är tillåtna och vilka bevis som skulle visa på ett avsteg.
5. Bedöm själva verket. Granska faktauppgifter, källhänvisningar, originalitet och kvalitet utifrån deras egna meriter.

Insatserna bör avgöra hur djupgående granskningen blir. En redaktör kan använda en flaggning för att avgöra vilken artikel som behöver en ny genomgång. Ett beslut som påverkar ett betyg, ett jobb eller ett utgivningsavtal kräver starkare bevis och en möjlighet för författaren att förklara sin process.

En AI-detektor komprimerar en komplex bedömning till ett poängtal. Att tolka det poängtalet kräver information som siffran inte innehåller: vad verktyget mätte, vilket tröskelvärde det använde, hur det presterade på jämförbar text och hur vanlig AI-genererad text är i det material som granskas. Poängtalet kan styra uppmärksamheten. Ett detektorpoäng kan bidra till den granskningen, men varje slutsats om upphovsrörelse eller författarskap kräver också bevis om skrivprocessen.

Vanliga frågor och svar

Kan AI-detektorer ha fel?

Ja. En falskt positiv (false positive) uppstår när en detektor flaggar mänsklig text som AI-genererad. En falskt negativ uppstår när AI-genererad text förblir odetekterad. Frekvensen av respektive fel beror på detektorn, dess tröskelvärde och hur lik den inlämnade texten är det material som användes för att testa den.

Hur exakta är AI-detektorer?

Det finns ingen enskild träffsäkerhet för AI-detektorer. Prestandan kan variera beroende på språk, längd, ämne, skrivstil, genereringsmodell och omfattning av redigering. Ett påstående om träffsäkerhet är som mest användbart när testförhållandena liknar den text som granskas och resultatet redovisar både falskt positiva resultat och lyckade detekteringar.

Vad betyder en procentsats för AI-detektering?

Definitionen beror på verktyget. Den kan representera den uppskattade sannolikheten för att ett dokument är AI-genererat, procentandelen flaggad kvalificerad text eller en form av konfidensgrad för resultatet. Detektorns dokumentation bör förklara vilket mått den rapporterar.

Kan en AI-detektor bevisa att någon har använt AI?

Enbart ett detektorpoäng kan inte bevisa hur ett dokument har skapats. Det analyserar den inlämnade texten utan att se de prompter, utkast, ändringar eller den forskning som ligger bakom den. En pålitlig granskning väger poängtalet mot processbevis och den policy som styr acceptabel AI-användning.

Varför flaggas mänsklig text ibland som AI?

Mänskligt och AI-genererat skrivande kan dela samma statistiska mönster. Formelartat språk, förutsägbara formuleringar, begränsat ordförråd eller en stil som skiljer sig från detektorns träningsdata kan bidra till ett falskt positivt resultat. Forskning har också visat att vissa detektorer som testades 2023 oproportionerligt ofta flaggade uppsatser skrivna av icke-infödda engelsktalande.