Hoe AI-detectoren werken en waarom een score alleen geen auteurschap kan bewijzen

Plak een essay, artikel of e-mail in een AI-detector en een paar seconden later verschijnt er mogelijk een resultaat zoals "85% AI".

Lijkt precies. Maar het kan ook gemakkelijk verkeerd worden geïnterpreteerd.

De detector heeft niet geobserveerd hoe het document is geschreven. Het heeft de voltooiende tekst geanalyseerd op patronen die geassocieerd worden met AI-gegenereerd schrijfwerk. Afhankelijk van de tool kan die 85% de geschatte waarschijnlijkheid vertegenwoordigen dat AI het document heeft geproduceerd, of het aandeel van de tekst dat de detector heeft gemarkeerd.

Dat maakt een AI-detector nuttig als signaal, met name wanneer iets nader moet worden bekeken. Maar de score heeft nog steeds context en ondersteunend bewijs nodig voordat iemand een conclusie trekt over wie de tekst heeft geschreven of hoe deze is gemaakt. Begrijpen hoe detectoren hun scores genereren helpt te verklaren wat ze kunnen onderscheppen en waarom ze het soms bij het verkeerde eind hebben.

Wat is een AI-detector?

Een AI-schrijfdetector bekijkt een voltooid stuk tekst en schat in of het lijkt op schrijfwerk dat door een taalmodel is geproduceerd. Een gebruiker plakt meestal de tekst in de tool of uploadt een document. Binnen enkele seconden kan de tool een label, een percentage, gemarkeerde passages of alle drie retourneren.

• Docenten en academische instellingen gebruiken ze bij het beoordelen van studentenwerk.
• Uitgevers en contentteams kunnen ze gebruiken om ingediend of in opdracht geschreven werk te screenen, terwijl sommige detectorbedrijven versies op de markt brengen voor wervingsteams die sollicitatiemateriaal beoordelen.
• Schrijvers controleren soms ook hun eigen werk om te begrijpen hoe een docent, redacteur, klant of platform dit zou kunnen classificeren.

Opmerking: Plagiaatdetectoren dienen een verwant maar afzonderlijk doel. Ze vergelijken een document met gepubliceerd materiaal en andere bronnen om overeenkomende taal te vinden. AI-detectoren beoordelen patronen in het ingediende schrijfwerk. Een volledig originele passage kan daardoor een AI-markering krijgen, terwijl gekopieerd menselijk schrijfwerk mogelijk geen sterk signaal van AI-generatie bevat.

Hoe AI-detectoren tekst analyseren

Veel AI-detectoren vertrouwen op een classifier: een machinelerenmodel dat is getraind op voorbeelden van door mensen en door AI gegenereerde teksten. Terwijl het beide met elkaar vergelijkt, leert het welke patronen doorgaans in elk van beide verschijnen, waaronder patronen in woordkeuze en zinsbouw. Vervolgens zoekt het naar die patronen in nieuwe tekst en genereert het een voorspelling.

Wat de detector leert hangt af van wat hij ziet tijdens de training. Een tool die is getraind op een beperkt bereik aan schrijfstijlen kan moeite hebben met een nieuw onderwerp, een onbekende stijl of uitvoer van een AI-model dat hij nog niet eerder is tegengekomen. Onderzoek naar verschillende soorten teksten en AI-modellen heeft uit gewezen dat de detectieprestaties onder dergelijke omstandigheden kunnen dalen.

Sommige methoden hanteren een andere benadering. In plaats van een afzonderlijke classifier te trainen, gebruiken ze de eigen waarschijnlijkheidsschattingen van een taalmodel om te beoordelen hoe waarschijnlijk het is dat dit model een passage produceert.

• DetectGPT vergelijkt bijvoorbeeld de originele tekst met licht gewijzigde versies om te zoeken naar patronen die geassocieerd worden met AI-gegenereerde content. Het onderzoek hiernaar omschrijft dit als een "zero-shot"-methode omdat er geen afzonderlijk getrainde detector voor nodig is. Het resultaat kan een algemene score, gemarkeerde zinnen of beide bevatten.
• GPTZero stelt dat de markeringen tonen welke zinnen de meeste invloed hebben op de algemene voorspelling. Omdat het model ook het bredere document evalueert, krijgt een passage die op zichzelf wordt gescand mogelijk niet dezelfde uitslag wanneer deze deel uitmaakt van een langer geheel.

Elk resultaat weerspiegelt zowel de tekst als het systeem dat deze evalueert, wat de reden is waarom verschillende detectoren tot verschillende conclusies kunnen komen over dezelfde passage.

Vergroten

Wat perplexity en burstiness meten

Perplexity en burstiness komen vaak ter sprake in uitleg over AI-detectie. Ze kunnen nuttige patronen in een stuk schrijfwerk onthullen, maar geen van beide wijst op een enkele, unieke AI-manier van schrijven.

Een potentieel verwarrend detail: perplexity vervult hier een dubbele rol. In kleine letters is het een statistische maatstaf. Met een hoofdletter P zijn wij het.

Perplexity meet hoe voorspelbaar de tekst is

Taalmodellen genereren tekst door waarschijnlijkheden toe te kennen aan mogelijke volgende tokens, wat hele woorden of delen van woorden kunnen zijn. Perplexity meet hoe goed een model de tokens in een passage kan voorspellen.

• Lagere perplexity: De tekst volgt patronen die het model bekend voorkomen.
• Hogere perplexity: De woordkeuze is minder voorspelbaar.

De score is specifiek voor het model dat de evaluatie uitvoert en de manier waarop de tekst wordt verwerkt, waardoor dezelfde passage verschillende perplexity-scores kan krijgen onder verschillende instellingen.

Neem de zin: "Laat me alsjeblieft weten als je vragen hebt." Een taalmodel is waarschijnlijk al vaak soortgelijke formuleringen tegengekomen, waardoor elk woord relatief gemakkelijk te voorspellen is. Dat zegt iets over de bekendheid van de zin. Het zegt niets uitsluitselgevends over wie hem heeft geschreven.

Burstiness meet in mate deze patronen variëren

Burstiness wordt losser gebruikt in discussies over AI-detectie. Het beschrijft over het algemeen hoeveel het schrijfwerk verandert in een passage. Dat kan variatie in zinslengte en -structuur omvatten, of verschuivingen tussen zeer voorspelbare en verrassendere taal.

• Lagere burstiness: Zinnen volgen een consistentere lengte, structuur of ritme.
• Hogere burstiness: Het schrijfwerk wisselt af tussen kortere uitspraken, langere uitleg en minder voorspelbare formuleringen.

Sommige AI-gegenereerde tekst is consistent en voorspelbaar, wat de reden is waarom burstiness geassocieerd is geraakt met detectie. Menselijk schrijfwerk kan dezelfde kwaliteiten vertonen, met name in zakelijke, academische en technische contexten. AI-modellen kunnen bovendien gevarieerder taalgebruik produceren wanneer daartoe wordt aangezet of bijgestuurd.

GPTZero stelt dat perplexity en burstiness twee waren van de diverse functies die werden gebruikt door een eerdere versie van zijn detector.

Wat deze maatstaven aantonen: Perplexity en burstiness beschrijven patronen in een passage. Die patronen kunnen helpen verklaren waarom tekst is gemarkeerd, maar ze kunnen niet vaststellen wie het heeft geschreven.

Wat de score van een AI-detector betekent

Een resultaat van "80% AI" ziet er eenduidig uit. De betekenis hangt echter af van de detector.

GPTZero omschrijft het percentage als de geschatte waarschijnlijkheid van het model dat AI of een mens het document heeft geschreven. Turnitin gebruikt het percentage om aan te geven hoeveel van het kwalificerende proza het model markeert als potentieel AI-gegenereerd of aangepast met bepaalde AI-tools.

Hetzelfde label "80% AI" kan daarom betekenen:

• De detector schat de kans op 80% dat AI het document heeft gegenereerd.
• De detector heeft 80% van de beoordeelde prozaschrijven gemarkeerd.

Dat zijn verschillende bevindingen. De ene doet een voorspelling over het document als geheel. De andere identificeert hoeveel van de tekst voldeed aan de criteria van de detector.

Waarschijnlijkheidsscores behoeven nog een controle: kalibratie. Als een detector aan 100 documenten een AI-waarschijnlijkheid van ongeveer 80% geeft, zou ongeveer 80% daarvan daadwerkelijk door AI moeten zijn gegenereerd wil de score goed gekalibreerd zijn. Het testen van het model tegenvoorbeelden met bekende herkomst laat zien hoe nauwkeurig de waarschijnlijkheden overeenkomen met de werkelijke uitkomsten.

Een percentage kan exact lijken voordat de betekenis of betrouwbaarheid ervan duidelijk is. Het label, de scoringsmethode en de prestaties van de detector bepalen allemaal wat het getal kan onderbouwen.

Vergroten

De drempelwaarde bepaalt wat wordt gemarkeerd

Een detector moet nog steeds bepalen wanneer een score hoog genoeg is om actie op te ondernemen. Die scheidslijn wordt de cutoff of drempelwaarde genoemd.

Stel dat een tool tekst beoordeelt van 0 tot 100 en alles boven de 70 markeert. Het verlagen van de grens naar 60 zou elke score ongewijzigd laten, terwijl het aantal gemarkeerde documenten toeneemt.

• Een lagere drempelwaarde detecteert over het algemeen meer AI-gegenereerde tekst, maar markeert ook vaker menselijke tekst ten onrechte.
• Een hogere drempelwaarde vermindert onjuiste markeringen, terwijl er meer AI-gegenereerde tekst onopgemerkt blijft. Dit compromis geldt in algemene zin voor classificatiesystemen.

De twee mogelijke fouten hebben verschillende namen.

• Een vals-positief resultaat treedt op wanneer menselijk schrijfwerk wordt gemarkeerd als gegenereerd door AI.
• Een vals-negatief resultaat treedt op wanneer door AI gegenereerd schrijfwerk onopgemerkt blijft.

Waar een detector de grens trekt, weerspiegelt welke fout hij probeert te vermijden. Die keuze weegt zwaarder wanneer een markering invloed kan hebben op een cijfer, een baan of iemands geloofwaardigheid.

Hoe een foutpercentage van 2% bijna 30% onjuiste markeringen kan opleveren

De impact van een vals-positief percentage van 2% hangt af van hoeveel menselijk schrijfwerk de detector beoordeelt.

Beschouw een hypothetische set van 1.000 artikelen:

• 50 zijn door AI gegenereerd.
• 950 zijn door mensen geschreven.
• De detector vangt 90% van de door AI gegenereerde artikelen.
• Het markeert ten onrechte 2% van de door mensen geschreven artikelen.

Dit is wat er gebeurt:

De detector markeert in totaal 64 artikelen. Negentien daarvan zijn door mensen geschreven, dus bijna 30% van de markeringen is onjuist.

De cijfers van 2% en 30% meten verschillende dingen. De detector markeert ten onrechte 2% van alle door mensen geschreven artikelen. Die fouten vormen vervolgens bijna 30% van alles wat hij markeert.

De getallen tellen zo op omdat de detector veel meer door mensen geschreven artikelen heeft beoordeeld dan door AI gegenereerde. Zelfs een klein foutpercentage kan een aanzienlijk aantal onjuiste markeringen opleveren wanneer dit van toepassing is op een veel grotere groep.

De term basispercentage beschrijft hoe gebruikelijk AI-gegenereerd schrijfwerk is in het gecontroleerde materiaal. Naarmate dat aandeel verandert, verandert ook de betekenis van een positief resultaat. Als de percentages voor ware en valse positieven van de detector gelijk blijven, is een markering over het algemeen betrouwbaarder wanneer AI-gegenereerd schrijfwerk veel voorkomt in de collectie en minder betrouwbaar wanneer het zeldzaam is.

Deze getallen zijn hypothetisch en beschrijven geen specifieke detector. In een echte beoordeling is het aandeel van door AI gegenereerd schrijfwerk meestal onbekend. Die onzekerheid is nog een reden om een markering te behandelen als aanleiding om nader te kijken, in plaats van als bewijs van hoe een document is geschreven.

Nauwkeurigheid hangt af van waarop de detector is getest

Een nauwkeurigheidspercentage beschrijft prestaties onder een bepaalde set omstandigheden. Controleer het volgende voordat u dat percentage toepast op een andere tekst:

• De detectorversie
• De lengte, taal, het onderwerp en het formaat van de tekst
• Het AI-model en de instellingen die zijn gebruikt om het testmateriaal te genereren
• Of de tekst is bewerkt of bewust is aangepast
• De schrijvers die zijn vertegenwoordigd in de door mensen geschreven steekproeven

Begin bij de ondersteunde invoer van de tool

Turnitin vereist bijvoorbeeld ten minste 300 woorden aan lang prozatekst. Het stelt dat het model geen betrouwbare detectie uitvoert op door AI gegenereerde poëzie, scripts, code of andere formaten dan proza. Sterke prestaties op essays vertellen ons daarom weinig over hoe dezelfde detector omgaat met een gedicht of een korte e-mail.

Vergelijk de test met schrijfwerk uit de praktijk

In 2024 testten onderzoekers 12 detectoren met behulp van RAID, een benchmark met meer dan 6 miljoen AI-gegenereerde passages verspreid over 11 modellen en acht onderwerpsgebieden. De prestaties daalden wanneer detectoren te maken kregen met onbekende modellen, andere generatie-instellingen of bewust gewijzigde tekst.

Een uitdaging uit 2025 met RAID leverde sterkere resultaten op onder bekendere omstandigheden. Verschillende deelnemers detecteerden meer dan 99% van de door machines gegenereerde tekst met behoud van een vals-positief percentage van 5%. De onderwerpsgebieden en AI-modellen die in de test werden gebruikt, waren ook vertegenwoordigd in de trainingsdata.

Samen tonen de resultaten aan dat detectoren goed kunnen presteren op gevarieerd materiaal dat ze zijn getraind te herkennen, terwijl onbekend materiaal lastiger te beoordelen blijft.

Kijk naar wie er werd vertegenwoordigd

In een studie uit 2023 classificeerden zeven detectoren gemiddeld 61,3% van de 91 TOEFL-essays die waren geschreven door niet-moedertaalsprekers van het Engels ten onrechte als AI-gegenereerd. Dat resultaat geldt voor de tools en steekproeven die op dat moment werden getest. Het laat ook zien waarom een algemeen nauwkeurigheidspercentage de prestaties mogelijk niet voor elke groep schrijvers even goed weergeeft.

Een nauwkeurigheidsclaim interpreteren: Hoe dichter de ingediende tekst bij het testmateriaal ligt, hoe relevanter het gerapporteerde resultaat wordt.

Het uiteindelijke document laat slechts een deel zien van hoe het is geschreven

AI kan vele rollen spelen in het schrijfproces. Iemand kan het gebruiken om onderzoek te doen naar een onderwerp, notities te organiseren, een passage te vertalen, een zin te polijsten of een eerste concept te produceren.

Die workflows kunnen tot heel verschillende documenten leiden. De ene schrijver gebruikt AI voor onderzoek en stelt elke zin zelfstandig samen. Een ander herschrijft een door AI gegenereerd concept aanzienlijk. Een derde voegt één gegenereerde alinea toe aan een overigens door mensen geschreven artikel.

Een tekstdetector ziet de woorden die zijn ingediend. Het heeft geen toegang tot de prompts, bewerkingen of beslissingen die eraan voorafgingen. De score kan het volledige schrijfproces niet reconstrueren of bepalen of de auteur zich aan een specifiek beleid heeft gehouden. Bijvoorbeeld:

• Een school kan brainstormen toestaan terwijl studenten de opdracht wel zelf moeten schrijven.
• Een uitgever kan door AI ondersteunde bewerking toestaan wanneer dit wordt vermeld.
• Een werkplek geeft mogelijk meer prioriteit aan feitelijke nauwkeurigheid, vertrouwelijkheid of brontoeschrijving dan aan de vraag of AI heeft bijgedragen aan de formulering.

Het toepassen van die regels vereist zowel bewijs over het proces als over de voltooide tekst. Conceptgeschiedenis, onderzoeksnotities en de uitleg van een schrijver kunnen context bieden die een detector niet heeft. Turnitin raadt docenten expliciet af om de AI-schrijfscore als enige grondslag te gebruiken voor negatieve maatregelen tegen een student.

Een detector kan taal identificeren die lijkt op de patronen die hij associeert met AI. Bepalen wat er is gebeurd en of dat was toegestaan, vereist een bredere beoordeling.

Watermerking voegt een ander soort signaal toe

Sommige AI-systemen kunnen een detecteerbaar patroon toevoegen terwijl ze tekst genereren. Dit proces wordt watermarking genoemd.

Hoe een tekstwatermerk werkt

Google DeepMind’s SynthID biedt hiervan een voorbeeld:

1. Het systeem past tokenwaarschijnlijkheden aan. Het verandert enigszins de kans dat het model bepaalde woorden of delen van woorden selecteert.
2. Die keuzes creëren een patroon. Het watermerk is ontworpen om onzichtbaar te blijven voor de lezer.
3. Een compatibele detector controleert hierop. De detector analyseert de tekst op het verwachte statistische signaal.

Omdat het patroon tijdens de generatie wordt toegevoegd, kan het informatie verschaffen die gekoppeld is aan het systeem dat de tekst heeft geproduceerd.

Wat watermerknauwkeurigheid beperkt

• De generator moet het toevoegen. Het AI-systeem moet het watermerk ondersteunen en toepassen. Een afwezig watermerk bewijst niet dat een persoon de tekst heeft geschreven.
• Er moet voldoende van het patroon overblijven. Google meldt dat SynthID bestand is tegen enig bijsnijden, woordwijzigingen en milde parafrasering. Uitgebreid herschrijven of vertalen kan het vertrouwen verminderen.

Watermerken kunnen het bewijs versterken wanneer een compatibel systeem de tekst heeft gegenereerd en er voldoende van het signaal overblijft. Ze kunnen niet elk stuk AI-gegenereerd schrijfwerk identificeren.

Andere gegevens kunnen een volledig beeld schetsen

• Conceptgeschiedenis toont hoe een document in de loop van de tijd is veranderd.
• Onderzoeksnotities verbinden de claims met bronnen.
• Vermelde AI-interacties tonen aan waar een tool heeft bijgedragen.

Deze gegevens bieden directere context over het schrijfproces dan alleen een op patronen gebaseerde score.

Beschouw een markering als het begin van een beoordeling

Het resultaat van een detector wordt nuttiger wanneer het een duidelijke rol heeft. Voordat er actie wordt ondernomen op basis van een markering, moeten beoordelaars begrijpen wat de tool heeft gemeten, bevestigen dat de tekst binnen het bereik valt en de andere beschikbare bewijzen onderzoeken.

Vijf controles kunnen helpen:

1. Lees de definitie van de score. Bepaal of het percentage een waarschijnlijkheid op documentniveau vertegenwoordigt of het aandeel van de gemarkeerde tekst.
2. Controleer het bereik van de tool. Bevestig dat de taal, lengte en het formaat van het document overeenkomen met wat de detector ondersteunt.
3. Controleer het bewijs. Onderzoek de gemarkeerde passages in samenhang met concepten, bronnotities en de uitleg van de auteur.
4. Pas het relevante beleid toe. Bepaal welk gebruik van AI is toegestaan en welk bewijs een overtreding zou aantonen.
5. Beoordeel het werk zelf. Evalueer feitelijke nauwkeurigheid, brontoeschrijving, originaliteit en kwaliteit op hun eigen merites.

De belangen bepalen hoe diepgaand de beoordeling moet zijn. Een redacteur kan een markering gebruiken om te beslissen welk artikel een extra blik nodig heeft. Een beslissing die invloed heeft op een cijfer, baan of publicatiecontract vraagt om sterker bewijs en de kans voor de auteur om hun proces toe te lichten.

Een AI-detector comprimeert een complex oordeel tot een score. Het interpreteren van die score vereist informatie die het getal niet bevat: wat de tool heeft gemeten, welke drempelwaarde is gebruikt, hoe deze presteerde op vergelijkbaar schrijfwerk en hoe gebruikelijk door AI gegenereerde tekst is in het te beoordelen materiaal. De score kan richting geven aan de aandacht. Een detectorscore kan bijdragen aan die beoordeling, maar elke conclusie over het auteurschap vereist ook bewijs over het schrijfproces.

Veelgestelde vragen

Kunnen AI-detectoren het mishebben?

Ja. Een vals-positief resultaat treedt op wanneer een detector menselijk schrijfwerk markeert als gegenereerd door AI. Een vals-negatief resultaat treedt op wanneer door AI gegenereerd schrijfwerk onopgemerkt blijft. De frequentie van elke fout hangt af van de detector, de drempelwaarde en hoe sterk de ingediende tekst lijkt op het materiaal waarmee deze is getest.

Hoe nauwkeurig zijn AI-detectoren?

Er is niet één enkel nauwkeurigheidspercentage voor AI-detectoren. De prestaties kunnen variëren op basis van taal, lengte, onderwerp, schrijfstijl, genererend model en de mate van bewerking. Een nauwkeurigheidsclaim is het meest nuttig wanneer de testomstandigheden lijken op het te beoordelen schrijfwerk en het resultaat zowel valse positieven als succesvolle detecties rapporteert.

Wat betekent een AI-detectiepercentage?

De definitie hangt af van de tool. Het kan de geschatte waarschijnlijkheid vertegenwoordigen dat een document door AI is gegenereerd, het percentage gemarkeerde kwalificerende tekst, of een vorm van betrouwbaarheid van het resultaat. De documentatie van de detector moet toelichten welke meting wordt gerapporteerd.

Kan een AI-detector bewijzen dat iemand AI heeft gebruikt?

Een detectorscore kan op zichzelf niet bewijzen hoe een document is tot stand gekomen. Het analyseert de ingediende tekst zonder de prompts, concepten, bewerkingen of het onderzoek daarachter te zien. Een betrouwbare beoordeling beschouwt de score in combinatie met procesbewijs en het beleid met betrekking tot acceptabel AI-gebruik.

Waarom wordt menselijk schrijfwerk soms aangemerkt als AI?

Menselijke en AI-gegenereerde teksten kunnen dezelfde statistische patronen vertonen. Formuleachtige taal, voorspelbare formuleringen, een beperkte woordenschat of een stijl die afwijkt van de trainingsdata van de detector kunnen bijdragen aan een vals-positief resultaat. Onderzoek heeft ook uitgewezen dat sommige detectoren die in 2023 werden getest, essays geschreven door niet-moedertaalsprekers van het Engels onevenredig vaak markeerden.