Com funcionen els detectors d'IA i per què una puntuació per si sola no pot demostrar l'autoria

Enganxeu un assaig, un article o un correu electrònic en un detector d'IA, i uns segons més tard pot retornar un resultat com «85% d'IA».

Sembla precís. Però també pot ser fàcil de malinterpretar.

El detector no ha observat com s'ha escrit el document. Ha analitzat el text acabat a la recerca de patrons associats amb l'escriptura generada per IA. Depenent de l'eina, aquest 85% podria representar la probabilitat estimada que la IA hagi produït el document o la proporció de text que el detector ha senyalat.

Això fa que un detector d'IA sigui útil com a senyal, especialment quan alguna cosa necessita una ullada més propera. Però la puntuació encara necessita context i proves de suport abans que ningú tregui una conclusió sobre qui ha escrit el text o com l'ha creat. Entendre com els detectors produeixen les seves puntuacions ajuda a explicar tant el que poden detectar com el perquè de vegades s'equivoquen.

Què és un detector d'IA?

Un detector d'escriptura d'IA examina una peça de text acabada i calcula si s'assembla a l'escriptura produïda per un model de llenguatge. Normalment, un usuari hi enganxa el text o hi penja un document. En segons, l'eina pot retornar una etiqueta, un percentatge, passatges destacats o tots tres.

• Els professors i les institucions acadèmiques els utilitzen quan revisen el treball dels estudiants.
• Els editors i els equips de contingut poden utilitzar-los per examinar l'escriptura tramesa o encarregada, mentre que algunes empreses de detectors comercialitzen versions per als equips de contractació que revisen els materials d'aspirants.
• Els escriptors de vegades també comproven el seu propi treball per entendre com un professor, editor, client o plataforma el podria classificar.

Nota: Els verificadors de plagi tenen un propòsit relacionat però independent. Comparen un document amb material publicat i altres fonts per trobar llenguatge coincident. Els detectors d'IA avaluen patrons en l'escriptura tramesa. Per tant, un passatge completament original pot rebre una marca d'IA, mentre que l'escriptura humana copiada pot no contenir cap senyal fort de generació per IA.

Com analitzen el text els detectors d'IA

Molts detectors d'IA es basen en un classificador, un model d'aprenentatge automàtic entrenat en exemples d'escriptura humana i generada per IA. A mesura que compara tots dos, aprèn quins patrons tendeixen a aparèixer en cadascun, inclosos els patrons en l'elecció de paraules i l'estructura de les frases. Després busca aquests patrons en text nou i produeix una predicció.

El que aprèn el detector depèn del que veu durant l'entrenament. Una eina entrenada en un rang d'escriptura limitat pot tenir dificultats amb un nou tema, un estil desconegut o el resultat d'un model d'IA que no ha trobat abans. La recerca en diferents tipus de text i models d'IA ha trobat que el rendiment de la detecció pot disminuir en aquestes condicions.

Alguns mètodes adopten un enfocament diferent. En lloc d'entrenar un classificador separat, utilitzen les pròpies estimacions de probabilitat d'un model de llenguatge per jutjar la probabilitat que produiria un passatge.

• DetectGPT, per exemple, compara el text original amb versions lleugerament modificades per buscar patrons associats amb la generació per IA. La seva recerca descriu això com un mètode de «zero-shot» perquè no requereix un detector entrenat per separat. El resultat pot incloure una puntuació global, frases ressaltades o ambdues coses.
• GPTZero diu que les seves parts destacades mostren quines frases tenen més influència en la seva predicció general. Com que també avalua el document de manera més àmplia, un passatge escanejat per si sol pot no rebre el mateix resultat quan apareix com a part d'una peça més llarga.

Cada resultat reflecteix tant el text com el sistema que l'avalua, raó per la qual diferents detectors poden arribar a conclusions diferents sobre el mateix passatge.

Amplia

Què mesuren Perplexity i la ràfega

La perplexitat i la ràfega apareixen sovint en les explicacions de la detecció d'IA. Poden revelar patrons útils en un fragment d'escriptura, però cap dels dos assenyala una manera única i pròpia de la IA d'escriure.

Un detall potencialment confús: la perplexitat fa doble feina aquí. En minúscules, és una mesura estadística. Amb una P majúscula, som nosaltres.

La perplexitat mesura com de predictible és el text

Els models de llenguatge generen text assignant probabilitats als possibles tokens següents, que poden ser paraules senceres o parts de paraules. La perplexitat mesura com de bé pot predir un model els tokens d'un passatge.

• Menor perplexitat: El text segueix patrons que el model troba familiars.
• Perplexitat més alta: La redacció és menys esperada.

La puntuació és específica per al model que fa l'avaluació i la manera com es processa el text, de manera que el mateix passatge pot rebre diferents puntuacions de perplexitat sota diferents configuracions.

Prenguem la frase: «Si us plau, feu-me saber si teniu cap pregunta». Un model de llenguatge probablement ha trobat una redacció similar moltes vegades, fent que cada paraula sigui relativament fàcil de predir. Això ens diu alguna cosa sobre la familiaritat de la frase. No diu res concloent sobre qui l'ha escrita.

La ràfega mesura fins a quin punt varien aquests patrons

La ràfega (burstiness) s'utilitza de manera més flexible en les discussions sobre la detecció d'IA. Generalment descriu quant canvia l'escriptura al llarg d'un passatge. Això pot incloure la variació en la longitud i l'estructura de les frases, o canvis entre un llenguatge altament predictible i un de més sorprenent.

• Menor ràfega: Les frases segueixen una longitud, estructura o ritme més consistent.
• Ràfega més alta: L'escriptura es mou entre declaracions més curtes, explicacions més llargues i una fraseologia menys esperada.

Alguns textos generats per IA són consistents i predictibles, motiu pel qual la ràfega es va associar amb la detecció. L'escriptura humana pot tenir les mateixes qualitats, especialment en contextos empresarials, acadèmics i tècnics. Els models d'IA també poden produir un llenguatge més variat quan se'ls demana o s'editen per fer-ho.

GPTZero diu que la perplexitat i la ràfega van ser dues de diverses característiques utilitzades per una versió anterior del seu detector.

Què mostren aquestes mesures: La perplexitat i la ràfega descriuen patrons en un passatge. Aquests patrons poden ajudar a explicar per què s'ha marcat el text, però no poden establir qui l'ha escrit.

Què significa la puntuació d'un detector d'IA

Un resultat de «80% d’IA» sembla clar. El seu significat depèn del detector.

GPTZero descriu el percentatge com la probabilitat estimada del seu model que la IA o un humà hagi escrit el document. Turnitin utilitza el percentatge per mostrar quanta prosa qualificada marca el seu model com a potencialment generada per IA o modificada amb determinades eines d'IA.

Per tant, la mateixa etiqueta «80% d'IA» podria significar:

• El detector calcula una probabilitat del 80% que la IA hagi generat el document.
• El detector ha senyalat el 80% de la prosa que ha avaluat.

Són troballes diferents. Una fa una predicció sobre el document en conjunt. L'altra identifica quant del text coincideix amb els criteris del detector.

Les puntuacions de probabilitat necessiten una altra comprovació: el calibratge. Si un detector dóna a 100 documents una probabilitat d'IA d'al voltant del 80%, aproximadament 80 d'ells haurien de ser realment generats per IA perquè la puntuació estigui ben calibrada. Provar el model contra exemples amb orígens coneguts mostra com de properes coincideixen les seves probabilitats amb els resultats reals.

Un percentatge pot semblar exacte abans que el seu significat o fiabilitat sigui clar. L'etiqueta, el mètode de puntuació i el rendiment del detector determinen què pot avalar el nombre.

Amplia

El llindar determina què es marca

Un detector encara ha de decidir quan una puntuació és prou alta com per actuar-hi. Aquesta línia divisòria s'anomena tall, o llindar.

Suposem que una eina puntua el text de 0 a 100 i senyala qualsevol valor superior a 70. Moure el tall a 60 deixaria cada puntuació sense canvis alhora que augmentaria el nombre de documents senyalats.

• Un llindar inferior generalment detecta més escriptura generada per IA, però també marca més escriptura humana incorrectament.
• Un llindar més alt redueix les marques incorrectes, alhora que permet que més escriptura generada per IA passis desapercebuda. Aquest compromís s'aplica àmpliament als sistemes de classificació.

Els dos errors possibles tenen noms diferents.

• Un fals positiu es produeix quan l'escriptura humana es marca com a generada per IA.
• Un fals negatiu es produeix quan l'escriptura generada per IA passa desapercebuda.

On un detector dibuixa la línia reflecteix quin error està dissenyat per evitar. Aquesta elecció té més pes quan una marca podria afectar una qualificació, una feina o la credibilitat d'algú.

Com una taxa d'error del 2% pot produir gairebé un 30% d'indicacions incorrectes

L'impacte d'una taxa de falsos positius del 2% depèn de quant escrit humà revisa el detector.

Considereu un conjunt hipotètic de 1.000 articles:

• 50 són generats per IA.
• 950 estan redactats per humans.
• El detector captura el 90% dels articles generats per IA.
• Senyala incorrectament el 2% dels articles redactats per humans.

Això és el que passa:

El detector senyala 64 articles en total. Dinou estan redactats per humans, de manera que gairebé el 30% de les seves indicacions són errònies.

Les xifres del 2% i el 30% mesuren coses diferents. El detector senyala incorrectament el 2% de tots els articles redactats per humans. Aquests errors representen gairebé el 30% de tot el que senyala.

Els números sumen d'aquesta manera perquè el detector ha revisat molts més articles redactats per humans que de generats per IA. Fins i tot una petita taxa d'error pot produir un nombre significatiu de marques incorrectes quan s'aplica a un grup molt més gran.

El terme taxa base descriu com de comuna és l'escriptura generada per IA en el material que s'està comprovant. A mesura que aquesta proporció canvia, també ho fa el significat d'un resultat positiu. Si les taxes de veritables positius i falsos positius del detector es mantenen iguals, una marca generalment serà més fiable quan l'escriptura generada per IA sigui comuna a la col·lecció i menys fiable quan sigui rara.

Aquests números són hipotètics i no descriuen un detector particular. En una revisió real, la proporció d'escriptura generada per IA sol ser desconeguda. Aquesta incertesa és un altre motiu per tractar una marca com un motiu per mirar més de prop, en lloc de com a prova de com es va escriure un document.

La precisió depèn de què s'ha provat al detector

Una taxa de precisió descriu el rendiment sota un conjunt particular de condicions. Abans d'aplicar aquesta taxa a un altre escrit, comproveu:

• La versió del detector
• La longitud, l'idioma, el tema i el format del text
• El model d'IA i la configuració utilitzats per generar el material de prova
• Si el text ha estat editat o modificat deliberadament
• Els escriptors representats en les mostres redactades per humans

Comenceu amb les entrades admeses per l'eina

Turnitin, per exemple, requereix almenys 300 paraules de prosa de format llarg. Diu que el seu model no detecta de manera fiable poesia, guions, codi o altres formats que no siguin prosa generats per IA. Per tant, un fort rendiment en redaccions ens diu poc sobre com el mateix detector gestionarà un poema o un correu electrònic curt.

Compareu la prova amb l'escriptura del món real

El 2024, els investigadors van provar 12 detectors utilitzant RAID, un punt de referència (benchmark) que conté més de 6 milions de passatges generats per IA en 11 models i vuit àrees temàtiques. El rendiment va caure quan els detectors es van trobar amb models desconeguts, diferents configuracions de generació o text modificat deliberadament.

Un repte del 2025 que utilitzava RAID va produir resultats més sòlids en condicions més familiars. Diversos participants van detectar més del 99% del text generat per màquina alhora que mantenien una taxa de falsos positius del 5%. Les àrees temàtiques i els models d'IA utilitzats a la prova també estaven representats a les dades d'entrenament.

Junts, els resultats mostren que els detectors poden funcionar bé en material divers que han estat entrenats per reconèixer, mentre que el material desconegut continua sent més difícil d'avaluar.

Mireu qui estava representat

En un estudi del 2023, set detectors van classificar incorrectament una mitjana del 61,3% de 91 redaccions del TOEFL escrites per parlants no nadius d'anglès com a generades per IA. Aquest resultat s'aplica a les eines i mostres provades en aquell moment. També mostra per què una taxa de precisió global pot no descriure el rendiment igualment bé per a tots els grups d'escriptors.

Com llegir una afirmació de precisió: Com més s'assembli el text tramès al material utilitzat en les proves, més rellevant serà el resultat informat.

El document final mostra només una part de com es va escriure

La IA pot jugar molts papers en el procés d'escriptura. Algú podria utilitzar-la per investigar un tema, organitzar notes, traduir un passatge, polir una frase o produir un primer esborrany.

Aquests flux de treball poden portar a documents molt diferents. Un escriptor pot utilitzar la IA per a la investigació i redactar cada frase de manera independent. Un altre pot reescriure substancialment un esborrany generat per IA. Un tercer pot afegir un paràgraf generat a un article redactat per humans.

Un detector de text veu les paraules que s'han enviat. No té accés als prompts, modificacions o decisions que van venir abans. La seva puntuació no pot reconstruir tot el procés d'escriptura ni determinar si l'autor va seguir una política concreta. Per exemple,

• Una escola pot permetre la pluja d'idees (brainstorming) tot exigint que els estudiants escriguin l'assignació ells mateixos.
• Un editor pot permetre l'edició assistida per IA quan es reveli.
• Un lloc de treball pot preocupar-se més per la precisió factual, la confidencialitat o l'atribució de fonts que per si la IA ha contribuït a la redacció.

L'aplicació d'aquestes regles requereix proves sobre el procés, així com sobre el text acabat. L'historial d'esborranys, les notes d'investigació i l'explicació d'un escriptor poden proporcionar un context que un detector no pot. Turnitin adverteix explícitament als educadors que no utilitzin la seva puntuació d'escriptura per IA com a única base per prendre mesures negatives contra un estudiant.

Un detector pot identificar llenguatge que s'assembles als patrons que associa amb la IA. Decidir què ha passat, i si estava permès, requereix una revisió més àmplia.

Les marques d'aigua afegeixen un altre tipus de senyal

Alguns sistemes d'IA poden afegir un patró detectable a mesura que generen text. Aquest procés s'anomena marcatge d'aigua.

Com funciona una marca d'aigua de text

Google DeepMind’s SynthID proporciona un exemple:

1. El sistema ajusta les probabilitats dels tokens. Canvia lleugerament la probabilitat que el model seleccioni determinades paraules o parts de paraules.
2. Aquestes opcions creen un patró. La marca d'aigua està dissenyada per romandre invisible per al lector.
3. Un detector compatible ho comprova. El detector analitza el text a la recerca del senyal estadístic esperat.

Com que el patró s'afegeix durant la generació, pot proporcionar informació vinculada al sistema que ha produït el text.

Què limita la detecció de marques d'aigua

• El generador l'ha d'afegir. El sistema d'IA ha de ser compatible amb la marca d'aigua i aplicar-la. Una marca d'aigua absent no estableix que una persona hagi escrit el text.
• Cal que quedi prou part del patró. Google informa que SynthID pot resistir algunes retallades, canvis de paraules i una paraphrasis lleugera. Una reescriptura o traducció extensa pot reduir la seva confiança.

Les marques d'aigua poden reforçar les proves quan un sistema compatible ha generat el text i en queda prou senyal. No poden identificar cada peça d'escriptura generada per IA.

Altres registres poden completar la imatge

• L'historial d'esborranys mostra com ha canviat un document al llarg del temps.
• Les notes d’investigació connecten les seves afirmacions amb les fonts.
• Les interaccions amb IA revelades mostren on una eina ha contribuït.

Aquests registres proporcionen un context més directe sobre el procés d'escriptura que una puntuació basada en patrons per si sola.

Tractar una marca com l'inici d'una revisió

Un resultat de detector esdevé més útil quan té un paper definit. Abans d'actuar a partir d'una marca, els revisors haurien d'entendre què ha mesurat l'eina, confirmar que el text s'ajusta al seu àmbit i examinar les altres proves disponibles.

Cinc comprovacions poden ajudar:

1. Llegiu la definició de la puntuació. Determineu si el percentatge representa una probabilitat a nivell de document o la proporció de text senyalat.
2. Comproveu l'àmbit de l'eina. Confirmeu que l'idioma, la longitud i el format del document coincideixen amb el que admet el detector.
3. Reviseu les proves. Examineu els passatges destacats juntament amb els esborranys, les notes de font i l'explicació de l'autor.
4. Apliqueu la política pertinent. Identifiqueu quins usos de la IA estan permesos i quina prova demostraria una infracció.
5. Avalueu el treball en si. Reviseu la precisió factual, l'atribució de fonts, l'originalitat i la qualitat segons els seus propis termes.

L'aposta hauria de determinar la profunditat de la revisió. Un editor pot utilitzar una marca per decidir quin article necessita una altra ullada. Una decisió que afecti una qualificació, una feina o un acord de publicació requereix proves més sòlides i l'oportunitat perquè l'autor expliqui el seu procés.

Un detector d'IA comprimeix un judici complex en una puntuació. Interpretar aquesta puntuació requereix informació que el nombre no conté: què ha mesurat l'eina, quin llindar ha utilitzat, com ha funcionat en escriptura comparable i com de comú és el text generat per IA en el material que s'està revisant. La puntuació pot dirigir l'atenció. La puntuació d'un detector pot contribuir a aquesta revisió, però qualsevol conclusió sobre l'autoria també requereix proves sobre el procés d'escriptura.

Preguntes freqüents

Poden equivocar-se els detectors d'IA?

Sí. Un fals positiu es produeix quan un detector senyala escriptura humana com a generada per IA. Un fals negatiu es produeix quan l'escriptura generada per IA passa desapercebuda. La freqüència de cada error depèn del detector, del seu llindar i de com s'assembla el text tramès al material utilitzat per provar-lo.

Quina precisió tenen els detectors d'IA?

No hi ha una única taxa de precisió per als detectors d'IA. El rendiment pot variar segons l'idioma, la longitud, el tema, l'estil d'escriptura, el model generador i la quantitat d'edició. Una afirmació de precisió és més útil quan les condicions de prova s'assemblen a l'escriptura que s'està revisant i el resultat informa tant dels falsos positius com de les deteccions reeixides.

Què significa un percentatge de detecció d'IA?

La definició depèn de l'eina. Pot representar la probabilitat estimada que un document estigui generat per IA, el percentatge de text qualificat marcat o una forma de confiança en el resultat. La documentació del detector hauria d'explicar quina mesura informa.

Pot un detector d'IA demostrar que algú ha utilitzat la IA?

Una puntuació de detector per si sola no pot demostrar com s'ha creat un document. Analitza el text tramès sense veure les indicacions (prompts), els esborranys, les revisions o la investigació que hi ha al darrere. Una revisió fiable considera la puntuació juntament amb les proves del procés i la política que regeix l'ús acceptable de la IA.

Per què l'escriptura humana de vegades es marca com a IA?

L'escriptura humana i la generada per IA poden compartir els mateixos patrons estadístics. El llenguatge formularis, la fraseologia predictible, un vocabulari limitat o un estil que difereix de les dades d'entrenament del detector poden contribuir a un fals positiu. La investigació també ha trobat que alguns detectors provats el 2023 van assenyalar de manera desproporcionada redaccions escrites per parlants no nadius d'anglès.