Como funcionan os detectores de IA e por que unha puntuación non proba a autoría

Pega unha redacción, un artigo ou un correo electrónico nun detector de IA e, uns segundos despois, este pode devolver un resultado como "85% IA".

Parece preciso, pero tamén pode ser doado de malinterpretar.

O detector non observou como se escribiu o documento. Analizou o texto acabado en busca de patróns asociados á escritura xerada por IA. Dependendo da ferramenta, ese 85% podería representar a probabilidade estimada de que a IA producise o documento ou a proporción do texto que marcou o detector.

Iso fai que un detector de IA sexa útil como sinal, especialmente cando algo necesita unha revisión máis detida. Con todo, a puntuación aínda precisa contexto e probas de apoio antes de que ninguén poida sacar unha conclusión sobre quen escribiu o texto ou como o creou. Comprender como os detectores producen as súas puntuacións axuda a explicar tanto o que poden captar como o motivo polo que ás veces se equivocan.

Que é un detector de IA?

Un detector de escritura por IA analiza un texto acabado e estima se se asemella á escritura producida por un modelo de linguaxe. Normalmente, o usuario pega o texto ou carga un documento. Nun poucos segundos, a ferramenta pode devolver unha etiqueta, unha porcentaxe, pasaxes resaltadas ou as tres cousas.

• Os profesores e as institucións académicas utilízano cando revisan o traballo dos estudantes.
• Os editores e os equipos de contido poden utilizalos para examinar a escritura enviada ou encargada, mentres que algunhas empresas de detectores comercializan versións para equipos de contratación que revisan os materiais de solicitude.
• Ás veces, os escritores tamén comproban o seu propio traballo para comprender como o podería clasificar un profesor, un editor, un cliente ou unha plataforma.

Nota: Os comprobadores de praxio teñen un propósito relacionado pero diferente. Comparan un documento con material publicado e outras fontes para atopar linguaxe coincidente. Os detectores de IA avalían os patróns no texto enviado. Polo tanto, unha pasaxe completamente orixinal pode recibir unha marca de IA, mentres que un texto copiado dun humano pode non conter ningún sinal forte de xeración por IA.

Como analizan os textos os detectores de IA

Moitos detectores de IA dependen dun clasificador, un modelo de aprendizaxe automática adestrado en exemplos de escritura humana e xerada por IA. A medida que compara ambos, aprende qué patróns adoitan aparecer en cada un, incluídos os patróns na elección de palabras e na estrutura das frases. Despois busca eses patróns nun texto novo e produce unha predición.

O que aprende o detector depende do que ve durante o adestramento. Unha ferramenta adestrada nunha gama limitada de escrituras pode ter dificultades cun novo tema, un estilo descoñecido ou o resultado dun modelo de IA co que non se atopou antes. A investigación realizada en diferentes tipos de textos e modelos de IA descubriu que o rendemento da detección pode diminuír nestas condicións.

Algún método adopta un enfoque diferente. En vez de adestrar un clasificador separado, utilizan as estimacións de probabilidade do propio modelo de linguaxe para xulgar quão probable sería que producise unha pasaxe.

• DetectGPT, por exemplo, compara o texto orixinal con versións lixeiramente alteradas para buscar patróns asociados á xeración por intelixencia artificial. A súa investigación describe isto como un método "sen adestramento previo" (zero-shot) porque non require un detector adestrado por separado. O resultado pode incluír unha puntuación xeral, frases resaltadas ou ambas as cousas.
• GPTZero di que os seus elementos destacados mostran que frases teñen máis influencia na súa predición xeral. Como tamén avalía o documento no seu conxunto, un fragmento analizado de maneira individual pode non recibir o mesmo resultado cando forma parte dunha obra máis longa.

Cada resultado reflicte tanto o texto como o sistema que o avalía, razón pola cual diferentes detectores poden chegar a conclusións distintas sobre a mesma pasaxe.

Ampliar

Que miden a perplexidade e a ráfaga (burstiness)

A perplexidade e a ráfaga (burstiness) aparecen a miúdo nas explicacións sobre a detección de IA. Poden revelar patróns útiles nun anaco de escritura, pero ningún apunta a un xeito único e exclusivo de escribir mediante IA.

Un detalle potencialmente confuso: a perplexidade fai un dobre traballo aquí. En minúscula, é unha medida estatística. Cunha P maiúscula, somos nós.

A perplexidade mide quão previsible é o texto

Os modelos de linguaxe xeran texto asignando probabilidades aos seguintes tokens posibles, que poden ser palabras enteiras ou partes de palabras. A perplexidade mide a capacidade dun modelo para prever os tokens dunha pasaxe.

• Menor perplexidade: O texto segue patróns que o modelo atopa familiares.
• Maior perplexidade: A redacción é menos agardada.

A puntuación é específica do modelo que realiza a avaliación e da forma en que se procesa o texto, polo que a mesma pasaxe pode recibir diferentes puntuacións de perplexidade baixo distintas configuracións.

Tomemos a frase: "Por favor, avísame se tes algunha dúbida". É probable que un modelo de linguaxe atopase unha redacción similar moitas veces, o que fai que cada palabra sexa relativamente doada de prever. Iso cóntanos algo sobre a familiaridade da frase, pero non di nada concluíste sobre quen a escribiu.

A ráfaga (burstiness) mide canto varían eses patróns

A ráfaga (burstiness) emprégase de forma máis laxa nos debates sobre a detección de IA. Xeralmente describe canto cambia a escritura ao longo dun fragmento. Iso pode incluír variacións na lonxitude e na estrutura das frases, ou cambios entre unha linguaxe moi previsible e outra máis sorprendente.

• Menor ráfaga (burstiness): As frases seguen unha lonxitude, estrutura ou ritmo máis consistentes.
• Maior ráfaga (burstiness): A escritura movese entre afirmacións máis curtas, explicacións máis longas e unha fraseoloxía menos agardada.

Algún texto xerado por IA é consistente e previsible, razón pola cal a ráfaga (burstiness) pasou a asociarse coa detección. A escritura humana pode ter as mesmas calidades, especialmente en contextos empresariais, académicos e técnicos. Os modelos de IA tamén poden producir unha linguaxe máis variada cando se lles indica ou se edita para facelo.

GPTZero di que a perplexidade e a ráfaga (burstiness) foron dúas das varias características utilizadas por unha versión anterior do seu detector.

O que mostran estas medidas: A perplexidade e a ráfaga (burstiness) describen patróns nunha pasaxe. Eses patróns poden axudar a explicar por se marcou o texto, pero non poden establecer quen o escribiu.

O que significa a puntuación dun detector de IA

Un resultado de "80% IA" parece claro. O seu significado depende do detector.

GPTZero describe a porcentaxe como a probabilidade estimada polo seu modelo de que a IA ou un humano escribise o documento. Turnitin utiliza a porcentaxe para mostrar canto da prosa que cumpre cos requisitos marca o seu modelo como potencialmente xerada ou modificada con certas ferramentas de IA.

Polo tanto, a mesma etiqueta de "80% IA" podería significar:

• O detector estima que hai un 80% de probabilidades de que a IA xerase o documento.
• O detector marcou o 80% da prosa que avaliou.

Son conclusións diferentes. Unha fai unha predición sobre o documento no seu conxunto. A outra identifica canto do texto coincide cos criterios do detector.

As puntuacións de probabilidade necesitan outra comprobación: a calibración. Se un detector dálle a 100 documentos unha probabilidade de IA de arredor do 80%, aproximadamente 80 deles deberían ser realmente xerados por IA para que a puntuación estea ben calibrada. Probar o modelo con exemplos de orixe coñecida mostra quão preto están as súas probabilidades dos resultados reais.

Unha porcentaxe pode parecer exacta antes de que o seu significado ou fiabilidade estean claros. A etiqueta, o método de puntuación e o rendemento do detector determinan o que pode soster o número.

Ampliar

O límite determina o que se marca

Un detector aínda ten que decidir cando unha puntuación é o suficientemente alta como para actuar. Esta liña divisoria chámase límite ou limiar.

Imaxina que unha ferramenta cualifica o texto do 0 ao 100 e marca calquera valor superior a 70. Mover o límite a 60 deixaría todas as puntuacións sen cambios ao tempo que aumentaría o número de documentos marcados.

• Un límite máis baixo xeralmente detecta máis texto xerado por IA, pero tamén marca máis texto humano de maneira incorrecta.
• Un límite máis alto reduce as marcas incorrectas, á vez que permite que máis texto xerado por IA pase desapercibido. Este compromiso aplícase aos sistemas de clasificación en xeral.

Os dous posibles erros teñen nomes diferentes.

• Un falso positivo ocorre cando un texto escrito por un humano se marca como xerado por IA.
• Un falso negativo ocorre cando a escritura xerada por IA pasa desapercibida.

O lugar onde un detector traza a liña reflicte qué erro está deseñado para evitar. Esa elección ten máis peso cando unha marca pode afectar a unha cualificación, a un traballo ou á credibilidade de alguén.

Como unha taxa de erro do 2% pode producir case un 30% de marcas incorrectas

O impacto dunha taxa de falsos positivos do 2% depende de canto texto escrito por humanos revise o detector.

Consideremos un conxunto hipotético de 1.000 artigos:

• 50 son xerados por IA.
• 950 están escritos por humanos.
• O detector atopa o 90% dos artigos xerados por IA.
• Marca incorrectamente o 2% dos artigos escritos por humanos.

Isto é o que ocorre:

O detector marca 64 artigos en total. Dezanove están escritos por humanos, polo que case o 30% das súas marcas son erróneas.

As cifras do 2% e do 30% miden cousas distintas. O detector marca incorrectamente o 2% de todos os artigos escritos por humanos. Eses erros supoñen despois case o 30% de todo o que marca.

Os números suman deste xeito porque o detector revisou moitos máis artigos escritos por humanos que xerados por IA. Mesmo unha pequena taxa de erro pode producir un número significativo de marcas incorrectas cando se aplica a un grupo moito máis grande.

O termo taxa base describe quão común é a escritura xerada por IA no material que se está a comprobar. A medida que esa proporción cambia, tamén o fai o significado dun resultado positivo. Se as taxas de positivos verdadeiros e falsos do detector se manteñen iguais, unha marca será xeralmente máis fiable cando a escritura xerada por IA sexa común na colección e menos fiable cando sexa rara.

Estes números son hipotéticos e non describen un detector en particular. Nunha revisión real, a proporción de escritura xerada por IA adoita ser descoñecida. Esa incerteza é outra razón para tratar unha marca como un motivo para mirar máis de achegado, en vez de como unha proba de como se escribiu un documento.

A precisión depende de sobre que se probou o detector

Unha taxa de precisión describe o rendemento baixo un conxunto determinado de condicións. Antes de aplicar esa taxa a outro texto, comproba:

• A versión do detector
• A lonxitude, a lingua, o tema e o formato do texto
• O modelo de IA e a configuración empregados para xerar o material de proba
• Se o texto foi editado ou modificado deliberadamente
• Os escritores representados nas mostras escritas por humanos

Comeza coas entradas admitidas pola ferramenta

Turnitin, por exemplo, require polo menos 300 palabras de prosa extensa. Afirma que o seu modelo non detecta de forma fiable poesía, guións, código nin outros formatos que non sexan prosa xerados por IA. Polo tanto, un bo rendemento nas redaccións indícannos pouco sobre como o mesmo detector xestionará un poema ou un correo electrónico curto.

Compara a proba coa escritura do mundo real

En 2024, os investigadores probaron 12 detectores empregando RAID, un marco de referencia que contén máis de 6 millóns de pasaxes xeradas por IA en 11 modelos e oito áreas temáticas. O rendemento caeu cando os detectores atoparon modelos descoñecidos, diferentes configuracións de xeración ou texto modificado deliberadamente.

Un desafío de 2025 que utilizou RAID produciu mellores resultados en condicións máis habituais. Varios participantes detectaron máis do 99% do texto xerado por máquinas mentres mantiñan unha taxa de falsos positivos do 5%. As áreas temáticas e os modelos de IA empregados na proba tamén estaban representados nos datos de adestramento.

Xuntos, os resultados mostran que os detectores poden funcionar ben con material variado que foron adestrados para recoñecer, mentres que o material descoñecido segue sendo máis difícil de avaliar.

Mira quen estaba representado

Nun estudio de 2023, sete detectores clasificaron incorrectamente unha media do 61,3% de 91 redaccións do TOEFL escritas por falantes non nativos de inglés como xeradas por IA. Este resultado aplícase ás ferramentas e ás mostras probadas nese momento. Tamén mostra por que unha taxa de precisión xeral pode non describir o rendemento da mesma maneira para todos os grupos de escritores.

Como ler unha afirmación de precisión: Canto máis se achegue o texto enviado ao material utilizado nas probas, máis relevante será o resultado informado.

O documento final só mostra unha parte de como foi escrito

A IA pode desempeñar moitos papeis no proceso de escritura. Alguén pode usala para investigar un tema, organizar notas, traducir unha pasaxe, pulir unha frase ou producir un primeiro borrador.

eses fluxos de traballo poden dar lugar a documentos moi diferentes. Un escritor pode usar a IA para investigar e redactar cada frase de forma independente. Outro pode reescribir substancialmente un borrador xerado por IA. Un terceiro pode engadir un parágrafo xerado a un artigo que, pola contra, foi escrito por un humano.

Un detector de texto ve as palabras que se enviaron. Non ten acceso aos estímulos (prompts), edicións ou decisións que as precederon. A súa puntuación non pode reconstruír todo o proceso de escritura nin determinar se o autor seguiu unha política particular. Por exemplo,

• Unha escola pode permitir a tormenta de ideas (brainstorming) ao tempo que esixe aos estudantes que escriban a tarefa eles mesmos.
• Un editor pode permitir a edición asistida por IA cando se divulga.
• A un espazo de traballo pode importarlle máis a precisión factual, a confidencialidade ou a atribución de fontes que se a IA contribuíu á redacción.

A aplicación destas regras require probas sobre o proceso ademais do texto acabado. O historial de borradores, as notas de investigación e a explicación dun escritor poden proporcionar un contexto que un detector non pode acadar. Turnitin aconsella explicitamente aos educadores que non utilicen a súa puntuación de escritura por IA como única base para tomar medidas desfavorables contra un estudante.

Un detector pode identificar unha linguaxe que se asemella aos patróns que asocia coa IA. Decidir que pasou e se estaba permitido require unha revisión máis ampla.

As marcas de auga engaden un tipo diferente de sinal

Algúns sistemas de IA poden engadir un patrón detectable mentres xeran texto. Este proceso chámase inserción de marcas de auga (watermarking).

Como funciona unha marca de auga nun texto

SynthID de Google DeepMind ofrece un exemplo:

1. O sistema anula as probabilidades dos tokens. Cambia lixeiramente a probabilidade de que o modelo seleccione certas palabras ou partes de palabras.
2. Esas eleccións crean un patrón. A marca de auga está deseñada para permanecer invisible para o lector.
3. Un detector compatiblecomproba se existe. O detector analiza o texto en busca do sinal estatístico agardado.

Dado que o patrón se engade durante a xeración, pode proporcionar información vinculada ao sistema que produciu o texto.

Cales son os límites da detección de marcas de auga

• O xerador debe engadilo. O sistema de IA necesita admitir e aplicar a marca de auga (watermark). A ausencia dunha marca de auga non demostra que unha persoa escribise o texto.
• Debe permanecer suficiente cantidade do patrón. Google informa de que SynthID pode soportar certos recortes, cambios de palabras e paráfrases leves. Unha reescrita ou tradución extensa pode reducir a súa confianza.

As marcas de auga poden reforzar as probas cando un sistema compatible xerou o texto e se mantén unha cantidade suficiente do sinal. Non poden identificar todos os textos xerados por IA.

Outros rexistros poden completar máis o panorama

• O historial de borradores mostra como cambiou un documento ao longo do tempo.
• Notas de investigación que conectan as súas afirmacións coas fontes.
• Interaccións con IA divulgadas que mostran onde contribuíu unha ferramenta.

Estes rexistros proporcionan un contexto máis directo sobre o proceso de escritura que unha puntuación basada só en patróns.

Tratar unha marca como o inicio dunha revisión

O resultado dun detector faise máis útil cando ten un papel definido. Antes de actuar ante unha marca, os revisores deben comprender o que mediu a ferramenta, confirmar que o texto entra dentro do seu ámbito e examinar o resto de probas dispoñibles.

Cinco comprobacións poden axudar:

1. Le a definición da puntuación. Determina se a porcentaxe representa unha probabilidade a nivel de documento ou a proporción de texto marcado.
2. Comproba o ámbito da ferramenta. Confirma que a lingua, a lonxitude e o formato do documento coinciden co que admite o detector.
3. Revisa as probas. Examina as pasaxes resaltadas xunto cos borradores, as notas de fontes e a explicación do autor.
4. Aplica a política pertinente. Identifica qué usos da IA están permitidos e que probas demostrarían unha infracción.
5. Analiza a obra en si. Revisa a precisión factual, a atribución de fontes, a orixinalidade e a calidade nos seus propios termos.

En xeral, a gravidade da situación debería determinar a profundidade da revisión. Un editor pode usar unha marca para decidir que artigo necesita unha nova ollada. Unha decisión que afecte a unha cualificación, a un posto de traballo ou a un acordo de publicación require probas máis sólidas e unha oportunidade para que o autor explique o seu proceso.

Un detector de IA comprime un xuízo complexo nunha puntuación. Interpretar esa puntuación require información que o número non contén: o que mediu a ferramenta, qué limiar utilizou, como se comportou nunha escritura comparable e quão común é o texto xerado por IA no material que se está a revisar. A puntuación pode orientar a atención. A puntuación dun detector pode contribuír a esa revisión, pero calquera conclusión sobre a autoría tamén require probas sobre o proceso de escritura.

Preguntas máis frecuentes

Poden equivocarse os detectores de IA?

Si. Un falso positivo ocorre cando un detector marca un texto escrito por un humano como xerado por IA. Un falso negativo ocorre cando un texto xerado por IA pasa desapercibido. A frecuencia de cada erro depende do detector, do seu limiar e de canto se asemelle o texto enviado ao material empregado para probalo.

Quão precisos son os detectores de IA?

Non existe unha única taxa de precisión para os detectores de IA. O rendemento pode variar coa lingua, a lonxitude, o tema, o estilo de escritura, o modelo xerador e a cantidade de edición. Unha afirmación de precisión é máis útil cando as condicións da proba se asemellan á escritura que se está a revisar e o resultado informa tanto dos falsos positivos como das deteccións exitosas.

Que significa unha porcentaxe de detección de IA?

A definición depende da ferramenta. Pode representar a probabilidade estimada de que un documento sexa xerado por IA, a porcentaxe de texto cualificado marcado ou unha forma de confianza no resultado. A documentación do detector debería explicar qué medida informa.

Pode un detector de IA probar que alguén utilizou a IA?

A puntuación dun detector por si sa non pode probar como se creou un documento. Analiza o texto enviado sen ver os estímulos (prompts), os borradores, as edicións ou a investigación que hai detrás. Unha revisión fiable considera a puntuación xunto coas probas do proceso e a política que rexe o uso aceptable da IA.

Por que ás veces se marca a escritura humana como IA?

A escritura humana e a xerada por IA poden compartir os mesmos patróns estatísticos. A linguaxe formulista, a fraseoloxía previsible, un vocabulario limitado ou un estilo que difire dos datos de adestramento do detector poden contribuír a un falso positivo. A investigación tamén descubriu que algúns detectores probados en 2023 sinalaron desproporcionadamente redaccións escritas por falantes non nativos de inglés.