Comment fonctionnent les détecteurs d'IA et pourquoi un score ne suffit pas

Collez un essai, un article ou un courriel dans un détecteur d'IA, et quelques secondes plus tard, il pourra renvoyer un résultat tel que « IA à 85 % ».

Cela semble précis. Mais cela peut aussi être facile à mal interpréter.

Le détecteur n'a pas observé comment le document a été rédigé. Il a analysé le texte final à la recherche de schémas associés à l'écriture générée par l'IA. Selon l'outil, ces 85 % peuvent représenter la probabilité estimée que l'IA ait produit le document ou la proportion du texte que le détecteur a signalée.

Cela rend un détecteur d'IA utile comme signal, en particulier lorsqu'un élément nécessite un examen plus approfondi. Toutefois, le score nécessite toujours un contexte et des éléments probants avant que quiconque ne tire une conclusion sur l'auteur du texte ou sa méthode de création. Comprendre comment les détecteurs produisent leurs scores aide à expliquer à la fois ce qu'ils peuvent détecter et pourquoi ils se trompent parfois.

Qu'est-ce qu'un détecteur d'IA ?

Un détecteur de texte d'IA examine un texte fini et estime s'il ressemble à un écrit produit par un modèle de langage. L'utilisateur y colle généralement le texte ou téléporte un document. En quelques secondes, l'outil peut renvoyer une étiquette, un pourcentage, des passages surlignés, ou les trois.

• Les enseignants et les établissements d'enseignement les utilisent lors de l'évaluation des travaux d'étudiants.
• Les éditeurs et les équipes de contenu peuvent les utiliser pour examiner les écrits soumis ou commandés, tandis que certaines entreprises de détection commercialisent des versions destinées aux équipes de recrutement qui examinent les dossiers de candidature.
• Les auteurs vérifient également parfois leur propre travail pour comprendre comment un enseignant, un rédacteur en chef, un client ou une plateforme pourrait le classifier.

Remarque : Les logiciels anti-plagiat ont un objectif connexe mais distinct. Ils comparent un document à du matériel publié et à d'autres sources pour trouver des correspondances textuelles. Les détecteurs d'IA évaluent des schémas dans les écrits soumis. Un passage entièrement original peut donc recevoir un signalement d'IA, tandis qu'un texte humain copié peut ne contenir aucun signal fort de génération par l'IA.

Comment les détecteurs d'IA analysent le texte

De nombreux détecteurs d'IA s'appuient sur un classificateur, un modèle d'apprentissage automatique entraîné sur des exemples d'écrits humains et générés par l'IA. En comparant les deux, il apprend quels schémas ont tendance à apparaître dans chacun, y compris dans le choix des mots et la structure des phrases. Il recherche ensuite ces schémas dans les nouveaux textes et produit une prédiction.

Ce que le détecteur apprend dépend de ce qu'il observe lors de son entraînement. Un outil entraîné sur une gamme limitée d'écrits peut avoir du mal avec un nouveau sujet, un style inconnu ou le résultat d'un modèle d'IA qu'il n'a jamais rencontré auparavant. Des recherches menées sur différents types de textes et de modèles d'IA ont révélé que les performances de détection peuvent chuter dans ces conditions.

Certaines méthodes adoptent une approche différente. Au lieu d'entraîner un classificateur distinct, elles utilisent les estimations de probabilité propres à un modèle de langage pour juger de la probabilité qu'il produise un passage.

• DetectGPT, par exemple, compare le texte original à des versions légèrement modifiées pour rechercher des schémas associés à la génération par IA. Ses recherches décrivent cette méthode comme une approche « zero-shot » (sans entraînement préalable) puisqu'elle ne nécessite pas de détecteur entraîné séparément. Le résultat peut inclure un score global, des phrases surlignées ou les deux.
• GPTZero affirme que ses surlignages indiquent quelles phrases ont le plus d'influence sur sa prédiction globale. Comme il évalue également le document dans son ensemble, un passage analysé de manière isolée peut ne pas recevoir le même résultat lorsqu'il fait partie d'un texte plus long.

Chaque résultat reflète à la fois le texte et le système qui l'évalue, ce qui explique pourquoi différents détecteurs peuvent arriver à des conclusions différentes concernant un même passage.

Agrandir

Ce que mesurent la perplexité et la variation du rythme

La perplexité et la variation du rythme reviennent souvent dans les explications concernant la détection de l'IA. Elles peuvent révéler des schémas utiles dans un texte, mais aucune d'elles n'indique une méthode d'écriture unique et propre à l'IA.

Un détail potentiellement source de confusion : la perplexité joue ici un double rôle. En minuscules, il s'agit d'une mesure statistique. Avec un P majuscule, c'est nous.

La perplexité mesure à quel point le texte est prévisible

Les modèles de langage génèrent du texte en attribuant des probabilités aux prochains jetons possibles, qui peuvent être des mots entiers ou des parties de mots. La perplexité mesure la capacité d'un modèle à prédire les jetons d'un passage.

• Perplexité plus faible : Le texte suit des schémas que le modèle trouve familiers.
• Perplexité plus élevée : La formulation est moins prévisible.

Le score est propre au modèle qui effectue l'évaluation et à la manière dont le texte est traité, de sorte qu'un même passage peut recevoir des scores de perplexité différents selon les configurations.

Prenons la phrase : « Veuillez me faire savoir si vous avez des questions. » Un modèle de langage a probablement rencontré une formulation similaire à de nombreuses reprises, ce qui rend chaque mot relativement facile à prédire. Cela nous apprend quelque chose sur la familiarité de la phrase, mais rien de concluant sur son auteur.

La variation du rythme mesure à quel point ces schémas varient

La « burstiness » (variation du rythme) est utilisée de manière plus vague dans les discussions sur la détection de l'IA. Elle décrit généralement l'importance des variations de l'écriture au fil d'un passage. Cela peut inclure des variations dans la longueur et la structure des phrases, ou des transitions entre un langage hautement prévisible et un langage plus surprenant.

• Variation du rythme plus faible : Les phrases suivent une longueur, une structure ou un rythme plus constants.
• Variation du rythme plus élevée : Le texte oscille entre des déclarations plus courtes, des explications plus longues et des tournures moins prévisibles.

Certains textes générés par l'IA sont cohérents et prévisibles, ce qui explique pourquoi la variation du rythme a été associée à la détection. Les écrits humains peuvent présenter les mêmes qualités, en particulier dans les contextes professionnels, universitaires et techniques. Les modèles d'IA peuvent également produire un langage plus varié lorsqu'ils y sont invités ou modifiés en conséquence.

GPTZero indique que la perplexité et la variation du rythme faisaient partie des caractéristiques utilisées par une version antérieure de son détecteur.

Ce que ces mesures montrent : La perplexité et la variation du rythme décrivent des schémas dans un passage. Ces schémas peuvent aider à expliquer pourquoi un texte a été signalé, mais ils ne peuvent pas établir qui l'a écrit.

Ce que signifie le score d'un détecteur d'IA

Un résultat « IA à 80 % » semble simple. Sa signification dépend du détecteur.

GPTZero décrit le pourcentage comme la probabilité estimée par son modèle qu'un texte ait été rédigé par l'IA ou par un humain. Turnitin utilise le pourcentage pour montrer quelle proportion de la prose admissible son modèle signale comme étant potentiellement générée par l'IA ou modifiée à l'aide de certains outils d'IA.

La même étiquette « IA à 80 % » pourrait donc signifier :

• Le détecteur estime qu'il y a 80 % de chances que l'IA ait généré le document.
• Le détecteur a signalé 80 % de la prose qu'il a évaluée.

Ce sont des conclusions différentes. L'une formule une prédiction sur le document dans son ensemble. L'autre identifie quelle proportion du texte correspond aux critères du détecteur.

Les scores de probabilité nécessitent une autre vérification : l'étalonnage. Si un détecteur attribue à 100 documents une probabilité d'IA d'environ 80 %, environ 80 d'entre eux devraient effectivement être générés par l'IA pour que le score soit bien étalonné. Tester le modèle par rapport à des exemples aux origines connues montre à quel point ses probabilités correspondent aux résultats réels.

Un pourcentage peut sembler précis avant que sa signification ou sa fiabilité ne soient claires. L'étiquette, la méthode de calcul du score et la performance du détecteur déterminent tous ce que le chiffre peut corroborer.

Agrandir

Le seuil détermine ce qui est signalé

Un détecteur doit tout de même décider à partir de quel moment un score est suffisamment élevé pour agir. Cette ligne de démarcation est appelée le seuil.

Supposons qu'un outil note un texte de 0 à 100 et signale tout ce qui dépasse 70. Déplacer la limite à 60 laisserait chaque score inchangé tout en augmentant le nombre de documents signalés.

• Un seuil plus bas détecte généralement davantage de textes générés par l'IA, mais signale également à tort plus d'écrits humains.
• Un seuil plus élevé réduit les signalements erronés, tout en permettant à un plus grand nombre de textes générés par l'IA de passer inaperçus. Ce compromis s'applique de manière générale aux systèmes de classification.

Les deux erreurs possibles portent des noms différents.

• Un faux positif se produit lorsqu'un écrit humain est signalé comme étant généré par l'IA.
• Un faux négatif se produit lorsqu'un texte généré par l'IA passe inaperçu.

L'endroit où un détecteur trace la ligne reflète l'erreur qu'il est conçu pour éviter. Ce choix a plus de poids lorsqu'un signalement peut nuire à une note, à un emploi ou à la crédibilité d'une personne.

Comment un taux d'erreur de 2 % peut produire près de 30 % de faux signalements

L'impact d'un taux de faux positifs de 2 % dépend de la quantité de textes écrits par des humains que le détecteur examine.

Considérons un ensemble hypothétique de 1 000 articles :

• 50 sont générés par l'IA.
• 950 sont rédigés par des humains.
• Le détecteur attrape 90 % des articles générés par l'IA.
• Il signale à tort 2 % des articles rédigés par des humains.

Voici ce qui se produit :

Le détecteur signale 64 articles au total. Dix-neuf sont rédigés par des humains, de sorte que près de 30 % de ses signalements sont erronés.

Les chiffres de 2 % et de 30 % mesurent des choses différentes. Le détecteur signale à tort 2 % de tous les articles rédigés par des humains. Ces erreurs représentent ensuite près de 30 % de tout ce qu'il signale.

Les chiffres s'expliquent ainsi parce que le détecteur a examiné beaucoup plus d'articles rédigés par des humains que d'articles générés par l'IA. Même un faible taux d'erreur peut produire un nombre significatif de signalements erronés lorsqu'il s'applique à un groupe beaucoup plus vaste.

Le terme taux de base décrit la fréquence des écrits générés par l'IA dans le matériel en cours de vérification. À mesure que cette proportion change, la signification d'un résultat positif change également. Si les taux de vrais positifs et de faux positifs du détecteur restent les mêmes, un signalement sera généralement plus fiable lorsque les écrits générés par l'IA sont courants dans la collection, et moins fiable lorsqu'ils sont rares.

Ces chiffres sont hypothétiques et ne décrivent pas un détecteur particulier. Dans un examen réel, la part des écrits générés par l'IA est généralement inconnue. Cette incertitude constitue une autre raison de traiter un signalement comme une invitation à regarder de plus près, plutôt que comme la preuve de la façon dont un document a été rédigé.

La précision dépend de ce sur quoi le détecteur a été testé

Un taux de précision décrit les performances dans un ensemble particulier de conditions. Avant d'appliquer ce taux à un autre écrit, vérifiez :

• La version du détecteur
• La longueur, la langue, le sujet et le format du texte
• Le modèle d'IA et les paramètres utilisés pour générer le matériel de test
• Si le texte a été révisé ou délibérément modifié
• Les auteurs représentés dans les échantillons rédigés par des humains

Commencez par les entrées prises en charge par l'outil

Turnitin, par exemple, exige au moins 300 mots de prose continue. L'entreprise affirme que son modèle ne détecte pas de manière fiable la poésie, les scripts, le code ou d'autres formats non narratifs générés par l'IA. De solides performances sur des essais nous indiquent donc peu de choses sur la manière dont le même détecteur traitera un poème ou un courriel court.

Comparer le test avec des écrits du monde réel

En 2024, des chercheurs ont testé 12 détecteurs à l'aide de RAID, un banc d'essai contenant plus de 6 millions de passages générés par l'IA répartis sur 11 modèles et huit domaines sujets. Les performances ont chuté lorsque les détecteurs ont rencontré des modèles non familiers, des paramètres de génération différents ou du texte délibérément modifié.

Un défi de 2025 utilisant RAID a produit de meilleurs résultats dans des conditions plus familières. Plusieurs participants ont détecté plus de 99 % du texte généré par machine tout en maintenant un taux de faux positifs de 5 %. Les domaines sujets et les modèles d'IA utilisés lors du test étaient également représentés dans les données d'entraînement.

Dans l'ensemble, les résultats montrent que les détecteurs peuvent obtenir de bons résultats sur divers contenus qu'ils ont été entraînés à reconnaître, tandis que les contenus non familiers restent plus difficiles à évaluer.

Examinez qui était représenté

Dans une étude de 2023, sept détecteurs ont classé à tort, en moyenne, 61,3 % des 91 essais du TOEFL écrits par des anglophones non natifs comme étant générés par l'IA. Ce résultat s'applique aux outils et aux échantillons testés à l'époque. Il montre également pourquoi un taux de précision global peut ne pas décrire la performance de manière égale pour chaque groupe d'écrivains.

Comment interpréter une revendication de précision : Plus le texte soumis est proche du matériel utilisé lors des tests, plus le résultat rapporté devient pertinent.

Le document final ne montre qu'une partie de sa genèse

L'IA peut jouer de nombreux rôles dans le processus d'écriture. Quelqu'un peut l'utiliser pour faire des recherches sur un sujet, organiser des notes, traduire un passage, peaufiner une phrase ou produire une première ébauche.

Ces flux de travail peuvent mener à des documents très différents. Un auteur peut utiliser l'IA pour ses recherches et rédiger chaque phrase de manière autonome. Un autre peut réécrire substantiellement une ébauche générée par l'IA. Un troisième peut ajouter un paragraphe généré à un article par ailleurs rédigé par un humain.

Un détecteur de texte voit les mots qui ont été soumis. Il n'a pas accès aux consignes, aux révisions ou aux décisions qui les ont précédés. Son score ne peut pas reconstituer l'ensemble du processus d'écriture ni déterminer si l'auteur a suivi une politique particulière. Par exemple,

• Une école peut autoriser le brainstorming tout en exigeant des étudiants qu'ils rédigent eux-mêmes leur travail.
• Un éditeur peut permettre une révision assistée par l'IA lorsqu'elle est divulguée.
• Un milieu de travail peut se soucier davantage de l'exactitude factuelle, de la confidentialité ou de l'attribution des sources que de savoir si l'IA a contribué à la formulation.

L'application de ces règles nécessite des preuves concernant le processus ainsi que le texte final. L'historique des versions, les notes de recherche et les explications de l'auteur peuvent fournir un contexte qu'un détecteur ne peut pas capturer. Turnitin conseille explicitement aux éducateurs de ne pas utiliser son score de rédaction par IA comme unique fondement d'une mesure disciplinaire à l'encontre d'un étudiant.

Un détecteur peut identifier un langage qui ressemble aux schémas qu'il associe à l'IA. Décider de ce qui s'est produit, et si c'était autorisé, nécessite un examen plus approfondi.

Les filigranes ajoutent un type de signal différent

Certains systèmes d'IA peuvent ajouter un schéma détectable lors de la génération de texte. Ce processus est appelé le filigranage.

Comment fonctionne un filigrane textuel

SynthID de Google DeepMind fournit un exemple :

1. Le système ajuste les probabilités de jetons. Il modifie légèrement la probabilité que le modèle sélectionne certains mots ou parties de mots.
2. Ces choix créent un schéma. Le filigrane est conçu pour rester invisible pour le lecteur.
3. Un détecteur compatible effectue une vérification. Le détecteur analyse le texte à la recherche du signal statistique attendu.

Le schéma étant ajouté lors de la génération, il peut fournir des informations liées au système qui a produit le texte.

Ce qui limite la détection par filigrane

• Le générateur doit l'ajouter. Le système d'IA doit prendre en charge et appliquer le filigrane. L'absence de filigrane ne prouve pas qu'une personne a rédigé le texte.
• Une part suffisante du schéma doit subsister. Google indique que SynthID peut résister à un certain rognage, à des modifications de mots et à de légères paraphrases. Une réécriture ou une traduction approfondie peut réduire son niveau de confiance.

Les filigranes peuvent renforcer les preuves lorsqu'un système compatible a généré le texte et qu'une part suffisante du signal subsiste. Ils ne peuvent pas identifier chaque texte généré par l'IA.

D'autres dossiers peuvent donner une idée plus complète

• L'historique des versions montre comment un document a évolué au fil du temps.
• Notes de recherche relient ses affirmations à des sources.
• Les interactions divulguées avec l'IA montrent où un outil a contribué.

Ces documents fournissent un contexte plus direct sur le processus d'écriture qu'un score fondé sur des schémas à lui seul.

Traiter un signalement comme le début d'un examen

Le résultat d'un détecteur devient plus utile lorsqu'il a un rôle défini. Avant d'agir sur la base d'un signalement, les évaluateurs doivent comprendre ce que l'outil a mesuré, confirmer que le texte entre dans son champ d'application et examiner les autres preuves disponibles.

Cinq vérifications peuvent vous aider :

1. Lisez la définition du score. Déterminez si le pourcentage représente une probabilité à l'échelle du document ou la part du texte signalée.
2. Vérifiez le champ d'application de l'outil. Confirmez que la langue, la longueur et le format du document correspondent à ce que le détecteur prend en charge.
3. Examinez les preuves. Analysez les passages surlignés parallèlement aux ébauches, aux notes de source et aux explications de l'auteur.
4. Appliquez la politique pertinente. Identifiez quelles utilisations de l'IA sont autorisées et quelles preuves démontreraient une infraction.
5. Évaluez le travail en soi. Examinez l'exactitude factuelle, l'attribution des sources, l'originalité et la qualité selon leurs propres mérites.

Les enjeux devraient déterminer la profondeur de l'examen. Un rédacteur en chef peut utiliser un signalement pour décider quel article mérite un nouvel examen. Une décision affectant une note, un emploi ou un contrat de publication exige des preuves plus solides et la possibilité pour l'auteur d'expliquer sa démarche.

Un détecteur d'IA compresse un jugement complexe en un score. L'interprétation de ce score nécessite des informations que le chiffre ne contient pas : ce que l'outil a mesuré, quel seuil il a utilisé, comment il a performé sur des écrits comparables et à quel point le texte généré par l'IA est courant dans le matériel examiné. Le score peut guider l'attention. Le score d'un détecteur peut contribuer à cet examen, mais toute conclusion concernant la paternité d'un texte nécessite également des preuves sur le processus d'écriture.

Foire aux questions

Les détecteurs d'IA peuvent-ils se tromper ?

Oui. Un faux positif se produit lorsqu'un détecteur signale un texte rédigé par un humain comme étant généré par l'IA. Un faux négatif se produit lorsqu'un texte généré par l'IA passe inaperçu. La fréquence de chaque erreur dépend du détecteur, de son seuil et de la ressemblance entre le texte soumis et le matériel utilisé pour le tester.

Quelle est la précision des détecteurs d'IA ?

Il n'existe pas de taux de précision unique pour les détecteurs d'IA. Les performances peuvent varier selon la langue, la longueur, le sujet, le style d'écriture, le modèle générateur et l'ampleur de la révision. Une revendication de précision est particulièrement utile lorsque les conditions du test ressemblent aux écrits évalués et que le résultat indique les faux positifs ainsi que les détections réussies.

Que signifie un pourcentage de détection d'IA ?

La définition dépend de l'outil. Elle peut représenter la probabilité estimée qu'un document soit généré par l'IA, le pourcentage de texte admissible signalé ou une forme de confiance dans le résultat. La documentation du détecteur doit expliquer quelle mesure elle rapporte.

Un détecteur d'IA peut-il prouver que quelqu'un a utilisé l'IA ?

Le score d'un détecteur à lui seul ne peut pas prouver la façon dont un document a été créé. Il analyse le texte soumis sans voir les consignes, les ébauches, les révisions ou la recherche qui se cachent derrière. Un examen fiable prend en compte le score ainsi que des preuves du processus et la politique régissant l'utilisation acceptable de l'IA.

Pourquoi les écrits humains sont-ils parfois signalés comme provenant de l'IA ?

Les écrits humains et ceux générés par l'IA peuvent partager les mêmes schémas statistiques. Un langage stéréotypé, des tournures prévisibles, un vocabulaire limité ou un style qui diffère des données d'entraînement du détecteur peuvent contribuer à un faux positif. Des recherches ont également révélé que certains détecteurs testés en 2023 ont signalé de manière disproportionnée des essais écrits par des anglophones non natifs.