Comment fonctionnent les détecteurs d'IA et pourquoi un score ne prouve pas l'auteur

Collez un essai, un article ou un e-mail dans un détecteur d'IA, et quelques secondes plus tard, il peut renvoyer un résultat tel que « 85 % IA ».

Cela semble précis. Mais cela peut aussi être facile à mal interpréter.

Le détecteur n'a pas observé comment le document a été rédigé. Il a analysé le texte final à la recherche de motifs associés à l'écriture générée par l'IA. Selon l'outil, ce taux de 85 % peut représenter la probabilité estimée que l'IA ait produit le document ou la part du texte signalée par le détecteur.

Cela rend un détecteur d'IA utile comme signal, en particulier lorsqu'un élément nécessite un examen plus approfondi. Mais le score nécessite toujours un contexte et des preuves à l'appui avant que quiconque ne tire une conclusion sur l'auteur du texte ou sur la manière dont il l'a créé. Comprendre comment les détecteurs produisent leurs scores permet d'expliquer à la fois ce qu'ils peuvent détecter et pourquoi ils se trompent parfois.

Qu'est-ce qu'un détecteur d'IA ?

Un détecteur de texte par IA examine un texte achevé et estime s'il ressemble à un écrit produit par un modèle de langage. L'utilisateur y colle généralement le texte ou téléporte un document. En quelques secondes, l'outil peut renvoyer une étiquette, un pourcentage, des passages mis en surbrillance, ou les trois.

• Les enseignants et les institutions académiques les utilisent lors de l'évaluation des travaux d'étudiants.
• Les éditeurs et les équipes de contenu peuvent les utiliser pour filtrer les écrits soumis ou commandés, tandis que certaines entreprises éditant des détecteurs commercialisent des versions destinées aux équipes de recrutement examinant les dossiers de candidatures.
• Les auteurs vérifient également parfois leur propre travail pour comprendre comment un enseignant, un éditeur, un client ou une plateforme pourrait le classifier.

Remarque : Les détecteurs de plagiat ont un objectif connexe mais distinct. Ils comparent un document à du matériel publié et à d'autres sources pour trouver des correspondances textuelles. Les détecteurs d'IA évaluent des schémas dans l'écriture soumise. Un passage entièrement original peut donc recevoir un signalement d'IA, tandis qu'un écrit humain copié peut ne contenir aucun signal fort de génération par IA.

Comment les détecteurs d'IA analysent le texte

De nombreux détecteurs d'IA reposent sur un classificateur, un modèle d'apprentissage automatique (machine learning) entraîné sur des exemples d'écrits humains et générés par l'IA. En comparant les deux, il apprend quels motifs ont tendance à apparaître dans chacun, notamment les schémas de choix des mots et de structure des phrases. Il recherche ensuite ces motifs dans le nouveau texte et produit une prédiction.

Ce que le détecteur apprend dépend de ce qu'il observe pendant l'entraînement. Un outil entraîné sur une gamme limitée d'écrits peut avoir du mal avec un nouveau sujet, un style non familier ou un résultat provenant d'un modèle d'IA qu'il n'a jamais rencontré auparavant. Des recherches menées sur différents types de textes et de modèles d'IA ont révélé que les performances de détection peuvent chuter dans ces conditions.

Certaines méthodes adoptent une approche différente. Au lieu d'entraîner un classificateur distinct, elles utilisent les propres estimations de probabilité d'un modèle de langage pour évaluer la probabilité qu'il produise un passage.

• DetectGPT, par exemple, compare le texte original à des versions légèrement modifiées pour rechercher des motifs associés à la génération par IA. Ses recherches décrivent cela comme une méthode « zero-shot » (sans entraînement préalable) car elle ne nécessite pas de détecteur entraîné séparément. Le résultat peut inclure un score global, des phrases mises en surbrillance ou les deux.
• GPTZero affirme que ses mises en surbrillance indiquent quelles phrases ont le plus d'influence sur sa prédiction globale. Comme il évalue également le document dans son ensemble, un passage analysé de manière isolée peut ne pas recevoir le même résultat lorsqu'il fait partie d'un texte plus long.

Chaque résultat reflète à la fois le texte et le système qui l'évalue, ce qui explique pourquoi différents détecteurs peuvent arriver à des conclusions différentes concernant le même passage.

Agrandir

Ce que mesurent la perplexité et la burstiness

La perplexité et la burstiness reviennent souvent dans les explications sur la détection de l'IA. Elles peuvent révéler des motifs utiles dans un texte, mais aucune ne désigne une méthode d'écriture unique et exclusivement propre à l'IA.

Un détail potentiellement source de confusion : la perplexité joue ici un double rôle. En minuscules, il s'agit d'une mesure statistique. Avec un P majuscule, c'est nous.

La perplexité mesure la prévisibilité du texte

Les modèles de langage génèrent du texte en attribuant des probabilités aux prochains jetons (tokens) possibles, qui peuvent être des mots entiers ou des parties de mots. La perplexité mesure la capacité d'un modèle à prédire les jetons d'un passage.

• Perplexité inférieure : Le texte suit des schémas que le modèle trouve familiers.
• Perplexité plus élevée : La formulation est moins attendue.

Le score est spécifique au modèle effectuant l'évaluation et à la manière dont le texte est traité, de sorte qu'un même passage peut recevoir des scores de perplexité différents selon les configurations.

Prenons la phrase : « N'hésitez pas à me faire savoir si vous avez des questions. » Un modèle de langage a probablement rencontré des formulations similaires à de nombreuses reprises, ce qui rend chaque mot relativement facile à prédire. Cela nous apprend quelque chose sur la familiarité de la phrase. Cela ne dit rien de concluant sur son auteur.

La burstiness mesure la variabilité de ces motifs

La « burstiness » (variabilité de la structure) est utilisée de manière plus large dans les discussions sur la détection de l'IA. Elle décrit généralement dans quelle mesure l'écriture change au fil d'un passage. Cela peut inclure des variations dans la longueur et la structure des phrases, ou des transitions entre un langage hautement prévisible et un langage plus surprenant.

• Burstiness inférieure : Les phrases suivent une longueur, une structure ou un rythme plus constants.
• Burstiness supérieure : L'écriture oscille entre des déclarations plus courtes, des explications plus longues et des tournures moins prévisibles.

Certains textes générés par l'IA sont cohérents et prévisibles, ce qui explique pourquoi la burstiness a été associée à la détection. L'écriture humaine peut présenter les mêmes qualités, en particulier dans les contextes professionnels, académiques et techniques. Les modèles d'IA peuvent également produire un langage plus varié lorsqu'ils y sont invités ou modifiés en conséquence.

GPTZero indique que la perplexité et la burstiness faisaient partie des plusieurs fonctionnalités utilisées par une version antérieure de son détecteur.

Ce que montrent ces mesures : La perplexité et la burstiness décrivent des motifs dans un passage. Ces motifs peuvent aider à expliquer pourquoi un texte a été signalé, mais ils ne peuvent pas établir qui l'a écrit.

Que signifie le score d'un détecteur d'IA

Un résultat « 80 % IA » semble simple. Sa signification dépend du détecteur.

GPTZero décrit le pourcentage comme la probabilité estimée par son modèle qu'un humain ou l'IA ait rédigé le document. Turnitin utilise le pourcentage pour montrer quelle proportion de la prose éligible est signalée par son modèle comme potentiellement générée par l'IA ou modifiée à l'aide de certains outils d'IA.

La même étiquette « 80 % IA » pourrait donc signifier :

• Le détecteur estime à 80 % la probabilité que l'IA ait généré le document.
• Le détecteur a signalé 80 % de la prose qu'il a évaluée.

Il s'agit de conclusions différentes. L'une formule une prédiction sur le document dans son ensemble. L'autre identifie la part du texte qui correspond aux critères du détecteur.

Les scores de probabilité nécessitent une autre vérification : l'étalonnage (calibration). Si un détecteur attribue à 100 documents une probabilité d'IA d'environ 80 %, environ 80 d'entre eux devraient effectivement être générés par l'IA pour que le score soit bien étalonné. Tester le modèle par rapport à des exemples aux origines connues montre à quel point ses probabilités correspondent aux résultats réels.

Un pourcentage peut sembler exact avant que sa signification ou sa fiabilité ne soient claires. L'étiquette, la méthode de notation et les performances du détecteur déterminent tous ce que ce chiffre peut étayer.

Agrandir

Le seuil détermine ce qui est signalé

Un détecteur doit toujours décider à partir de quel moment un score est suffisamment élevé pour agir. Cette ligne de démarcation est appelée la limite ou le seuil.

Supposons qu'un outil note un texte de 0 à 100 et signale tout ce qui dépasse 70. Déplacer la limite à 60 laisserait tous les scores inchangés tout en augmentant le nombre de documents signalés.

• Un seuil plus bas détecte généralement davantage de textes générés par l'IA, mais signale également à tort un plus grand nombre d'écrits humains.
• Un seuil plus élevé réduit les faux signalements, tout en permettant à davantage d'écrits générés par l'IA de passer inaperçus. Ce compromis s'applique de manière générale aux systèmes de classification.

Les deux erreurs possibles portent des noms différents.

• Un faux positif se produit lorsqu'un écrit humain est signalé comme généré par l'IA.
• Un faux négatif se produit lorsqu'un écrit généré par l'IA passe inaperçu.

L'endroit où un détecteur place la limite reflète l'erreur qu'il est conçu pour éviter. Ce choix a d'autant plus de poids qu'un signalement pourrait affecter une note, un emploi ou la crédibilité d'une personne.

Comment un taux d'erreur de 2 % peut produire près de 30 % de faux signalements

L'impact d'un taux de faux positifs de 2 % dépend du volume de textes humains examinés par le détecteur.

Considérons un ensemble hypothétique de 1 000 articles :

• 50 sont générés par l'IA.
• 950 sont rédigés par des humains.
• Le détecteur intercepte 90 % des articles générés par l'IA.
• Il signale à tort 2 % des articles écrits par des humains.

Voici ce qui se produit :

Le détecteur signale 64 articles au total. Dix-neuf sont écrits par des humains, de sorte que près de 30 % de ses signalements sont erronés.

Les chiffres de 2 % et de 30 % mesurent des choses différentes. Le détecteur signale à tort 2 % de tous les articles rédigés par des humains. Ces erreurs représentent ensuite près de 30 % de tout ce qu'il signale.

Les chiffres s'expliquent ainsi parce que le détecteur a examiné beaucoup plus d'articles écrits par des humains que d'articles générés par l'IA. Même un faible taux d'erreur peut produire un nombre significatif de faux signalements lorsqu'il s'applique à un groupe beaucoup plus large.

Le terme taux de base décrit la fréquence des écrits générés par l'IA dans le matériel analysé. À mesure que cette proportion change, la signification d'un résultat positif change également. Si les taux de vrais positifs et de faux positifs du détecteur restent les mêmes, un signalement sera généralement plus fiable lorsque l'écriture par IA est fréquente dans le corpus et moins fiable lorsqu'elle est rare.

Ces chiffres sont hypothétiques et ne décrivent pas un détecteur particulier. Dans un examen réel, la part de texte généré par l'IA est généralement inconnue. Cette incertitude est une autre raison de traiter un signalement comme une invitation à regarder de plus près, plutôt que comme la preuve de la manière dont un document a été rédigé.

La précision dépend de ce sur quoi le détecteur a été testé

Un taux de précision décrit les performances dans un ensemble particulier de conditions. Avant d'appliquer ce taux à un autre écrit, vérifiez :

• La version du détecteur
• La longueur, la langue, le sujet et le format du texte
• Le modèle d'IA et les paramètres utilisés pour générer le matériel de test
• Si le texte a été édité ou délibérément modifié
• Les rédacteurs représentés dans les échantillons écrits par des humains

Commencez par les entrées prises en charge par l'outil

Turnitin, par exemple, exige au moins 300 mots de prose au long cours. L'outil indique que son modèle ne détecte pas de manière fiable la poésie, les scripts, le code ou d'autres formats non textuels générés par l'IA. De bonnes performances sur des essais nous renseignent donc peu sur la manière dont le même détecteur gérera un poème ou un court e-mail.

Comparer le test avec l'écriture du monde réel

En 2024, des chercheurs ont testé 12 détecteurs à l'aide de RAID, un banc d'essai contenant plus de 6 millions de passages générés par l'IA répartis sur 11 modèles et huit domaines sujets. Les performances ont chuté lorsque les détecteurs ont rencontré des modèles non familiers, des paramètres de génération différents ou du texte délibérément modifié.

Un défi de 2025 utilisant RAID a produit des résultats plus probants dans des conditions plus familières. Plusieurs participants ont détecté plus de 99 % du texte généré par machine tout en maintenant un taux de faux positifs de 5 %. Les domaines sujets et les modèles d'IA utilisés lors du test étaient également représentés dans les données d'entraînement.

Dans l'ensemble, les résultats montrent que les détecteurs peuvent obtenir de bons résultats sur des contenus variés qu'ils ont été entraînés à reconnaître, tandis que le matériel inconnu reste plus difficile à évaluer.

Examinez qui était représenté

Dans une étude de 2023, sept détecteurs ont classé à tort une moyenne de 61,3 % sur 91 essais TOEFL rédigés par des locuteurs non natifs de l'anglais comme étant générés par l'IA. Ce résultat s'applique aux outils et aux échantillons testés à l'époque. Il montre également pourquoi un taux de précision global peut ne pas décrire les performances de manière égale pour chaque groupe d'écrivains.

Comment interpréter une affirmation de précision : plus le texte soumis est proche du matériel utilisé lors des tests, plus le résultat rapporté devient pertinent.

Le document final ne montre qu'une partie de sa genèse

L'IA peut jouer de nombreux rôles dans le processus de rédaction. Quelqu'un peut l'utiliser pour faire des recherches sur un sujet, organiser des notes, traduire un passage, peaufiner une phrase ou produire un premier brouillon.

Ces flux de travail peuvent mener à des documents très différents. Un rédacteur peut utiliser l'IA pour ses recherches et rédiger chaque phrase de manière autonome. Un autre peut réécrire substantiellement un brouillon généré par l'IA. Un troisième peut ajouter un paragraphe généré à un article par ailleurs rédigé par un humain.

Un détecteur de texte voit les mots qui ont été soumis. Il n'a pas accès aux invites, aux modifications ou aux décisions qui les ont précédés. Son score ne peut pas reconstituer l'ensemble du processus de rédaction ni déterminer si l'auteur a suivi une politique particulière. Par exemple,

• Une école peut autoriser le brainstorming tout en exigeant des étudiants qu'ils rédigent eux-mêmes leur travail.
• Un éditeur peut autoriser la réécriture assistée par l'IA lorsqu'elle est divulguée.
• Un lieu de travail peut se soucier davantage de l'exactitude factuelle, de la confidentialité ou de l'attribution des sources que du fait que l'IA ait contribué à la formulation.

L'application de ces règles nécessite des preuves concernant le processus ainsi que le texte final. L'historique des versions, les notes de recherche et les explications de l'auteur peuvent fournir un contexte qu'un détecteur ne peut pas offrir. Turnitin déconseille explicitement aux enseignants d'utiliser son score de rédaction par IA comme unique base pour des mesures disciplinaires à l'encontre d'un étudiant.

Un détecteur peut identifier un langage qui ressemble aux schémas qu'il associe à l'IA. Décider ce qui s'est produit, et si c'était autorisé, nécessite un examen plus large.

Les filigranes ajoutent un type de signal différent

Certains systèmes d'IA peuvent ajouter un motif détectable lors de la génération du texte. Ce processus est appelé le filigrane (watermarking).

Comment fonctionne un filigrane textuel

SynthID de Google DeepMind en fournit un exemple :

1. Le système ajuste les probabilités de jetons (tokens). Il modifie légèrement la probabilité que le modèle sélectionne certains mots ou parties de mots.
2. Ces choix créent un motif. Le filigrane est conçu pour rester invisible pour le lecteur.
3. Un détecteur compatible vérifie sa présence. Le détecteur analyse le texte à la recherche du signal statistique attendu.

Le motif étant ajouté lors de la génération, il peut fournir des informations liées au système qui a produit le texte.

Ce qui limite la détection par filigrane

• Le générateur doit l'ajouter. Le système d'IA doit prendre en charge et appliquer le filigrane (watermark). L'absence de filigrane ne prouve pas qu'une personne a rédigé le texte.
• Une part suffisante du motif doit subsister. Google indique que SynthID peut résister à un certain degré de rognage, de modification de mots et de paraphrase légère. Une réécriture ou une traduction approfondie peut réduire son niveau de confiance.

Les filigranes peuvent renforcer les preuves lorsqu'un système compatible a généré le texte et qu'une part suffisante du signal subsiste. Ils ne peuvent pas identifier chaque écrit généré par l'IA.

D'autres documents peuvent compléter le tableau

• L'historique des versions montre comment un document a évolué au fil du temps.
• Notes de recherche relient ses affirmations à des sources.
• Interactions divulguées avec l'IA indiquent où un outil a contribué.

Ces documents fournissent un contexte plus direct sur le processus de rédaction qu'un score basé uniquement sur des motifs.

Traiter un signalement comme le point de départ d'un examen

Le résultat d'un détecteur devient plus utile lorsqu'il se voit assigner un rôle précis. Avant d'agir sur la base d'un signalement, les examinateurs doivent comprendre ce que l'outil a mesuré, confirmer que le texte relève de son champ d'application et examiner les autres preuves disponibles.

Cinq vérifications peuvent vous y aider :

1. Lisez la définition du score. Déterminez si le pourcentage représente une probabilité à l'échelle du document ou la part de texte signalée.
2. Vérifiez le champ d'application de l'outil. Confirmez que la langue, la longueur et le format du document correspondent à ce que le détecteur prend en charge.
3. Examinez les preuves. Analysez les passages mis en surbrillance parallèlement aux brouillons, aux notes de source et aux explications de l'auteur.
4. Appliquez la politique pertinente. Identifiez quelles utilisations de l'IA sont autorisées et quelles preuves démontreraient une infraction.
5. Évaluez l'œuvre elle-même. Examinez l'exactitude factuelle, l'attribution des sources, l'originalité et la qualité pour ce qu'elles valent.

Les enjeux doivent déterminer la profondeur de l'examen. Un éditeur peut utiliser un signalement pour décider quel article mérite un nouveau regard. Une décision affectant une note, un emploi ou un contrat de publication exige des preuves plus solides et une opportunité pour l'auteur d'expliquer sa démarche.

Un détecteur d'IA condense un jugement complexe en un score. L'interprétation de ce score nécessite des informations que le chiffre ne contient pas : ce que l'outil a mesuré, quel seuil il a utilisé, ses performances sur des écrits comparables et la fréquence du texte généré par l'IA dans le matériel examiné. Le score peut guider l'attention. Le score d'un détecteur peut contribuer à cet examen, mais toute conclusion concernant la paternité d'un texte nécessite également des preuves sur le processus de rédaction.

Foire aux questions

Les détecteurs d'IA peuvent-ils se tromper ?

Oui. Un faux positif se produit lorsqu'un détecteur signale un écrit humain comme généré par l'IA. Un faux négatif se produit lorsqu'un écrit généré par l'IA passe inaperçu. La fréquence de chaque erreur dépend du détecteur, de son seuil et de la ressemblance entre le texte soumis et le matériel utilisé pour le tester.

Quelle est la précision des détecteurs d'IA ?

Il n'existe pas de taux de précision unique pour les détecteurs d'IA. Les performances peuvent varier en fonction de la langue, de la longueur, du sujet, du style d'écriture, du modèle de génération et du volume de modifications. Une affirmation de précision est particulièrement utile lorsque les conditions du test ressemblent au texte examiné et que le résultat indique les faux positifs ainsi que les détections réussies.

Que signifie un pourcentage de détection d'IA ?

La définition dépend de l'outil. Elle peut représenter la probabilité estimée qu'un document soit généré par l'IA, le pourcentage de texte éligible signalé, ou une forme de confiance dans le résultat. La documentation du détecteur doit expliquer quelle mesure il rapporte.

Un détecteur d'IA peut-il prouver que quelqu'un a utilisé l'IA ?

Le score d'un détecteur ne peut à lui seul prouver la manière dont un document a été créé. Il analyse le texte soumis sans voir les invites, les brouillons, les modifications ou les recherches qui se cachent derrière. Un examen fiable prend en compte le score ainsi que les preuves du processus et la politique régissant l'utilisation acceptable de l'IA.

Pourquoi les écrits humains sont-ils parfois signalés à tort comme de l'IA ?

Les écrits humains et ceux générés par l'IA peuvent partager les mêmes schémas statistiques. Un langage formulaire, des tournures prévisibles, un vocabulaire limité ou un style différent des données d'entraînement du détecteur peuvent contribuer à un faux positif. Des recherches ont également révélé que certains détecteurs testés en 2023 ont signalé de manière disproportionnée des essais rédigés par des non-natifs anglophones.