Comment fonctionne un détecteur d'IA, en bref
Voici comment fonctionne un détecteur d'IA : il estime la probabilité qu'un texte ait été écrit par un modèle de langage. Contrairement à un logiciel anti-plagiat, il ne compare généralement pas vos mots à une base de sources, et il ignore tout de la personne qui les a tapés. Il mesure plutôt des schémas : à quel point chaque mot est prévisible, à quel point les phrases sont régulières, et à quel point le texte ressemble aux exemples humains et IA sur lesquels le détecteur a appris. Ce qui en sort est une probabilité, pas un fait.
La plupart des outils combinent plusieurs de ces signaux. Vous pouvez voir le principe sur notre détecteur d'IA gratuit : chaque phrase est marquée comme humaine ou IA, et le score correspond à la part du texte qui paraît humaine. La suite de ce guide explique ce qu'il y a derrière un tel résultat.
Ce que recherchent les détecteurs d'IA : perplexité et burstiness
Un modèle de langage écrit un mot à la fois, et à chaque étape il a tendance à choisir un mot suivant probable. Un détecteur peut faire passer un modèle similaire sur votre texte et lui demander, mot après mot, à quel point il est surpris. Cette surprise, en moyenne sur tout le texte, s'appelle la perplexité.
Prenez « J'ai bu une tasse de ___ ». « Café » ou « thé » ne surprend presque pas un modèle. « Tonnerre » le surprend beaucoup. Un texte où presque chaque mot est celui qu'on attend a une faible perplexité, et une faible perplexité est l'un des indices classiques d'une écriture machine.
Le deuxième signal, la burstiness (on pourrait parler de variabilité), mesure à quel point un texte change d'une phrase à l'autre. Les humains écrivent par à-coups : une phrase courte, puis une longue avec une ou deux subordonnées, puis quelque chose entre les deux. Les brouillons d'IA gardent souvent un rythme stable et régulier. Comparez ces deux passages :
- Faible burstiness : « Le plan améliore l'efficacité. Il réduit les coûts. Les équipes travaillent mieux. Les clients en profitent. » Quatre phrases de quatre mots, toutes construites de la même façon.
- Forte burstiness : « Le plan fait économiser de l'argent. Pas beaucoup au premier trimestre, puisque le nouveau logiciel se paie d'avance, mais dès l'été, cela se voit dans le budget de chaque équipe. Les clients le remarquent aussi. »
Les détecteurs repèrent aussi des habitudes de surface que les modèles ont en commun : les mêmes transitions (« De plus », « En outre »), des listes de trois bien rangées, une petite phrase de synthèse à la fin de chaque paragraphe. Rien de tout cela n'est une preuve. Une recette, une clause juridique ou un compte rendu de TP sont censés être prévisibles, et certaines personnes écrivent tout simplement en phrases régulières. Un signal statistique n'est qu'un indice, et c'est pourquoi beaucoup d'outils ajoutent une seconde méthode.
Les classificateurs entraînés : un modèle qui apprend sur des exemples
La deuxième approche est un classificateur : un modèle entraîné sur un grand ensemble de textes étiquetés « humain » ou « IA », jusqu'à ce qu'il apprenne quelles caractéristiques les distinguent. Personne ne lui donne de règle du type « faible perplexité = IA ». Il trouve ses propres schémas, y compris certains qu'aucune personne ne saurait nommer.
Le détecteur d'OpenAI, lancé en janvier 2023, était construit ainsi : un modèle de langage affiné sur des paires de textes écrits par des humains et par l'IA sur le même sujet. OpenAI l'a retiré environ six mois plus tard. La suite de l'histoire se trouve dans notre guide Les détecteurs d'IA sont-ils fiables ?
Un classificateur ne vaut que ce que valent ses données d'entraînement. Il s'en sort bien sur des textes qui ressemblent à ceux qu'il a vus pendant l'entraînement. Sur les autres, comme ceux d'un modèle d'IA plus récent, d'un genre inhabituel ou d'une langue qu'il a rarement rencontrée, il devient moins fiable. Dans le même article, OpenAI prévenait que face à des textes très différents de son jeu d'entraînement, son classificateur se montrait parfois « extrêmement confiant dans une prédiction erronée ».
Score par document ou score par phrase
Certains détecteurs rendent un seul verdict pour tout le texte. D'autres notent chaque phrase ou chaque court passage, puis construisent le résultat global à partir de ces notes. Les deux répondent à des questions différentes : « ce document a-t-il été écrit par une IA ? » et « quelles parties ressemblent à de l'IA ? »
Turnitin fonctionne de la seconde façon. L'entreprise explique qu'elle découpe un document en segments de quelques centaines de mots qui se chevauchent, attribue à chaque phrase un score entre 0 et 1, puis fait la moyenne de ces scores pour estimer quelle part du document a été générée par IA.
La notation par phrase est utile quand un texte est en partie humain et en partie IA, parce qu'elle montre d'où vient le signal. Elle est aussi plus bruitée. Une phrase seule apporte très peu d'indices : une ligne surlignée pèse donc bien moins qu'une page entière de lignes surlignées. Notre détecteur note à la fois le texte entier et chaque phrase, pour que vous voyiez le tableau d'ensemble et d'où il vient.
Le filigrane : un signal ajouté pendant l'écriture
Le filigrane (watermarking) prend le problème à l'envers. Au lieu de deviner après coup, le modèle d'IA marque ses propres textes au moment où il les écrit. Le filigrane textuel SynthID de Google DeepMind y parvient en ajustant légèrement les probabilités des mots que choisit le modèle. Le texte se lit normalement. Un détecteur qui connaît les réglages du filigrane vérifie ensuite si les choix de mots suivent le motif caché.
Google a annoncé en 2024 qu'il applique SynthID aux textes de l'application Gemini. Il a décrit la méthode dans un article paru dans Nature et publié le code pour que d'autres développeurs puissent l'intégrer à leurs propres modèles. Selon DeepMind :
- Ce qu'il supporte : des modifications légères, comme couper une partie du texte, changer quelques mots ou paraphraser un peu. Il fonctionne le mieux sur des réponses longues et ouvertes, comme des dissertations ou des e-mails.
- Ce qui lui pose problème : son niveau de confiance chute nettement quand le texte est entièrement réécrit ou traduit, et il est moins efficace sur les réponses à des questions factuelles, où il y a peu de choix de mots à ajuster.
Une limite vaut pour tous les filigranes : un détecteur ne peut trouver qu'une marque qui a été posée. Le texte d'un modèle qui n'applique pas de filigrane ressemble exactement à un texte sans filigrane, donc « aucun filigrane trouvé » ne dit rien sur l'usage de l'IA.
Comment fonctionne un détecteur d'IA ? Les trois méthodes comparées
| Méthode | Ce qu'elle mesure | Fonctionne le mieux sur | Principal point faible |
|---|---|---|---|
| Signaux statistiques (perplexité, burstiness) | La prévisibilité des mots et la régularité des phrases | Les longs brouillons d'IA non retouchés | Un texte humain simple ou très codifié peut paraître tout aussi prévisible |
| Classificateur entraîné | Des schémas appris sur des exemples humains et IA étiquetés | Les textes proches de ses données d'entraînement | Les modèles d'IA récents, les genres inhabituels et les langues autres que l'anglais |
| Vérification du filigrane | Un motif caché ajouté par le modèle d'IA pendant l'écriture | Les textes longs issus d'un modèle qui applique un filigrane | Ne trouve rien dans les textes de modèles sans filigrane, et s'efface après une forte réécriture ou une traduction |
La vérification du filigrane n'aide que pour les textes d'un modèle qui en ajoute un, lus par un détecteur qui en connaît les réglages. La plupart des textes que vous collez dans un détecteur public sont donc jugés avec les deux premières méthodes, souvent combinées.
Pourquoi deux détecteurs d'IA donnent des scores différents pour le même texte
Collez la même dissertation dans trois détecteurs et vous obtiendrez peut-être trois chiffres différents. Cela ne veut pas dire que l'un d'eux est en panne. Ils ne mesurent pas de la même façon :
- Des données d'entraînement différentes. Chaque classificateur a appris sur sa propre collection de textes humains et IA, et chacun a donc ses angles morts.
- Des seuils différents. Un outil peut qualifier un texte d'IA dès qu'il en est sûr à 50 %, un autre seulement à 90 %. Les mêmes indices reçoivent une étiquette différente.
- Des unités différentes. « 70 % IA » peut vouloir dire que l'outil est sûr à 70 % que tout le texte vient d'une IA, ou que 70 % des phrases ressemblent à de l'IA. Ce sont deux affirmations différentes, même si les deux s'affichent en pourcentage.
- Des versions différentes. Les détecteurs sont réentraînés à mesure que de nouveaux modèles d'IA apparaissent : le même outil peut noter différemment le même texte à quelques mois d'écart.
La fréquence de chaque type d'erreur est une autre question, et les tests publiés sont résumés dans notre guide Les détecteurs d'IA sont-ils fiables ?
Ce qui rend un texte IA plus difficile à détecter
Toutes les méthodes ci-dessus supposent que le texte garde l'empreinte que le modèle y a laissée. Tout ce qui modifie les choix de mots ou le rythme affaiblit le signal :
- La retouche. Chaque phrase réécrite par une personne remplace des choix de mots du modèle par des choix humains. Un brouillon très retravaillé est réellement un mélange, et les détecteurs le notent comme tel.
- Les textes courts. Quelques phrases ne contiennent pas assez de mots pour que la prévisibilité ou le rythme veuillent dire grand-chose. C'est pourquoi beaucoup de détecteurs imposent une longueur minimale. Le nôtre demande 40 mots.
- La traduction. Passer un texte dans une autre langue remplace presque tous les choix de mots, ce qui brouille à la fois les signaux statistiques et un éventuel filigrane.
- La paraphrase. Les outils de paraphrase et les humaniseurs modifient précisément ce que mesurent les méthodes statistiques : le choix des mots et le rythme des phrases.
La même logique joue dans l'autre sens. Un texte humain qui se trouve être simple, prévisible et régulier peut ressembler à de l'IA pour un détecteur. Si cela vous est arrivé, lisez pourquoi votre texte est détecté comme IA.
Ce qu'un détecteur d'IA ne peut pas savoir
Un détecteur lit le texte, et rien d'autre. Tout ce qui l'entoure lui échappe, et c'est souvent ce qui compte le plus :
- Qui l'a écrit. Un score décrit l'écriture, pas la personne. Il ne sait pas distinguer la prose simple d'un étudiant de celle d'un modèle.
- Comment le texte a été produit. Tapé de zéro, dicté, rédigé avec l'IA puis réécrit à la main, ou corrigé avec un outil de grammaire : le détecteur ne voit que les mots finaux.
- Quel outil d'IA, s'il y en a un. Les analyses statistiques et les classificateurs jugent l'écriture, pas l'outil. Seul un filigrane désigne un modèle précis, et seulement si ce modèle en a ajouté un.
- Si l'usage de l'IA était autorisé. Certains cours et certaines entreprises permettent l'IA pour trouver des idées ou pour relire. Le détecteur ne sait rien des règles en vigueur.
C'est pourquoi un score devrait ouvrir une discussion, pas la clore. Si vous enseignez, notre page sur les détecteurs d'IA pour enseignants explique comment s'en servir de façon équitable.