Le 11 août dernier, Anthropic annonçait la mise en place d’un système de marquage invisible sur les textes générés par Claude, censé permettre d’identifier un texte totalement ou partiellement généré par IA.

Reposant sur SynthID-Text, une technologie de filigranage développée par Google DeepMind, ce système venait avec une promesse : ne modifier ni le sens, ni la qualité, ni la lisibilité du texte.

Reçu plutôt froidement par une partie de la communauté, il reste aujourd’hui un sujet d’interrogation, alors qu’il doit être généralisé à tous les futurs modèles d’Anthropic. Le filigrane est ainsi venu avec un lot d’outils permettant de le contourner, et est régulièrement accusé de dégrader la qualité des réponses des modèles.

C’est ce dernier point qu’a voulu vérifier Sean Goedecke, ingénieur logiciel australien, en soumettant de vrais lecteurs à un quiz les mettant au défi de repérer, parmi trois réponses à une même question, laquelle avait été discrètement marquée.

Chaque question propose trois textes générés par un seul et même prompt // Source : Capture d’écran Numerama

Un protocole simple

Pour mener son expérience, l’auteur a donc mis en ligne un site proposant dix questions. Chacune affichait trois réponses générées par le même modèle, Qwen3-30B-A3B-Instruct-2507. Sur les trois réponses, une seule portait la marque invisible de SynthID-Text. Aux participants de deviner laquelle.

Un premier lot de 278 participants a d’abord semblé indiquer une capacité de détection réelle, avec une moyenne de 3,92 sur 10 contre 3,33 attendus au hasard. Mais l’écart s’expliquait en réalité par un biais du protocole : la réponse filigranée occupait systématiquement la position « A » dans six questions sur dix, ce qui suffisait à faire grimper le score de quiconque cliquait par réflexe sur la première option.

Une fois l’ordre des réponses mélangé, un second lot de 73 participants a livré une moyenne de 3,4 sur 10, quasiment identique au hasard pur, sans aucun pic anormal. Avec l’audience plus large obtenue par la suite (environ 4 700 réponses au total, après relais sur LinkedIn et Hacker News), la moyenne s’est stabilisée à 3,44.

Une expérience informelle

L’auteur le reconnaît lui-même : son test n’a rien d’une « étude scientifique rigoureuse ». Le protocole de suivi des scores serait par exemple facilement falsifiable par un participant malintentionné. À cela s’ajoute le fait que le quiz peut paraître un peu long, et que la lassitude de disséquer trente textes peut pousser certains participants à cliquer rapidement pour venir à bout de l’exercice.

Mais selon lui, le résultat est sans appel : « les lecteurs ne peuvent pas identifier le texte IA filigrané », assure-t-il.

Score reçu au bout des 10 questions // Source : Capture d’écran Numerama

Une conclusion, disons-le, un peu hâtive, mais qui coïncide avec les explications données par Anthropic au lancement du filigrane, et qui repose sur la façon dont un modèle choisit un mot.

En effet, un modèle de langage ne choisit jamais un unique mot optimal mais pioche, à chaque étape, parmi une poignée de jetons candidats de probabilité proche. Le filigrane ne ferait donc que remplacer ce hasard par un biais prévisible et détectable algorithmiquement, mais statistiquement équivalent à un tirage aléatoire du point de vue du lecteur.

« Si les filigranes choisissaient réellement des mots aléatoires que le modèle ne sélectionnerait jamais, on pourrait parfois distinguer, à partir de trois réponses côte à côte, celle qui contient un filigrane, n’est-ce pas ? » conclut Sean Goedecke.