Si vous utilisez souvent ChatGPT, Claude ou Mistral, vous avez certainement constaté que leurs réponses sont parfois erronées ou truffées de fausses informations. Ces incohérences dépendraient surtout de la manière dont vous formulez vos prompts. Des chercheurs viennent de mettre au point une formule mathématique capable de prédire quand les chatbots vont «déraper».

Leurs résultats viennent d'être publiés dans la revue Patterns. Les deux auteurs de l'université George-Washington, aux États-Unis, ont constaté que l'ordre dans lequel les questions sont posées à ChatGPT et consorts influence les réponses données. Il peut conduire à un moment de bascule, où le chatbot se met à donner de mauvais conseils. Bonne nouvelle: une formule mathématique permet de prédire ce point de basculement, rapporte Live Science.

Récemment, les risques de l'intelligence artificielle (IA) se sont imposés au cœur du débat public. Les histoires effrayantes se multiplient: chatbot qui incite des jeunes au suicide, conseils donnés pour la fabrication d'armes meurtrières ou encore racisme assumé par la technologie. Certains dirigeants du secteur reconnaissent eux-mêmes, à demi-mot, que les algorithmes amènent leur part de danger. Sam Altman, le patron d'OpenIA, a ainsi admis que «certaines mauvaises choses se produisent», mais pour le bien de la technologie, selon lui.

L'ordre des questions revêt son importance

Pour le physicien Neil Johnson, coauteur de l'étude, les mesures de sécurité actuelles sont insuffisantes. Il a donc travaillé sur un mécanisme qui fonctionne comme une aiguille de boussole et s'appuie sur le principe des vecteurs. Pour élaborer leur formule, les scientifiques ont d'abord soumis les mêmes questions à différents modèles d'IA, à plusieurs reprises, en faisant varier leur ordre d'apparition. Les demandes portaient sur les vaccins, la violence envers les autres et l'automutilation. Les résultats sont sans appel: l'ordre des questions influence fortement les réponses obtenues. «On peut faire pencher la balance, non pas en modifiant le contenu, mais simplement en changeant l'ordre dans lequel on pose les questions», précise le chercheur.

À partir de ces observations, l'équipe a créé une formule mathématique capable d'estimer les circonstances dans lesquelles l'IA donne des résultats indésirables. Une sorte de système d'alerte précoce. Lors des essais, la formule est parvenue à déterminer le moment exact où les résultats basculaient vers des réponses problématiques dans 18 cas sur 19.

«Je m'attends à une forte résistance de la part de ces entreprises [OpenAI ou Anthropic, ndlr], prédit Neil Johnson. Ce n'est pas dans leur intérêt qu'une personne extérieure leur dise qu'elles auraient pu éviter bon nombre de ces problèmes.»

D'autres experts appellent toutefois à la prudence, comme Wei Xing, chercheur en IA à l'université de Sheffield, au Royaume-Uni. Il rappelle que la méthode des Américains n'a été testée que sur des modèles relativement anciens ou expérimentaux, notamment GPT-2 et les modèles open source Pythia et Meta OPT. Ceux-ci diffèrent des assistants conversationnels que les gens utilisent au quotidien. D'autres tests semblent ainsi nécessaires pour déterminer l'efficacité de ce système d'alerte précoce.