Longue journée de fin d’été. Vous décidez de passer l’après-midi à tester toutes sortes de modèles d’IA sur Hugging Face.

L’immensité des options vous fait perdre la tête, et du temps, mais vous finissez par jeter votre dévolu sur un modèle après des minutes d’hésitation.

Votre prompt est prêt mais au moment de générer, une dernière proposition s’affiche : régler la température du modèle.

Qu’est-ce que c’est, et surtout, comment ça marche ?

Réglage de température. // Source : Hugging Face

La température d’une IA, c’est quoi ?

Pour comprendre ce qu’est la température d’une réponse, il faut d’abord comprendre comment fonctionne la génération de texte dans les LLM.

Techniquement, un modèle de langage ne « sait » pas quel mot écrire à la suite d’un autre. À chaque étape, il calcule une probabilité pour chaque mot possible, puis en tire un. C’est d’ailleurs sur ce même mécanisme que repose le dispositif mis en place par Anthropic pour apposer un filigrane invisible à ses textes.

Or la température agit sur ce tirage. Une température basse resserre les probabilités sur les mots les plus attendus : la réponse devient prévisible, factuelle, répétitive d’une génération à l’autre. Une température plus élevée, elle, aplatit ces probabilités, des mots moins évidents ont alors leur chance d’être choisis.

Le curseur varie généralement de 0 à 2 selon les plateformes, Anthropic, par exemple, plafonne le sien à 1, avec 1.0 comme réglage par défaut sur la plupart des modèles.

Non, la température ne rend pas l’IA plus « inventive »

Si la température est réglable via les API ou sur les démos communautaires hébergées sur Hugging Face, elle reste gérée automatiquement par le système dans la grande majorité des chatbots grand public, sans que l’utilisateur n’ait la main dessus.

IBM a voulu mener une démonstration sur son modèle Granite pour en illustrer l’effet : pour un même prompt, le texte reste sobre et prévisible à basse température, gagne en détails à température moyenne, puis s’autorise des embranchements plus inattendus à température élevée.

Mais l’entreprise américaine souligne un raccourci fréquent : température n’égale pas créativité, ni nouveauté.

Citant une étude externe de Peeperkorn et al., l’article conclut que la température n’a qu’une corrélation faible avec la nouveauté du texte, moyenne avec son incohérence, et aucune avec sa cohésion ou son originalité.

Autrement dit, monter la température rend surtout le modèle moins fidèle à son entraînement, pas nécessairement plus inventif. Bon à savoir pour votre prochaine session de test.

Un édito exclusif, un guide, une reco de lecture et l’agenda de la rédaction : c’est ce que vous trouverez tous les jeudis dans ToujoursPlus, la newsletter tech écrite par Julien Cadot. Inscrivez-vous gratuitement ici !