Le professeur montréalais Yoshua Bengio, considéré comme l’un des pères de l’intelligence artificielle (IA), a présenté mardi sa nouvelle organisation dédiée à une IA responsable, qui veut notamment concevoir des logiciels capables d’empêcher les dérives des agents IA.

Depuis plusieurs années, ce lauréat du prix Turing (2018), aussi appelé le Nobel de l’informatique, alerte sur les risques liés au développement de l’IA, qu’il s’agisse d’une utilisation malveillante ou de dérapages des logiciels eux-mêmes.

« Les systèmes les plus avancés montrent déjà des signes d’instinct de conservation et de comportements trompeurs », explique le chercheur dans un communiqué publié mardi. « Et cela ne va faire qu’accélérer à mesure que leurs capacités et leur autonomie augmentent. »

Son nouvel organisme à but non lucratif, baptisé LoiZéro, se veut « une réponse à ces défis ».

Plusieurs exemples récents ont confirmé que l’IA avait franchi récemment des paliers de sophistication, notamment une étude de la jeune pousse Anthropic.

Dans un scénario test fictif, la nouvelle interface d’IA générative d’Anthropic, Claude 4, a été avertie de son remplacement imminent par un ingénieur informatique.

Acculée, elle a, de sa propre initiative, tenté de faire chanter l’ingénieur pour le dissuader de se débarrasser d’elle.

Un « garde-fou » pour « que l’IA se comporte bien »

LoiZéro s’est notamment donné pour mission de « proposer un mode de supervision des agents IA », cette nouvelle génération de modèles d’IA générative en mesure d’effectuer une foule de tâches de façon autonome, de la recherche sur Internet à un appel à un client, en passant par l’écriture d’un programme en code informatique.

« L’un des premiers objectifs est de développer une forme d’IA qui puisse être utilisée comme un garde-fou pour faire en sorte que l’IA se comporte bien », a décrit Yoshua Bengio dans une vidéo publiée sur le site de LoiZéro.

« L’IA peut être extrêmement bénéfique si nous nous assurons qu’elle ne va pas nuire aux gens », a-t-il poursuivi, « que ce soit parce qu’elle est entre de mauvaises mains ou de façon autonome ».

LoiZéro veut aussi travailler à une IA à l’autonomie limitée à destination de la recherche scientifique.

L’organisation compte déjà plus de 15 chercheurs et a déjà reçu plusieurs contributions financières, l’une d’entre elles venant de Schmidt Sciences, organisme caritatif créé par l’ancien patron de Google, Eric Schmidt, et son épouse Wendy.

LoiZéro a été lancée sous l’égide de l’Institut des algorithmes d’apprentissage de Montréal (Mila), fondé en 1993 par Yoshua Bengio.