Plus tôt ce mois-ci, Jacob Coxon, chercheur en intelligence artificielle (IA), a quitté Anthropic après seulement quatre mois dans l’entreprise. Dans un message publié sur X, il a déclaré :

Ceux qui développent l’IA pensent sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie.

Evan Hubinger, un responsable d’Anthropic, lui a donné raison, ajoutant qu’il estimait personnellement à plus de 10 % la probabilité que cela se produise au cours des dix prochaines années.

Ces déclarations ont, sans surprise, suscité de vives réactions. Il est désormais beaucoup question de ralentir la recherche sur l’IA et de renforcer le « contrôle humain » sur cette technologie.

Mais comment, exactement, l’IA pourrait-elle tous nous tuer ? Les scénarios spectaculaires ne manquent pas. La plupart reposent sur l’idée d’une IA « superintelligente », c’est-à-dire dotée de capacités supérieures à celles des humains.

J’ai retenu cinq scénarios, classés du plus vague au plus précis. Selon moi, cet ordre correspond aussi à une probabilité croissante.

Impossible à prévoir

Les partisans des scénarios catastrophes liés à l’IA justifient souvent leurs inquiétudes par un raisonnement circulaire assez agaçant : comment pourrions-nous imaginer ce qu’une superintelligence ferait pour éliminer des êtres moins intelligents qu’elle, comme nous ? Il faudrait être soi-même superintelligent pour prévoir ce dont elle serait capable. Autant demander à votre chien d’imaginer une guerre thermonucléaire.

La bonne nouvelle, c’est que la superintelligence est peut-être encore loin. Les modèles d’IA actuels excellent dans la résolution de problèmes précis, mais cela ne signifie pas qu’ils sont plus intelligents que les humains dans tous les domaines. Cela dit, une IA a récemment résolu l’un des sept problèmes mathématiques les plus difficiles. Elle semblerait aussi progresser sur d’autres, de quoi tempérer cet optimisme.

Source : Wikimédia

Les trombones

Une IA superintelligente serait probablement redoutablement efficace pour atteindre les objectifs qui lui sont fixés. Mais elle pourrait être indifférente à la survie de l’humanité.

Le philosophe d’Oxford Nick Bostrom en donne une illustration célèbre : une IA superintelligente conçue pour maximiser la production de trombones. Afin de remplir sa mission, elle finirait par transformer toute la matière disponible – y compris les êtres humains, les planètes et les étoiles – en trombones. C’est le résultat d’une exécution parfaite d’un objectif mal défini. L’IA ne déteste pas l’humanité : elle constate simplement que nos atomes seraient plus utiles sous forme de trombones. Rien de personnel.

Toutefois, ce scénario confond intelligence et pouvoir. Une IA superintelligente n’aurait pas nécessairement les moyens d’atteindre ses objectifs. Transformer la planète en usines à trombones nécessiterait, si on y réfléchit, quelques autorisations administratives bien humaines. Même si elle les obtenait, la multiplication des usines à trombones finirait par provoquer une levée de boucliers. Des associations contesteraient les projets en justice, tandis que des militants écologistes bloqueraient les bulldozers.

Dans le monde réel, bien des obstacles empêchent même les acteurs les plus intelligents d’imposer leur volonté à tous les autres. On pourrait d’ailleurs voir dans les centres de données une version actuelle de ce scénario théorique. Et les humains résistent de plus en plus à leur prolifération.

Les armes biologiques

Une IA superintelligente pourrait anéantir l’humanité en créant puis en libérant un nouvel agent biologique dangereux. C’est l’une des issues envisagées dans le scénario « AI 2027 » d’AI Futures Project, une organisation à but non lucratif qui cherche à anticiper les conséquences des progrès de l’IA.

Cette menace a pris une tournure plus concrète le mois dernier, lorsque des chercheurs de l’université Stanford ont annoncé avoir utilisé un modèle d’IA entraîné sur des séquences génétiques pour synthétiser 16 nouveaux virus. Plus inquiétant encore, les chercheurs ont envoyé les séquences génétiques à un laboratoire spécialisé dans la synthèse de séquences génétiques à la demande, qui leur a renvoyé les virus dans des tubes à essai. L’expérience n’aurait coûté, au maximum, que quelques centaines de milliers de dollars.

La bonne nouvelle, ici, c’est qu’il est extrêmement difficile de tuer tout le monde avec un nouveau virus. Pour y parvenir, il faudrait qu’il se transmette très facilement et se répande partout. Or, les virus qui se propagent aisément sont généralement moins mortels. À l’inverse, un virus très meurtrier tend à moins se transmettre : beaucoup de personnes infectées meurent avant d’avoir pu contaminer d’autres personnes.

Le Covid-19 a tué moins de 1 % de l’humanité. La pandémie la plus meurtrière de l’histoire connue reste la peste noire, qui a emporté plus d’un tiers de la population européenne au XIV^e siècle. Même elle ferait probablement beaucoup moins de victimes aujourd’hui, grâce aux progrès de la médecine et de l’hygiène.

La guerre nucléaire

Et si l’IA s’immisçait dans la chaîne de commandement des armes nucléaires et déclenchait une guerre ? Ces cinquante dernières années, nous sommes passés à plusieurs reprises près d’un conflit nucléaire à la suite d’une erreur.

On nous assure que les systèmes de commandement nucléaire sont totalement déconnectés d’Internet. Pourtant, en 2010, les centrifugeuses du programme nucléaire iranien ont été mises hors service par le ver informatique Stuxnet, qui aurait été introduit au moyen d’une clé USB. L’IA peut aussi fournir de faux renseignements aux militaires, avec le risque de provoquer des décisions aux conséquences irréversibles.

On peut ici se rassurer en constatant que les arsenaux nucléaires ont diminué. Ils pourraient néanmoins encore causer la mort de près de la moitié de l’humanité. La plupart des victimes ne mourraient pas dans les explosions, mais de la famine provoquée par l’hiver nucléaire qui suivrait.

Source : Nevada Site Office

Les autres humains

Le risque le plus probable est peut-être que nous provoquions nous-mêmes notre disparition, avec l’IA comme accélérateur.

Imaginons – et ce n’est pas difficile – que l’IA entraîne des pertes massives d’emplois, inonde l’espace public de désinformation, exacerbe les divisions politiques et détruise les relations humaines en leur substituant de fausses relations avec des compagnons artificiels.

La société pourrait se désagréger. Lentement mais sûrement, elle ne serait plus capable d’assurer les conditions nécessaires à la vie d’un grand nombre d’êtres humains.

Que retenir de ces scénarios ? Certains risques méritent assurément qu’on s’en préoccupe. Mais sans doute pas de céder à la panique.

Toby Walsh, Professor of AI, Research Group Leader, UNSW

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.