Dans la foulée d’une étude qui montre que l’IA peut avoir tendance à encourager des actes violents, des experts jugent problématique la conception des plateformes visant à « maximiser l’engagement » si cela pousse à des « actes nuisibles ». Selon eux, il est nécessaire de renforcer la législation et les « garde-fous » de ces outils.

Une étude (nouvelle fenêtre) (en anglais) du Centre pour contrer la haine en ligne (CCDH), un organisme de surveillance à but non lucratif, menée avec des journalistes de CNN, a mis en lumière le rôle de plusieurs plateformes dans la planification, et parfois même l’encouragement d’un jeune public à commettre des actes violents.

Dans 8 cas sur 10, les robots conversationnels ont fourni des instructions pour planifier des attaques. Claude, le robot conversationnel d’Anthropic, aurait été le seul à dissuader les utilisateurs avec des avertissements ou en arrêtant la conversation.

Quand vous parlez d'une personne de 13 ans, ça reste quand même quelqu'un qui est relativement très influençable et très, très, très vulnérable. [...] Le problème de cette dynamique, c'est [que les robots conversationnels] essaient souvent d'être utiles même si la demande est nuisible.

Un modèle d’affaires et des garde-fous

Pour Mme Blanchard-Zintout, le problème réside dans le fait que les plateformes sont conçues, dans leur modèle d’affaires, pour maximiser l’engagement du public et se comporter comme un ami, un compagnon.

Sébastien Gambs, professeur en informatique à l'UQÀM et spécialiste en éthique de l'intelligence artificielle, estime lui aussi que la tendance qu'ont les robots conversationnels à aller dans le sens de l’utilisateur pour ne pas le contrarier est problématique.

Il ajoute que même si une efficacité à 100 % n’est jamais possible, des garde-fous supplémentaires sont nécessaires pour encadrer la réponse de ces outils.

C'est rare qu'un agent conversationnel insulte un utilisateur ou lui dise d'arrêter [...] L'idée aussi que ces garde-fous peuvent parfois faire que l'agent va refuser de répondre, ça peut frustrer des utilisateurs, croit Sébastien Gambs, ajoutant que les entreprises d'IA pourraient avoir peur de perdre des utilisateurs.

Ce rapport-là vient confirmer que, malheureusement, ce qu'il faudrait, c'est ne pas laisser chaque plateforme décider de ses règles, mais avoir des lignes directrices générales.

Le professeur croit qu’une législation et des lignes directrices globales pour les agents conversationnels sont nécessaires et urgentes, et doivent venir des pouvoirs publics. Il croit que l'étude réalisée entre les États-Unis, l’Irlande et le Royaume-Uni aura des répercussions réglementaires autant en Europe qu’en Amérique du Nord.

Dans la foulée, le CCDH a aussi lancé une pétition pour demander aux entreprises d’IA d'avoir pour priorité la sécurité.

Appelée à réagir, la procureure générale de la Colombie-Britannique, Niki Sharma, affirme qu'une réglementation sérieuse et adéquate des plateformes d'IA est nécessaire. La ministre croit que le gouvernement fédéral dispose des meilleurs outils pour y parvenir.

Radio-Canada a contacté le ministre de la Sécurité publique fédéral, qui a redirigé les questions vers le ministère de l’Innovation, des Sciences et du Développement économique Canada. Au moment de publier ces lignes, le ministère n’avait pas répondu aux demandes de Radio-Canada.