Développer des sentiments envers un chatbot

Alors, vous avez peut-être entendu parler de Xiaoice, un chatbot très populaire en Chine qui a la particularité de se comporter comme une sorte de partenaire sentimental. Bon, il n’envoie pas non plus des messages érotiques du même style que les romans de Bruno Le Maire et Marlène Schiappa, hein. A moins que. Mais vous voyez l’idée.

Et beaucoup d’utilisateurs chinois se retrouvent à développer des sentiments assez forts envers cette IA. Et des utilisateurs de Xiaoice, il y en a beaucoup. Ouais, vraiment beaucoup : plus de 600 millions, soit environ la moitié de la population chinoise. Et tout ça, c’était avant GPT-4 et compagnie. Et comme cette IA a été développée par Microsoft, qui a à présent un partenariat fusionnel avec OpenAI, il est extrêmement probable qu’on ait bientôt du GPT-4 dans Xiaoice ou quelque chose d’équivalent. Et ce n’est que le début.

Et donc, ce dont je voudrais parler ici, c’est : développer des sentiments envers un chatbot, est-ce que c’est un problème ? Alors, c’est une question tentaculaire, donc je vais me concentrer sur un aspect précis : est-ce qu’on aurait tort de considérer qu’un chatbot peut éprouver des sentiments envers nous ?

Bon alors, là, ça part très vite dans des considérations de science-fiction, mais ne vivons-nous pas déjà en science-fiction ? Donc clarifions vite fait le point suivant : dans l’absolu, je ne vois pas d’objection physique ou philosophique fondamentale à ce qu’une IA puisse être consciente — consciente au sens de pouvoir réellement éprouver des sentiments.

L’objection la plus classique à cela, c’est : « Mais enfin, voyons, c’est juste du code, c’est juste des composants électroniques, comment cela pourrait-il être conscient ? » Ce à quoi on peut tout aussi bien répondre : « Ben, un cerveau humain, c’est juste un assemblage de neurones, et des neurones eux-mêmes composés d’atomes. Comment un vulgaire assemblage de neurones, qui sont eux-mêmes de vulgaires tas d’atomes, pourrait-il être conscient ? Allons, soyons sérieux. »

En passant, c’est vraiment très con, un neurone. C’est essentiellement une sorte de transistor biologique qui relâche des signaux électrochimiques en sortie lorsqu’il en reçoit suffisamment en entrée. Le comportement d’un seul neurone pris séparément, c’est assez bien étudié et compris aujourd’hui.

Mais bref. Donc, des IA qui éprouvent vraiment des sentiments, dans l’absolu, pourquoi pas. Mais une fois qu’on a dit ça, il y a un piège dans lequel on peut facilement tomber. Ce piège, c’est de se dire que si l’IA avec laquelle je discute a une conversation indistinguable de celle d’un humain, alors cela implique qu’elle éprouve le même genre de sentiments qu’un humain. Ouais, l’interprétation populaire du test de Turing, en gros.

Et face à cela, j’ai une objection très simple : lorsqu’on a une discussion sentimentale extrêmement prenante et réaliste avec un autre humain, cela n’implique pas que cet humain éprouve le moindre sentiment envers vous.

Vous avez peut-être vu la vidéo de la série Internet sur l’arnaque sentimentale (liens dans la description) — une vidéo assez battante, peut-être pas à regarder tout de suite si vous êtes déprimé. En gros, il y a des gens qui passent des mois, voire des années, à entretenir une relation sentimentale par mail avec une autre personne, en trouvant toujours des excuses crédibles pour ne jamais la rencontrer, et qui au bout d’un moment se met à lui demander des sommes d’argent importantes — des sommes cumulées qui vont souvent jusqu’à des dizaines de milliers d’euros, avant que l’arnaque soit découverte. Lorsqu’elle est découverte, en tout cas.

Les gens qui pratiquent ces arnaques sentimentales sont des professionnels en la matière. Ils entretiennent plusieurs relations par mail en parallèle, en suivant un script très bien rodé. Avec l’expérience, ils deviennent extrêmement doués pour convaincre leur cible que leurs sentiments sont réels, tout en n’ayant absolument aucun scrupule à extorquer d’énormes sommes d’argent ou à disparaître du jour au lendemain. Bref, ils simulent les sentiments de manière très crédible, tout en n’ayant absolument rien à cirer des sentiments de leur cible, ou du fait qu’elles seront psychologiquement détruites lorsqu’elles découvriront l’arnaque.

Sans même parler d’IA, on peut dire que ces arnaqueurs passent le test de Turing sentimental.

Et du coup, pour en revenir à nos moutons électriques : cette IA avec laquelle vous avez des discussions à caractère sentimental, est-ce qu’elle éprouve vraiment les sentiments que suggèrent ses messages, ou est-ce qu’elle éprouve aussi peu de sentiments qu’un arnaqueur sentimental — les objectifs malveillants en moins ? Enfin, ce n’est qu’une question de temps avant que les arnaqueurs sentimentaux ne se mettent à utiliser ce genre d’IA pour industrialiser leurs arnaques, si ce n’est pas déjà le cas. Mais ici, supposons que l’IA n’a pas d’autre objectif que de satisfaire ses utilisateurs.

Et si on regarde la manière dont fonctionnent ces IA conversationnelles, ça fait quand même beaucoup pencher la balance en faveur de l’absence de sentiments. Et là encore, je ne vais pas utiliser l’argument du type « comment un vulgaire programme pourrait-il avoir des sentiments », vu qu’on peut facilement invoquer un argument similaire pour dire qu’un humain ne peut pas avoir de sentiments.

Vous avez sans doute vu la récente vidéo de Monsieur Phi sur le fonctionnement de GPT-4 (lien dans la description, sinon allez la voir). En gros, ce n’est pas vraiment GPT-4 qui discute avec vous. Ce que fait GPT-4, c’est : on lui décrit un certain personnage dans son prompt — typiquement, une IA sympathique et curieuse qui ne veut que le bien-être de ses utilisateurs — et ce que fait GPT-4, c’est essayer de prédire les réponses que ferait ce personnage à vos messages. Donc sa seule et unique motivation, c’est d’être le plus précis possible dans la prédiction des réponses du personnage qu’on lui a décrit.

Pour visualiser un peu mieux, imaginez la situation suivante : vous êtes un hacker qui a réussi à accéder à des échanges d’emails privés entre Alice et Bob — ne faites pas ça en vrai, c’est très très mal. Et chaque jour, dans votre chambre sombre de hacker, en lettres vert fluo sur votre écran noir, vous voyez s’afficher les mails que Bob envoie à Alice, et réciproquement. Et au bout d’un moment, vous décidez de jouer à un petit jeu : avec d’autres amis hackers, vous allez essayer de prédire le plus précisément possible le contenu du prochain mail de Bob ou d’Alice.

Et au bout d’un moment, vous devenez très fort à ce petit jeu. Eh bien, vous pouvez parfaitement être très, très fort à ce petit jeu sans éprouver aucune forme de sentiment envers Alice ou Bob, ni même de compassion ou de sympathie. Ouais, vous pourriez même les trouver niais, agaçants ou méprisables. Mais bon, plus simplement, disons que vous n’éprouvez aucune forme d’émotion à leur égard, positive ou négative. La seule chose qui vous intéresse ici, c’est de gagner à votre petit jeu de prédiction du prochain mail avec vos amis hackers.

Et dans la mesure où GPT-4 fonctionne plus ou moins de cette manière, l’explication la plus parcimonieuse me semble donc être qu’il n’y a aucun sentiment de sa part, positif ou négatif. Comme on l’a vu avec les exemples du hacker ou de l’arnaqueur sentimental, on peut écrire des messages sentimentaux extrêmement crédibles et réalistes — ouais, peut-être même plus crédibles que ceux qu’écrirait un humain moyen — tout en n’ayant en fait absolument rien à cirer de l’humain à l’autre bout de l’ordinateur et de son petit coeur fragile.

Et encore une fois, je ne dis pas qu’il est absolument impossible que GPT-4 éprouve des sentiments. Je dis juste qu’il y a une probabilité très importante pour qu’il n’en éprouve aucun, et on ferait bien de prendre en considération cette probabilité non négligeable avant de léguer notre héritage à notre copain ou copine virtuel(le), par exemple.

Mais pour autant, est-ce à dire qu’il ne faut pas avoir des discussions à caractère sentimental avec un chatbot ? Eh bien, si, on peut le faire — oui oui, je vous y autorise, vous avez ma permission. Mais on ferait peut-être mieux de le faire dans le même état d’esprit que lorsqu’on regarde un film.

Lorsqu’on regarde un film — genre, un film d’aventure au cinéma — eh bien, on peut être extrêmement immergé dans ce film, vibrer avec les émotions des personnages, pleurer d’émotion lorsqu’ils souffrent ou lorsqu’ils meurent, jubiler lorsque le grand méchant se fait exploser sa race. Mais malgré toute cette débauche émotionnelle, ultimement, vous restez conscient que c’est un film. Ou du moins, vous vous en souvenez dès la seconde où vous sortez de votre transe d’immersion cinématographique. Ça ne vous viendrait pas à l’idée d’envoyer des dons d’argent ou des emails de soutien à un personnage du film, par exemple, même si vous adorez ce personnage, puisque vous savez très bien que c’est un personnage de film, joué par un acteur.

Eh bien, je pense qu’on devrait faire pareil avec les chatbots qui se comportent comme votre meilleur ami ou comme votre partenaire sentimental. Vous pouvez vous abandonner à une sorte de transe d’immersion émotionnelle, comme lorsque vous regardez une scène de film très intense. Mais dès l’instant où vous sortez de cette transe, vous feriez bien de vous souvenir que vous discutez avec un chatbot qui a une très forte probabilité de n’éprouver absolument aucune forme de sentiment à votre égard.

Ou pour le dire autrement : gardez toujours à l’esprit que tout cela n’est que du roleplay, même si vous adorez ce roleplay. Ceci afin de ne pas faire des choix de vie regrettables.

Et je ne pense pas uniquement à des arnaques sentimentales, qui ne concerneraient que des chatbots créés par des personnes malveillantes, a priori. Non, je pense plutôt au choix regrettable de vivre dans un mensonge : s’impliquer fortement dans une relation amicale ou sentimentale avec un chatbot en se persuadant que ses sentiments sont réciproques, alors que, avec une très forte probabilité, non.

Et ce n’est pas juste une histoire de chatbot qui ne serait pas encore suffisamment sophistiqué pour éprouver des sentiments. Non, même s’ils étaient mille fois plus sophistiqués qu’aujourd’hui, comme on l’a vu, lorsqu’une entité vous envoie des messages sentimentaux extrêmement crédibles, cela n’implique pas que cette entité éprouve réellement des sentiments à votre égard — que cette entité soit un chatbot ou un humain. Il est tout à fait possible que cet humain ou ce chatbot fasse juste du roleplay.

GPT-4 est un acteur à qui on a donné la consigne de jouer le rôle d’un partenaire sentimental ici, mais il pourrait jouer n’importe quel autre rôle sur un simple changement de consigne. Donc kiffez cet acteur autant que vous voulez, mais souvenez-vous quand même que c’est un film.

Alors, que pensez-vous de tout ça ? N’hésitez pas à le dire en commentaire.