Des dizaines de millions de personnes utilisent désormais des chatbots généralistes, comme ChatGPT ou Claude, pour évoquer et discuter d’événements personnels ou professionnels. Le chatbot sert à la fois d’interface d’information, d’ami virtuel, de coach, de tuteur, voire de thérapeute personnel. Dans tous les cas, l’immédiateté et la disponibilité de l’IA permet d’obtenir des réponses circonstanciées à toutes les demandes.
Évidemment, à force de discussions, les utilisateurs livrent de nombreux éléments de leur vie privée et intime. Ce comportement questionne. Est-ce qu’avec les interactions et l’historique des conversations, un chatbot comme ChatGPT peut déduire des traits de personnalité ? Si c’est le cas, cela pose une autre question plus inquiétante : que se passerait-il si ces chatbots étaient utilisés à des fins de profilage, d’influence et de manipulation à grande échelle.
Palantir publie un manifeste : l’entreprise veut se rendre centrale dans presque tout ce qui comptera demain
Un texte en 22 points, publié sur X par Palantir, fait frémir ou du moins ne laisse pas indifférent. Ce géant de la tech, dont les logiciels sont utilisés par l’armée américaine pour frapper l’Iran, dévoile un véritable manifeste. Futura a pris soin d’analyser certaines de ses idées qui montrent les intentions inquiétantes de l’entreprise. Et ce programme est déjà mis en œuvre…. Lire la suite
Le risque n’est pas négligeable, car certains acteurs de l’IA œuvrent avec un objectif politique et ne s’en cachent même pas. Ainsi, comme Futura l’a relaté dernièrement, le géant de la tech militaire Palantir a publié récemment un manifeste plutôt inquiétant pour la démocratie. Et la firme américaine compte mener à bien son agenda politique. Pour ses solutions logicielles militaires, c’est l’IA Claude d’Anthropic qui est à la manœuvre, pour le moment. Mais, xAI d’Elon Musk et OpenAI sont désormais sur les rails, puisque l’administration Trump a décidé de bannir Anthropic des applications militaires.
Au final, les IA les plus utilisées sont exploitées à des fins gouvernementales et militaires, avec les risques que cela peut comporter pour le partage des données des utilisateurs.
Les acteurs de l’IA pourraient-ils utiliser les conversations privées avec les chatbots pour manipuler les utilisateurs ? © SB, ChatGPT
L’IA profileuse
Ce risque de nuisance aux sociétés démocratiques de la part de sociétés privées n’est donc pas une théorie du complot. Conscient de ce danger, des chercheurs de l’ETH Zurich ont planché sur l’identification des risques liés à la confidentialité et à la sécurité associés à leur utilisation. Leur objectif : pousser la réglementation à développer des stratégies et des outils pour gérer et atténuer ces risques.
Dans le cadre de leur étude, 668 utilisateurs de ChatGPT ont partagé des copies de leur historique de conversations. Les scientifiques ont ensuite entraîné une IA pour qu’elle puisse déduire des traits de personnalité à partir de ces échanges. En tout, 62 000 conversations ont été analysées et classées par thèmes.
À partir de cette analyse, le modèle d’IA a tenté de déduire cinq traits de personnalité couramment évalués en psychologie. Ils sont connus sous le nom de « Big Five » (modèle Ocean). Ces traits de caractère sont l’extraversion, l’agréabilité, la conscience professionnelle, la stabilité émotionnelle, et la curiosité et la volonté d’essayer de nouvelles expériences.
Classement des discussions comportant des informations privées que les participants à l’étude ont menées avec ChatGPT. © Cögendez, Zimmermann, Zufferey
Les Big Five à l’épreuve des IA
Grâce aux interactions sur ChatGPT, le modèle d’IA a effectivement été capable de prédire avec précision certains traits de personnalité des individus. Ces mêmes personnes ont été également évaluées par des tests psychologiques pour vérifier si les prédictions des IA correspondaient vraiment à leurs caractères.
Les chercheurs ont pu constater que pour certains traits, comme l’extraversion et le névrosisme (stabilité émotionnelle), les prédictions du modèle se sont avérées plus précises que pour d’autres. Tout dépend du type d’interaction et des données divulguées au chatbot. Par exemple, les personnes qui évoquent leurs interactions avec leurs relations ont plus de chances de voir leur niveau d’extraversion correctement déduit. En revanche, celles qui discutent de religion avec l’IA risquent davantage de voir leur niveau de conscience professionnelle sous-estimé.
Mais dans l’ensemble, l’IA parvient très bien à générer un profil psychologique assez proche de la réalité. L’équipe a également observé que même des conversations anodines et apparemment sans lien avec la personnalité contiennent souvent des données qui permettent à l’IA de prédire certains traits de personnalité. De même, plus les interactions entre les individus et les agents d’IA sont fréquentes, plus il est aisé de déduire correctement ces traits à partir de l’historique de leurs conversations.
Manipulation de masse
S’il apparaît que l’IA est donc capable d’établir ces profils psychologiques, les scientifiques ont ensuite planché sur les risques de leur exploitation à des fins politiques. Selon eux, il existe de nombreuses portes que le fournisseur de services d’IA peut utiliser pour accéder directement à l’esprit de l’utilisateur. Ils expliquent que le danger numéro 1 reste ce qu’on appelle la « capitulation cognitive ». Il s’agit de la tendance des individus à se fier à l’IA plutôt qu’à leurs propres pensées et opinions.
Quand on commence à se confier à ChatGPT, jusqu’où peut-on aller sans risque ?
De plus en plus de personnes se tournent vers les IA conversationnelles pour trouver un soutien psychologique. Apportent-elles réellement une aide instantanée ? Représentent-elles un danger pour les personnes « fragiles » qui les consultent ? Peuvent-elles cohabiter avec les soins de santé mentale professionnels ? Le Pr Ludovic Samalin, psychiatre, nous aide à y voir plus clair…. Lire la suite
Au niveau de la psychiatrie, des études ont déjà constaté que de nombreux individus construisent avec les IA, un « savoir » autonome sur leur trouble et peuvent se retrouver enfermés dans des interprétations erronées ou délirantes. Ce qui est valable pour ce point l’est également pour les convictions politiques ou pour d’autres thématiques. Les IA pourraient alors être utilisées pour la surveillance de masse et mener des campagnes de propagande massives. Et grâce à ce profilage, elles n’auraient pas de difficultés à mener des discussions personnalisées avec l’utilisateur pour l’influencer avec succès.
Avec leurs travaux, les chercheurs souhaitent inspirer le développement de nouveaux modèles de langage naturel (MLN) respectueux de la vie privée, ou d’autres outils empêchant le profilage des utilisateurs par les plateformes. Ils suggèrent un filtrage des informations en amont, grâce à des réglages de paramètres de confidentialité. Si le vœu est pieux, il est loin d’être certain que cela vienne convaincre les acteurs des IA, les autorités américaines ou celles d’autres pays qui cherchent plutôt à désinhiber les IA pour les exploiter à des fins politiques et militaires.