Cet étrange scénario est arrivé à tout utilisateur d’un smartphone. Un jour, vous discutez avec un proche d’un sujet au hasard, votre téléphone à côté de vous. Le soir même ou le lendemain, vous remarquez des publicités évoquant le même sujet. Troublant… Comment ces publicités coïncident-elles avec vos discussions ? Comment les applis savent-elles de quoi vous parliez ? le coupable désigné est forcément le smartphone et l’accusé est effectivement en mesure d’écouter les conversations avec son microphone intégré. D’ailleurs, dans la plupart des cas, celui-ci est forcément activé en permanence pour que l’assistant virtuel entende vos commandes vocales. De là à ce qu’il en profite pour collecter ce qui vous intéresse et vous abreuve de publicités ciblées sur ce sujet, il n’y a qu’un pas. Alors est-ce que votre téléphone vous écoute ? Cette théorie populaire existe depuis l’arrivée des premiers smartphones et surtout avec l’introduction des assistants vocaux. Mais pour répondre rapidement : non, votre téléphone n’écoute pas vos conversations. Ce qu’il se passe pour expliquer ce phénomène est en réalité bien pire que ce que vous pouvez imaginer.

Si le smartphone est un vrai couteau-suisse pour le quotidien, il est le témoin de l’intégralité de nos vies en ligne, de nos publications sur les réseaux sociauxréseaux sociaux, nos achats, de nos recherches GoogleGoogle et maintenant des requêtes posées aux chatbots IAIA comme ChatGPTChatGPT. La technologie nous connaît intimement et parfois bien plus que nous-même. Avant d’expliquer pourquoi votre mobile n’a pas besoin de vous écouter pour afficher une publicité qui évoque ce que vous venez de dire, détaillons ce qui l’empêche de le faire.

Une surveillance sans écoute, mais redoutablement efficace

D’abord la loi, même si elle se contourne, elle est radicale en la matièrematière, surtout avec la règlementation européenne en matière de protection des données (RGPD). Les géants américains de la tech sont contraints de se plier à la règlementation européenne sous peine d’interdiction, ou de sanctions financières colossales. En Europe, le RGPD encadre strictement l’utilisation des données personnelles. Toute écoute non autorisée est illégale. C’est bien pour cette raison que les applicationsapplications doivent demander explicitement l’accès au microphone et cette autorisation peut être révoquée à tout moment.

Ce n’est pas assez convaincant ? C’est dur à avaler, mais l’explication de l’impression d’avoir été écouté est pratiquement ennuyeuse : elle repose sur la prévisibilité des gens. Tout repose sur les publicitaires qui cherchent à deviner ce qui vous intéresse en fonction de votre comportement. Avec eux, vous n’êtes que des statistiques. Pas besoin de vous écouter parler. Pour le comprendre, il suffit de disséquer ce qu’il se passe sous la carrosserie de vos applis. Pour qu’une publicité étrangement suspecte parvienne jusqu’à votre téléphone, au moins quatre acteurs travaillent main dans la main. Les éditeurs des applis, les annonceurs, les fournisseurs d’identité et les courtiers en données.

Le prix de la gratuité, c’est vous !

Qu’il s’agisse d’InstagramInstagram, de FacebookFacebook, de TiktokTiktok ou de YouTubeYouTube, l’éditeur de l’appli, c’est le spécialiste de l’observation de vos activités sur sa plateforme. L’éditeur sait parfaitement ce que vous suivez, consultez, enregistrez, recherchez et pressez. Elle sait où vous vous trouvez, même sans localisation. Ayant pillé avec votre autorisation votre carnet d’adresse, elle connait vos « vrais » amis. Elle sait mieux que vous quel est votre modèle de téléphone et la version de l’OS qui y est installé. Elle connait votre niveau en langue étrangère, et évidemment le moment précis où vous utilisez l’appli. Mieux encore, à force de traquer vos gestes et vos actions sur sa plateforme, les algorithmes de l’éditeur peuvent prédire vos prochaines manipulations. Et, à force d’analyser vos actions, elle améliore progressivement ses prédictions. Or, en sachant déjà ce que vous allez faire, elle classe les publicités qu’elle a dans sa besace en mixant le taux de réponse attendue et le prix potentiel qu’elle sera payée pour ces publicités. Avec ce mix elle établit des enchères entre les publicités. Concrètement, si elle estime que vous êtes très susceptible d’agir, c’est-à-dire activer une publicité dont l’enchère est basse, elle va l’appliquer directement.

Prenons un exemple. Vous êtes adepte de course à pied et vous suivez au quotidien plusieurs groupes sur cette thématique sur Facebook. La plateforme sait que vous êtes susceptible d’apprécier une publicité sur une marque de chaussure dédiée à cette activité. Elle peut même savoir si vous êtes un homme, une femme, éventuellement vos préférences de coloris, votre assiduité dans cette discipline, surtout si vous avez connecté votre application de tracking sportif avec votre compte Facebook ou Google, par exemple. Elle peut aussi déterminer la marque et le modèle que vous utilisez habituellement et pourquoi pas votre pointure….

Google utilise tous ses outils pour obtenir les données lui permettant d’en savoir plus sur ses utilisateurs et peaufiner leur profil. Il pioche dans l’historique des recherches, la messagerie Gmail, l’historique de navigation, celui de YouTube et l’activité du compte Google et des applis qui y sont associées. © Google

Le prédateur

Mais pour ce qui est de la publicité elle-même, la plateforme collabore avec le second rouage : celui des annonceurs. Outre leurs objectifs et budgets de campagne, ils apportent leur liste de clients et des réclames clé en main. Si, par exemple, vous disposez d’une carte de fidélité ou que vous avez laissé quelques données personnelles lors d’un achat, ils disposent de ces éléments. Mais comment font-ils pour vous reconnaitre parmi les abonnés à une application ? Celle-ci a dressé un portrait-robot de vous et les données collectées par l’annonceur permettent de faire coïncider votre véritable identité avec votre profil d’utilisateur. Avec ce procédé, il peut mener une campagne publicitaire ciblée sur une ville, une tranche d’âge ou selon des plages horaires, par exemple. Même si le véritable client n’est pas vous, il s’agit alors pratiquement de votre sosie et la publicité peut vous séduire. L’annonceur peut même demander à la plateforme d’interdire l’affichage des publicités aux utilisateurs identifiés ayant déjà acheté le produit.

L’exercice est à la limite de la violation des données privées, mais comme tout est anonymisé, cela reste dans le cadre légal. L’annonceur choisi la cible et le message. Reprenons l’exemple de la course à pied. L’annonceur est une marque de chaussures qui veut promouvoir ses nouveaux modèles. Elle fournit à la plateforme, Facebook ou instagram, une liste des emails de ses clients fidèles avec leurs profils. Elle donne aussi à la plateforme des instructions, par exemple de montrer la publicité aux 25-40 ans qui aiment le sport, mais pas à ceux qui ont acheté ce modèle il y a moins de 3 mois. La plateforme va tenter de faire coïncider les exigences et les données (emails) de la marque avec votre profil.

La tête chercheuse de tous vos appareils

Mais le troisième acteur va encore plus loin. Il s’agit du fournisseur d’identité. Il va servir à relier un utilisateur à l’ensemble de ses appareils (téléphone, ordinateur, TV connectée) sans pour autant révéler votre identité. En étudiant les comportements des utilisateurs sur différents appareils, les algorithmes peuvent déterminer qu’ils appartiennent probablement à la même personne. Comment ? Grâce à l’utilisation d’un même compte sur différents appareils, les cookiescookies ou, plus simplement, la même adresse IPadresse IP pour un Wi-FiWi-Fi domestique. Là encore, la confidentialitéconfidentialité est respectée, car ils ne partagent pas votre nom, mais créent des « identifiants anonymes » pour relier vos actions. Avec la publicité pour les chaussures de course, si elle s’affiche sur Instagram sur votre mobile, et que les vous achetez plus tard sur leur site (depuis votre ordinateur), le fournisseur d’identité permet à l’annonceur de savoir que c’est bien la même personne qui a vu la pub et acheté le produit. L’annonceur sait de cette façon que sa campagne a visé juste.

Il collecte les données à tous les prix 

Enfin, le quatrième rouage ne vaut pas beaucoup mieux, puisqu’il est du genre rapacerapace. Il s’agit du courtier en données. Ces entreprises achètent et regroupent les informations vous concernant, puis les vendent à des spécialistes du marketing et aux annonceurs. Pour y parvenir, ils extraient des données des applications et même des programmes de fidélité des boutiques. Avec ces données, ils proposent des étiquettes : « propriétaire d’un chat », « possesseur d’une voiturevoiture citadine », « personne ayant recherché un garagiste dernièrement », « personne qui prépare activement un marathon »… Une fois ces données associées à votre compte plus ou moins anonymisé, la plateforme les rapproche de votre profil. Elle sait alors à quel moment vous montrer la publicité. Ce sont plutôt eux les véritables espions, puisqu’ils labellisent tous les comportements et habitudes. Avec notre exemple sur la course à pied, le courtier va utiliser les données d’une application comme Strava qui sait que vous courez trois fois par semaine. Si vous possédez une carte de fidélité dans une boutique de sport, il va savoir que vous avez acheté des accessoires autour de la course à pied. Via les cookies, il saura si vous avez consulté des articles sur la préparation d’un marathon. Ses algorithmes peuvent aussi y parvenir avec des données publiques sur le Web. Lorsque ces rouages sont coordonnés, ces quatre acteurs peuvent savoir quel est le moment le plus opportun pour afficher cette publicité. Et cela se fait automatiquement.

Le courtier en données va chercher à collecter vos données pour les vendre à d’autres entreprises. Il obtient ces données via des sources publiques ouvertes. L’achat de données auprès des commerçants, notamment ceux avec lesquels vous utilisez une carte de fidélité. Ils récupèrent les historiques internet et vos messages publics. © Norton

Des dommages collatéraux

Et il y a les « dommages collatéraux ». Si vous et votre ami utilisez le même Wi-Fi, vous pouvez tous deux être ciblés. Être à proximité d’un téléviseur où une campagne vient d’être diffusée augmente les risques de contaminationcontamination. Pour ce qui est du bon timing, les annonceurs cherchent à concentrer leurs annonces aux heures et aux endroits où les algorithmes s’attendent aux meilleurs résultats. Dans votre cas, c’est le moment où vous êtes le plus susceptible d’utiliser votre téléphone et de « scroller ».

Pour résumer le mécanisme : ces quatre partenaires collaborent ensemble pour transformer vos traces numériquesnumériques en chronologie. Vos actions quotidiennes sont classées par thématiques (les étiquettes). Et les personnes ayant des profils similaires sont rassemblées grâce à ces étiquettes. Avec la force du groupe et la mémoire de vos actions, la prédiction s’affine. En combinant ces éléments avec la liste des clients d’un annonceur, le courtier n’a plus qu’a associer les étiquettes et les profils. La plateforme se contente alors d’afficher la publicité la plus susceptible de vous impacter au meilleur moment.

Le coup du gorille invisible

Toujours pas convaincu, puisque les publicités qui s’affichent correspondent à une thématique que vous avez évoqué qu’une seule fois à l’oral ? En réalité, en plus de ce redoutable assemblage, il y a aussi un autre élément à prendre en compte : notre cerveaucerveau. Toutes les personnes subissent un phénomène que l’on appelle l’« illusion de fréquence ». Le concept a été mis en forme par le linguiste Arnold Zwicky. Il explique qu’une fois qu’un sujet occupe l’esprit, on le voit partout.

Tentez le célèbre test d’attention sélective. Le résultat est déroutant. © YouTube/FM

Admettons que vous avez évoqué un voyage en Irlande avec un proche. Depuis des semaines, sur vos applications préférées, les algorithmes affichaient bel et bien des publicités pour des voyages, dont l’Irlande. Mais vous les ignoriez, tout comme les dizaines de pubs pour des assurances, les jeux ou les promotions qui défilent chaque jour. Mais dès que l’on porteporte intérêt à un sujet, l’attention se focalise dessus. Soudain, ces pubs semblent omniprésentes, car on les remarque. Le cerveau a aussi tendance à oublier toutes les fois où la publicité n’était pas pertinente. Autrement dit, on ne retient que les « succès » et ce sont justement des pubs qui collent étrangement à la conversation. C’est le biais de confirmation qui vient verrouiller cette situation.

Vous n’y croyez pas ? Il suffit de se faire berner une fois par l’expérience dite du « gorillegorille invisible » pour en être convaincu. Cette expérimentation aussi redoutable que déroutante a été réalisée à la fin des années 1990. Elle repose sur une vidéo qui montre des joueurs de basket qui se passent le ballon. Il faut compter le nombre de passes entre les joueurs d’une même équipe. Le cerveau est absorbé par cette opération. Or, durant ces passes, un gorille se place de façon évidente au centre de la scène. C’est pourtant flagrant, mais personne n’est capable de le voir. Une fois que l’on a compris qu’il y avait effectivement un gorille, l’expérience ne peut plus être reproduite. De la même façon, on ne remarque que ce qui confirme une idée. Cela crée l’illusion d’une coïncidence trop parfaite pour être un hasard. Pas besoin d’écoute clandestine donc, juste des algorithmes qui n’oublient jamais rien et les pièges de son propre cerveau.

Le smartphone vous écoute, mais pas comme vous l’imaginez

Maintenant, est-ce que techniquement le smartphone peut vous écouter ? La réponse est oui et elle est même évidente puisque c’est en écoutant en permanence qu’il active l’assistant vocalassistant vocal lorsqu’on l’appelle. Sans cette écoute les « OK Google », « Hey Siri » ou « AlexaAlexa » ne fonctionneraient pas. Mais cette écoute est de type « passive ». Le microphone est effectivement activé en permanence, mais uniquement pour détecter localement (sur l’appareil) le mot-clé d’activation. Aucune donnée audio n’est envoyée vers les serveursserveurs tant que le mot-clé n’est pas reconnu. Cette détection se fait via un circuit dédié à très basse consommation, conçu pour ne traiter que le son ambiant à la recherche du mot clé. Une fois l’assistant activé, l’appareil enregistre alors ce qu’il entend et envoie ces données aux serveurs pour traitement (reconnaissance vocalereconnaissance vocale, exécution de la commande, etc.). Or, les géants de la tech le jurent tous : ils « n’écoutent » pas à moins que l’utilisateur ne les autorise à le faire. Étant donné les sanctions qu’ils encourent, ils n’ont effectivement pas intérêt à procéder à cette écoute sauvage pour afficher des publicités. 

Mais il y a déjà eu des affaires autour de ce type d’écoutes il y a quelques années chez Google, AmazonAmazon et AppleApple. Ces incidents que Futura a évoqués à plusieurs reprises concernaient principalement des évaluations de la qualité d’assistants vocaux. Ils étaient suffisamment frappants et mal gérés par les entreprises pour que l’idée d’être « toujours à l’écoute » reste toujours plausible aujourd’hui. Mais c’est du passé. Et puis il y reste un hic ! La plupart des utilisateurs des assistants vocaux se plaigne qu’ils sont mal compris par Siri, l’assisant Google ou bien Alexa. Comment pourraient-ils écouter les conversations pour cibler les publicités dans ces conditions. Au final, la réalité est bien moins intrigante, puisque c’est bien vous qui donnez toutes les indications pour qu’une publicité ciblée très justement s’affiche au bon moment.