L’intelligence artificielle est très gourmande en énergie, ou plutôt c’est le cas des supercalculateurs sur lesquels elle tourne. Toutefois, il existe des pistes pour réduire cette consommation. L’une d’entre elles est de faire fonctionner les réseaux neuronaux sur une architecture de calcul analogique en mémoire à base de memristors.

Les memristors sont des résistances dotées d’une mémoire. Les calculs sont effectués de manière locale en utilisant leurs propriétés physiques, plutôt que de s’appuyer sur des processeurs et des puces graphiques comme c’est actuellement le cas. Traditionnellement, l’entraînement s’effectue sur un ordinateur ou un supercalculateur classique, puis les poids de l’IA sont transférés directement dans les memristors. Toutefois, il existe un obstacle de taille : ces composants sont imparfaits et génèrent du bruit, ce qui induit des erreurs réduisant considérablement les performances et la stabilité de l’IA.

EaPU : transformer l’imperfection en atout

Dans un article qui vient de paraître dans la revue Nature Communications, des chercheurs du laboratoire du Zhejiang en Chine ont mis au point une nouvelle technique d’entraînement très prometteuse. Elle est baptisée error-aware probabilistic update (EaPU), ou mise à jour probabiliste tenant compte des erreurs. L’IA accepte les petites erreurs inférieures au seuil de tolérance des memristors, et évite de mettre à jour les paramètres pour la moindre petite variation. Au lieu de mettre à jour tous les paramètres à chaque étape de l’apprentissage, le réseau neuronal en met à jour moins de 0,1 %. Ce détail est crucial lorsque l’on sait que l’écriture d’un memristor est bien plus énergivore que la lecture.

Le résultat est une réduction de la consommation énergétique pour l’entraînement d’un facteur de 50 par rapport à d’autres méthodes avec des memristors. De plus, avec moins d’usure due aux écritures, l’espérance de vie des appareils est multipliée par 1 000 ! La méthode EaPU augmente la précision de 60 %, toujours par rapport aux autres méthodes à base de memristors, ce qui la rend similaire à celle d’un supercalculateur classique. Selon les chercheurs, la consommation énergétique est divisée par six ordres de grandeur, soit environ un million, en comparaison à un système basé sur des puces graphiques.

Une technique applicable aux LLM ?

Les chercheurs ont déjà validé leur méthode sur une matrice de memristors de 180 nanomètres, entraînant des réseaux neuronaux pour des tâches de débruitage d’images et de super-résolution, obtenant des résultats similaires à ceux obtenus avec des méthodes conventionnelles, tout en utilisant beaucoup moins d’énergie.

Les chercheurs ont été limités par leur matériel, mais pensent que la technique EaPU devrait fonctionner sur les grands modèles de langage (LLM), ce qu’ils comptent tester à l’avenir. Ils pensent aussi qu’elle n’est pas limitée aux memristors, et pourrait aussi être utilisée sur d’autres technologies comme les transistors ferroélectriques et la mémoire vive magnétorésistive (MRAM).

Alors que la côte est des États-Unis pourrait bientôt connaître des coupures de courant tournantes en raison de la demande énergétique des centres de données, selon le Wall Street Journal, une telle réduction de la consommation des IA tomberait vraiment au bon moment. Encore faudra-t-il qu’elle puisse être adoptée à grande échelle.