Voici un nouveau grand modèle de langage (LLM), l’intelligence artificielle derrière les chatbots, d’un genre qui n’est apparu que récemment. Habituellement, les poids des LLM sont stockés en format 16 ou 32 bits à virgule flottante. Cela rend les modèles extrêmement lourds. Une nouvelle alternative s’appelle BitNet, des LLM à 1 bit. La quantité de mémoire nécessaire pour faire fonctionner ces modèles est grandement réduite, permettant de les faire tourner sur des ordinateurs beaucoup moins puissants.
MicrosoftMicrosoft vient de publier le plus grand modèle de langage à 1 bit jusqu’à présent, le premier à être doté de deux milliards de paramètres. Celui-ci se nomme BitNet b1.58 2B4T et s’appuie sur le framework bitnet.cpp de Microsoft. Et contrairement aux autres modèles qui nécessitent des puces graphiques (GPU) ou accélérateurs d’IA (NPU), BitNet b1.58 2B4T fonctionne sur de simples processeurs (CPU).
Un modèle bien plus efficace, sans pénaliser les résultats
BitNet b1.58 2B4T a été entraîné sur un ensemble de données d’environ 4 000 milliards de tokenstokens, équivalent à 33 millions de livres. Il offrirait de meilleures performances que d’autres de taille similaire, selon Microsoft. Le modèle occupe 0,4 gigaoctet de mémoire, contre 2 Go pour LLaMA 3.2 1B et jusqu’à 4,8 Go pour MiniCPM 2B. La latencelatence est également réduite, avec un temps de réponse de 29 ms, contre 41 à 124 ms pour les concurrents. De même, l’énergieénergie utilisée est largement réduite, estimée à 0,028 joulesjoules, contre 0,186 à 0,649 pour les concurrents. Une sacrée diminution qui permettrait de réduire la consommation énergétiqueconsommation énergétique des chabots tout en les faisant tourner sur les ordinateurs beaucoup moins puissants.
Ce n’est pas pour autant que ce modèle offre des résultats en deçà de ses rivaux. Il parvient même à battre des modèles bien plus grands sur les tests ARC-Challenge, PIQA, WinoGrande, et GSM8K. Et ce en étant plus rapide. Toutefois, sa force est aussi sa faiblesse, puisque le framework bitnet.cpp n’est compatible qu’avec certains matériels, et ne prend pas encore en charge les GPU et NPU. Toutefois, ce n’est qu’une question de temps. De plus, les chercheurs espèrent que le développement d’une accélération matérielle optimisée pour les calculs à 1 bit pourrait grandement améliorer la vitessevitesse et l’efficacité énergétique du modèle. BitNet b1.58 2B4T est disponible sur le site Hugging Face, et publié sous licence libre MIT.