Cela fait un peu plus d’un an qu’OpenAI a étonné le monde en dévoilant Sora, son générateurgénérateur de vidéos bluffant, bien qu’encore imparfait. Il aura néanmoins fallu attendre décembre pour pouvoir l’essayer. Mais les choses avancent très vite dans le domaine de l’intelligence artificielle, et d’autres entreprises ont développé leur propre générateur de vidéos. Comme Magi-1, de Sand AI, un modèle qui est non seulement capable de produire des vidéos très réalistes, mais qui est aussi sous licence libre, signifiant que n’importe qui peut le télécharger et l’essayer à condition d’avoir l’équipement et les connaissances nécessaires.
Magi-1 est spécialisé dans la génération de vidéos à partir d’une image, avec des consignes par écrit. Elle ne génère pas la vidéo image par image, ce qui conduit à des incohérences ou le tout, en un seul bloc, ce qui nécessite beaucoup de mémoire. Sand AI a choisi une approche par segments de 24 images. De plus, il est autorégressif, ce qui signifie que chaque segment est conditionné par les précédents. Selon le développeur, il en résulte une consistance temporelle sur de longues duréesdurées, qui dépasse d’autres modèles comme VideoPoet et Kling1.6.
Un modèle sous licence libre
Il s’agit d’un modèle de diffusiondiffusion basé sur l’architecture Transformer, et qui serait bien plus efficient qu’une méthode autorégressive à base de tokens. De ce fait, il est possible de l’utiliser sur un PC, tout du moins à condition d’avoir une carte graphique haut de gamme. Magi-1 est disponible en deux tailles. La première, avec 24 milliards de paramètres, nécessite plusieurs puces H100 ou H800. La seconde, avec 4,5 milliards de paramètres, est un peu plus accessible, et peut tourner sur une unique carte graphique Nvidia RTX 4090. Notons tout de même que cette carte graphique coûte plusieurs milliers d’euros.
Les modèles sous licence libre sont importants pour démocratiser l’accès à l’IA, et éviter qu’elle soit uniquement entre les mains de quelques grosses entreprises comme GoogleGoogle, AppleApple et OpenAI. D’un autre côté, cela simplifie aussi la génération de deepfakes qui submergent déjà les réseaux sociauxréseaux sociaux. Mais les créateurs des deepfakes trouveront toujours un moyen d’accéder à ce genre d’outils, tandis que les modèles sous licence libre facilitent le travail des chercheurs spécialisés dans les questions de sécurité autour de l’intelligence artificielle.