En 2024, Google a dévoilé Genie, une intelligence artificielle spécialisée dans la création de jeux vidéo à partir d’une simple image. Cette première mouture était extrêmement limitée, et ne pouvait générer que des jeux de plateforme. Toutefois, en un an et demi cette technologie a beaucoup évolué, et Google vient d’annoncer Project Genie, son outil permettant de générer des mondes interactifs infinis.

Genie est un modèle de monde, ou world model. Contrairement aux grands modèles de langage (LLM) utilisés pour les chatbots, les modèles de monde sont capables de simuler un environnement physique. C’est une autre approche de l’IA, et une dans laquelle croit Yann LeCun, l’un des pères fondateurs de l’IA moderne. Il a récemment quitté Meta afin de se concentrer sur les modèles de monde, qui, selon lui, iront bien plus loin que les LLM.

Présentation de Project Genie, un word model capable de générer des mondes virtuels interactfs. © Google

Des mondes éphémères qui ne durent qu’une minute

Project Genie est basé sur Genie 3, dévoilé en août dernier, et s’appuie également sur Nano Banana Pro et Gemini. Il suffit de lui fournir une image ou un simple texte, et il génère un monde. Il est possible de générer son personnage et de choisir la manière dont on s’y déplace, en marchant ou en volant, par exemple. L’outil utilise Nano Banana Pro pour générer un premier aperçu statique, et offre la possibilité de le modifier avant de générer le monde et commencer à explorer.

Le déplacement dans le monde en 3D se fait au clavier, et le monde est généré en temps réel, au fur et à mesure des actions. Le monde est affiché avec une définition HD (1 280 x 720 pixels) et 24 images par seconde. L’un des problèmes régulièrement rencontrés avec ce genre de modèle est qu’il ne parvient pas à mémoriser le monde très longtemps. On se souvient notamment de GameNGen de Google en 2024 qui était capable de générer le jeu Doom, mais n’avait qu’une mémoire de trois secondes. Passez une porte, retournez-vous et la porte n’existe plus… Genie 3 est un peu plus évolué, et parvient à conserver le monde plusieurs minutes, mais Google a limité Project Genie à 60 secondes seulement afin d’éviter tout problème.

La fonction Remix permet de modifier des mondes virtuels existants. En anglais, activez la traduction automatique des sous-titres. © Google

Des mondes virtuels qui ne respectent pas le droit d’auteur

The Verge a pu tester l’outil et a créé plusieurs mondes basés sur des jeux vidéo. L’article présente plusieurs vidéos imitant Super Mario 64, Metroid Prime, ou encore The Legend of Zelda: Breath of the Wild. Nous sommes donc une nouvelle fois face à une IA entraînée sur des œuvres protégées, et capable d’enfreindre le droit d’auteur à grande échelle. Nous avions déjà vu le cas avec OpenAI et son réseau social Sora qui a généré des images de Bob l’éponge en nazi ou Pikachu qui dévalise un magasin. Toutefois, Google semble être intervenu et a bloqué la génération de mondes basés sur certains titres.

Google précise que Project Genie est encore au stade expérimental. Ceux qui ont pu tester indiquent que les commandes réagissent lentement, et que passé « l’effet waouh », l’expérience est assez décevante. Par moments, le personnage est impossible à contrôler, et de nombreux bugs surgissent aléatoirement. Toutefois, cette nouvelle version montre à quel point la technologie évolue très rapidement et pourrait être viable dans quelques années. En attendant, n’espérez pas le tester de sitôt. L’accès est limité aux États-Unis, et nécessite un abonnement Google AI Ultra (à 140 euros par mois).