La prochaine étape de l’intelligence artificielle sera l’IA matérielle, ou « Physical AI ». Autrement dit, elle aura une présence physique grâce aux robots. Toutefois, lorsque l’IA aura un visage, elle devra apprendre un nouveau talent afin de pouvoir interagir avec les humains de manière fluide : bouger les lèvres afin de donner l’impression de parler.
Dans une nouvelle étude publiée dans la revue Science Robotics, des chercheurs de l’université Columbia aux États-Unis ont appris à un robot à maîtriser la synchronisation labiale, ou lip-sync, grâce à YouTube. Le robot est équipé d’un visage flexible, contenant 26 moteurs pour lui permettre de créer différentes expressions.
Il a d’abord été placé devant un miroir pour lui permettre d’apprendre comment son visage se déforme, à la manière d’un enfant. Il s’appuie sur un modèle vision-langage-action (VLA) et a ainsi appris à créer différentes expressions.
Ce robot a appris à imiter les mouvements des lèvres des humains en regardant YouTube. © Columbia Engineering
Vaincre le malaise de la « vallée de l’étrange »
Après cette première phase, le robot a visionné des vidéos d’êtres humains qui parlent ou qui chantent afin qu’il puisse apprendre les mouvements des lèvres en fonction des sons émis. Il a été exposé à divers sons et langages, ainsi qu’à des chansons. Les chercheurs ont publié une vidéo plutôt convaincante du robot qui parle dans différentes langues, dont l’anglais, le français, le japonais, le coréen, l’espagnol, l’italien et l’allemand.
Les résultats ne sont pas encore parfaits. Le robot a notamment du mal avec certains sons, comme le B ou le W. Cependant, les chercheurs pensent que ses performances s’amélioreront avec de l’entraînement.
« Lorsque la capacité de synchronisation labiale est combinée à une IA conversationnelle telle que ChatGPT ou Gemini, l’effet ajoute une toute nouvelle profondeur à la connexion que le robot établit avec l’humain », affirme Yuhang Hu, l’un des auteurs. Plus il interagira avec des humains, plus il semblera réaliste. Les chercheurs espèrent ainsi atténuer le problème de la vallée de l’étrange, ou uncanny valley, dans lequel un robot imitant imparfaitement l’humain provoque un rejet et un sentiment de malaise.