L’université de Princeton dévoile une percée technologique majeure qui repousse les limites de l’interaction entre réalité virtuelle et monde physique. Le projet « Reality Promises » permet aux utilisateurs de sélectionner des objets virtuels dans un environnement numérique et de les recevoir instantanément dans la réalité grâce à un robot totalement invisible. Cette innovation vise principalement à améliorer la collaboration à distance et ouvre de nouvelles perspectives pour le divertissement interactif.

Une technologie révolutionnaire au service de la manipulation d’objets

L’équipe dirigée par Mohamed Kari, associé de recherche postdoctorale, a développé un système qui crée l’illusion de manipuler l’environnement physique par des forces magiques. Les utilisateurs portent un casque de réalité virtuelle affichant une reproduction numérique de leur pièce réelle, leur permettant d’interagir virtuellement avec les objets présents.

Parastoo Abtahi, professeure assistante en informatique à Princeton, explique que cette technologie pourrait « changer fondamentalement » nos interactions avec le monde physique. Selon elle, nous ne sommes plus limités par les lois de la réalité physique dans nos interactions quotidiennes.

Le processus fonctionne selon une séquence précise : l’utilisateur sélectionne virtuellement un objet et le place à un nouvel emplacement. L’environnement numérique affiche alors un compteur de rendu jusqu’à finalisation. Simultanément, le robot physique invisible collecte l’objet réel et le transporte vers la destination choisie, créant une synchronisation parfaite entre actions virtuelles et résultats tangibles.

Les frontières s’effacent entre monde physique et monde virtuel. © Igor Suka, iStock

Les secrets techniques derrière l’invisibilité robotique

La création de ce système nécessite plusieurs étapes technologiques complexes. L’équipe capture d’abord environ 200 images de l’environnement avec un iPhone 14 Pro, complétées par des clips vidéo de 15 secondes. Ces données alimentent un processus appelé « 3D Gaussian splatting » utilisant le logiciel Jawset Postshot, transformant les images brutes en espace de travail virtuel identique à l’environnement réel.

Les chercheurs utilisent ensuite des techniques d’effacement numérique pour rendre certains objets invisibles dans le monde virtuel. Le robot Stretch 3 utilisé porte également un casque VR, lui permettant de localiser précisément les objets dans l’environnement mixte. Cette approche garantit un placement exact des éléments manipulés.

Les gestes de contrôle incluent plusieurs commandes préprogrammées :

• Sélection d’objets par pointage virtuel.
• Déplacement par glissement numérique.
• Validation par geste de la main.
• Synchronisation automatique robot-environnement virtuel.

Dans les démonstrations, une abeille numérique transporte virtuellement un paquet de chips, masquant le déplacement réel effectué par le robot invisible. Cette mise en scène renforce l’illusion magique recherchée par les concepteurs.

Perspectives d’évolution et applications futures

L’équipe travaille actuellement sur plusieurs améliorations substantielles. Ils souhaitent automatiser la numérisation environnementale en permettant au robot de cartographier de façon autonome l’espace et de manipuler chaque objet pour capturer tous les angles. Cette automatisation réduirait considérablement le temps de préparation initial.

Les développements futurs visent à perfectionner l’invisibilité robotique. Actuellement, un contour fantomatique reste visible lors des manipulations. L’augmentation du nombre de « splats » et l’amélioration de l’adaptation colorimétrique avec la technologie passthrough devraient éliminer complètement cette visibilité résiduelle.

Les fonctionnalités robotiques s’étendront au-delà des tâches de préhension simple. L’équipe analyse des manipulations plus complexes comme l’activation de boutons ou le versement de liquides. Ces capacités élargies ouvriront de nouveaux domaines d’application, notamment la téléprésence distante et la collaboration professionnelle immersive.

Le projet sera présenté au Symposium ACM sur les logiciels et technologies d’interface utilisateur à Busan, en Corée, marquant une étape cruciale dans la fusion entre réalités virtuelle et physique.

Cette innovation de Princeton ouvre une nouvelle ère où la frontière entre imagination numérique et manipulation physique s’estompe définitivement.