Une équipe de chercheurs de l’université de Californie à Los Angeles, sous la supervision du professeur Song-Chun Zhu, a développé un environnement virtuel 3D interactif pour la formation et l’évaluation de systèmes d’intelligence artificielle. Leur plateforme, appelée VRKitchen, a récemment été présenté sur arXiv.
Dans le monde réel, l’apprentissage des robots est coûteux, lent et difficilement reproductible. De ce fait, ces dernières années, les chercheurs ont assisté à de grands progrès dans la construction de plateformes virtuelles 3D basées sur la physique, où des systèmes d’IA incorporés peuvent se déplacer et trouver un objet cible.
Des défis majeurs à surmonter
Malgré leurs nombreux avantages, la plupart des plateformes virtuelles existantes pour la formation de système d’intelligence artificielle ne permettent pas d’interactions complexes avec des objets physiques, ce qui est très courant dans des situations réelles.
Ci-après la présentation de cette plateforme virtuelle :
En outre, bon nombre de ces plateformes ne permettent pas aux humains de prendre part à la formation de systèmes dans l’environnement virtuel. Dans ce travail, les chercheurs visent à construire une plateforme virtuelle hautement interactive et réaliste, permettant aux scientifiques de former et d’évaluer leurs systèmes dans un large éventail de tâches du monde réel impliquant des manipulations d’objets complexes.
Fonctionnement de VRKitchen
VRKitchen, l’environnement virtuel conçu par Shu et son équipe, est basé sur Unreal Engine 4, une suite d’outils généralement utilisés par les développeurs de jeux. Comparé aux environnements virtuels existants, VRKitchen présente deux avantages majeurs.
Tout d’abord, dans VRKitchen, un agent d’intelligence artificielle peut effectuer un grand nombre de tâches de cuisson avec des modifications de l’état de l’objet et des objectifs de composition. Un autre avantage de VRKitchen réside dans le fait que l’agent incorporé naviguant dans l’environnement virtuel peut être contrôlé à la fois par des algorithmes d’intelligence artificielle et par des utilisateurs humains. Cela permet aux humains de faire des démonstrations aux agents d’IA, de sorte que ces derniers puissent acquérir des connaissances sur la manière de mener à bien une tâche via l’observation, plutôt que d’avoir à apprendre la tâche de manière autonome.