Une équipe de l'Université de Tokyo a dévoilé Alter3, un robot humanoïde capable d'effectuer des mouvements à l'aide du Large Language Model (LLM) GPT-4. Alter3 utilise le dernier outil Ouvrir AI pour prendre dynamiquement différentes poses, d'une pose de selfie à une image fantôme, le tout sans avoir besoin d'entrées de base de données préprogrammées.
"La réponse d'Alter3 au contenu conversationnel en utilisant des expressions faciales et des gestes constitue une avancée significative dans la robotique humanoïde qui est facilement adaptable à d'autres androïdes avec des changements minimes", ont déclaré les chercheurs.
Dans le domaine de l'intégration LLM avec des robots, l'accent est mis sur l'amélioration de la communication de base et la modélisation de réponses réalistes. Les chercheurs étudient également les capacités du LLM pour permettre aux robots de comprendre et d'exécuter des instructions complexes, augmentant ainsi leurs fonctionnalités.
Traditionnellement, la gestion de bas niveau des robots est lié au matériel et ne relève pas de la compétence des sociétés LLM. Cela crée des difficultés pour la gestion directe des travaux basés sur le LLM. Pour résoudre ce problème, l'équipe japonaise a développé une méthode permettant de convertir les expressions de mouvements humains en code compréhensible pour Android. Cela signifie que le robot peut générer indépendamment des séquences d’actions au fil du temps sans que les développeurs aient besoin de programmer individuellement chaque partie du corps.
Pendant l'interaction, une personne peut donner des commandes Alter3 telles que « Prenez un selfie avec votre iPhone ». Par la suite, le robot initie une série de requêtes à GPT-4 pour obtenir des conseils sur les étapes nécessaires. GPT-4 traduira cela en code Python qui permettra au travail de « comprendre » et d'effectuer les mouvements nécessaires. Cette innovation permet à Alter3 de bouger le haut de son corps tandis que le bas de son corps reste immobile, fixé au support.
Alter3 est la troisième itération de la série de robots humanoïdes d'Alter depuis 2016, dotée de 43 actionneurs responsables des expressions faciales et des mouvements des membres alimentés par de l'air comprimé. Cette configuration offre une large gamme de gestes expressifs. Le robot ne peut pas marcher, mais il peut imiter des mouvements typiques de marche et de course.
Alter3 a également démontré la capacité de copier des poses humaines à l'aide de la caméra et du framework OpenPose. Le robot ajuste ses articulations aux postures observées et enregistre les imitations réussies pour une utilisation ultérieure. L'interaction avec un humain a conduit à des postures plus variées, confortant l'idée selon laquelle différents mouvements proviennent de l'imitation de l'humain, de la même manière que les nouveau-nés apprennent par imitation.
Avant le LLM, les chercheurs devaient contrôler soigneusement les 43 actionneurs pour recréer la pose d'une personne ou simuler un comportement, comme servir du thé ou jouer aux échecs. Cela a nécessité de nombreux ajustements manuels, mais IA a contribué à libérer l’équipe de cette routine. « Nous nous attendons à ce qu'Alter3 s'engage efficacement dans un dialogue en affichant des expressions faciales et des gestes adaptés au contexte. Cela a démontré la capacité de refléter les émotions, par exemple, de montrer de la tristesse ou du bonheur en réponse, partageant ainsi des émotions avec nous", expliquent les chercheurs.
Lisez aussi: