Le développement des robots humanoïdes a progressé à un rythme lent pendant près de deux décennies, mais nous avons récemment assisté à de plus en plus de percées dans ce domaine. Comme nous l'écrivions récemment, un robot IA a été présenté au MWC 2024 Ameca, et un autre développement, Unitree H1, a battu le record de vitesse parmi les robots humanoïdes. Et maintenant, un résultat spectaculaire de la collaboration entre les sociétés Figure AI et OpenAI est apparu sur Internet : une vidéo époustouflante d'un robot humanoïde qui peut désormais converser avec des gens.
La startup Figure AI a publié une vidéo montrant le robot Figure 01 travaillant avec le nouveau modèle de langage visuel (VLM). Dans celui-ci, la figure 01 se tient debout à une table sur laquelle se trouvent une assiette, une pomme et une tasse. Il y a un sèche-linge à gauche. Et à la question d'une personne, ce que le robot voit devant elle, il répond en décrivant en détail tout ce qui se trouve sur la table.
Et puis l'homme demande s'il peut manger quelque chose, et le robot répond : "Bien sûr", puis d'un mouvement adroit et fluide, il prend la pomme et la tend à l'homme. Vient ensuite une autre démonstration étonnante : un homme verse des déchets froissés d'un panier devant la figure 01 et demande au robot d'expliquer pourquoi il a fait cela, tout en ramassant les déchets dans le panier. Et il explique sa « pensée » en remettant le papier à la poubelle. "Alors je t'ai donné une pomme parce que c'est le seul article comestible que je pouvais te donner en dehors de la table", a expliqué le robot.
Les représentants de l'entreprise ont expliqué que la figure 01 utilise un modèle multimodal pré-entraîné OpenAI, VLM, pour comprendre les images et les textes, et s'appuie sur des invites vocales pour générer ses réponses. Ceci est différent, par exemple, du GPT-4 d'OpenAI, qui se concentre sur les invites écrites.
Il utilise également ce que la société appelle des « manipulations bimanuelles apprises de bas niveau ». Le système coordonne un calibrage précis de l'image (jusqu'au niveau du pixel) avec son réseau neuronal pour le contrôle du mouvement. "Ces réseaux reçoivent des images à 10 Hz et génèrent des actions à 24 degrés de liberté (poses du poignet et angles des articulations des doigts) à 200 Hz", a indiqué Figure AI dans un communiqué.
La société affirme que chaque comportement dans la vidéo est basé sur l'apprentissage du système, donc personne dans les coulisses ne tire les ficelles de la figure 01. Bien sûr, il y a une nuance - on ne sait pas combien de fois le robot a suivi cette procédure. C'était peut-être la centième fois, ce qui explique ses mouvements précis. Mais en tout cas, cette réalisation s’annonce spectaculaire et un peu fantastique.
La figure 01 accomplit désormais des tâches du monde réel
Tout est autonome :
-Navigation autonome et manipulation basée sur la force
- Modèle de vision appris pour la détection et la priorisation des bacs
-Manipulation réactive du bac (robuste à la variation de pose)
-Généralisable à d'autres tâches de sélection/placement phototwitter.com/0wFmYnq0GC– Chiffre (@Figure_robot) 26 février 2024
Lisez aussi: