Utvecklingen av humanoida robotar har gått i långsam takt under mer än två decennier, men på senare tid har vi sett fler och fler genombrott inom detta område. Som vi nyligen skrev presenterades en AI-robot vid MWC 2024 Amerikaoch en annan utveckling, Unitree H1, slog hastighetsrekordet bland humanoida robotar. Och nu har ett spektakulärt resultat av samarbetet mellan företagen Figure AI och OpenAI dykt upp på Internet - en fantastisk video av en humanoid robot som nu kan föra konversationer med människor.
Startup Figur AI släppte en video som visar Figur 01-roboten som arbetar med den nya Visual Language Model (VLM). I den står figur 01 vid ett bord där det finns en tallrik, ett äpple och en kopp. Det finns en torktumlare till vänster. Och på frågan om en person, vad roboten ser framför sig, svarar han genom att i detalj beskriva allt som ligger på bordet.
Och så frågar mannen om han får äta något, och roboten svarar: "Självklart", och sedan med en skicklig mjuk rörelse tar han äpplet och ger det till mannen. Efter det kommer ytterligare en fantastisk demonstration - en man häller skrynkligt sopor från en korg framför figur 01 och ber roboten att förklara varför han gjorde detta, och samtidigt samla upp skräpet i korgen. Och han förklarar sin "tanke" samtidigt som han lägger tillbaka papperet i papperskorgen. "Så jag gav dig ett äpple eftersom det är det enda ätbara föremålet jag kunde ge dig från bordet", sa roboten.
Företagsrepresentanter förklarade att figur 01 använder en förtränad multimodal modell OpenAI, VLM, för att förstå bilder och texter, och förlitar sig på röstmeddelanden för att generera sina svar. Detta skiljer sig från till exempel OpenAI:s GPT-4, som fokuserar på skriftliga uppmaningar.
Den använder också vad företaget kallar "inlärda bimanuella manipulationer på låg nivå." Systemet koordinerar exakt bildkalibrering (ned till pixelnivå) med sitt neurala nätverk för rörelsekontroll. "Dessa nätverk tar emot bilder vid 10 Hz och genererar 24-DOF-åtgärder (handledspositioner och fingerledsvinklar) vid 200 Hz," sa Figur AI i ett uttalande.
Företaget hävdar att varje beteende i videon är baserat på systeminlärning, så ingen bakom kulisserna drar i figur 01:s trådar. Naturligtvis finns det en nyans - det är inte känt hur många gånger roboten gick igenom denna procedur. Kanske var det hundrade gången, vilket förklarar hans exakta rörelser. Men den här bedriften ser i alla fall spektakulär och lite fantastisk ut.
Figur 01 slutför nu verkliga uppgifter
Allt är autonomt:
-Autonom navigering och kraftbaserad manipulation
- Inlärd visionmodell för sopdetektering & prioritering
- Reaktiv kärlmanipulation (robust att posera variation)
-Generaliserbar till andra plocknings-/placeringsuppgifter bild.twitter.com/0wFmYnq0GC— Figur (@Figure_robot) Februari 26, 2024
Läs också: