휴머노이드 로봇의 개발은 지난 2024년 동안 느린 속도로 진행되었지만 최근 이 분야에서 점점 더 많은 혁신이 이루어지고 있습니다. 최근 쓴 것처럼 AI 로봇이 MWC 에서 선보였습니다. 아메카, 그리고 또 다른 발전, 유니트리 H1, 인간형 로봇 중 속도 기록을 경신했습니다. 그리고 이제 Figure AI와 OpenAI 회사 간의 협력의 놀라운 결과가 인터넷에 나타났습니다. 이제 사람들과 대화할 수 있는 휴머노이드 로봇의 놀라운 비디오가 탄생했습니다.
스타트업 Figure AI는 새로운 VLM(Visual Language Model)으로 작업하는 Figure 01 로봇을 보여주는 비디오를 공개했습니다. 그 안에 Figure 01은 접시, 사과, 컵이 놓인 테이블에 서 있습니다. 왼쪽에는 건조기가 있습니다. 그리고 로봇이 그 앞에서 보는 사람의 질문에 그는 테이블 위에 누워있는 모든 것을 자세히 설명하여 대답합니다.
그런 다음 남자가 뭔가를 먹을 수 있는지 묻자 로봇은 "물론입니다"라고 대답한 다음 능숙하고 부드러운 움직임으로 사과를 가져다가 남자에게 건네줍니다. 그 후 또 다른 놀라운 시연이 이어집니다. 한 남자가 그림 01 앞에 있는 바구니에서 구겨진 쓰레기를 쏟아 붓고 로봇에게 왜 이런 일을 했는지 설명해달라고 요청하는 동시에 바구니에 쓰레기를 수거합니다. 그리고 그는 종이를 다시 쓰레기통에 버리면서 자신의 '생각'을 설명합니다. "그래서 사과를 줬어요. 식탁에서 줄 수 있는 유일한 먹을 수 있는 품목이거든요." 로봇이 말했습니다.
회사 관계자는 그림 01이 사전 훈련된 다중 모드 모델을 사용한다고 설명했습니다. OpenAI, VLM은 이미지와 텍스트를 이해하고 음성 프롬프트를 사용하여 응답을 생성합니다. 이는 서면 프롬프트에 초점을 맞춘 OpenAI의 GPT-4와는 다릅니다.
또한 회사가 "학습된 낮은 수준의 양손 조작"이라고 부르는 것을 사용합니다. 시스템은 모션 제어를 위해 신경망을 사용하여 정밀한 이미지 보정(픽셀 수준까지)을 조정합니다. Figure AI는 성명에서 "이러한 네트워크는 10Hz에서 이미지를 수신하고 24Hz에서 200-DOF 동작(손목 자세 및 손가락 관절 각도)을 생성합니다"라고 말했습니다.
회사는 비디오의 모든 행동이 시스템 학습을 기반으로 한다고 주장하므로 배후의 누구도 Figure 01의 끈을 당기지 않습니다. 물론 뉘앙스가 있습니다. 로봇이 이 절차를 몇 번이나 거쳤는지는 알 수 없습니다. 어쩌면 번째였을지도 모른다. 이것이 그의 정확한 움직임을 설명해준다. 그러나 어쨌든 이 성과는 눈부시면서도 약간은 환상적으로 보입니다.
그림 01은 이제 실제 작업을 완료하고 있습니다.
모든 것이 자율적입니다.
- 자율 항법 및 힘 기반 조작
- 빈 감지 및 우선순위 지정을 위한 학습된 비전 모델
-반응형 빈 조작(포즈 변형에 강함)
-다른 선택/배치 작업으로 일반화 가능 사진.twitter.com/0wFmYnq0GC— 피규어(@Figure_robot) ２０２４년 ２월 ２７일
또한 읽기: