모방 학습은 로봇 학습의 한 분야로, 휴머노이드 로봇이 인간 전문가의 시연을 관찰하고 모방해 새로운 기술을 습득하도록 한다. 하지만 현실 세계에서 이러한 방대한 고품질 데이터세트를 수집하는 것은 매우 번거롭고, 시간과 비용이 많이 소요된다.

AI 컴퓨팅 기업 엔비디아(NVDIA, CEO 젠슨 황)가 CES 2025에서 차세대 휴머노이드 로봇 개발을 가속화하는 모빌리티 HW 및 SW 구성 ‘엔비디아 아이작 GR00T 블루프린트(NVIDIA Isaac GR00T blueprint, 이하 ‘아이작’)’과 공개했다.

합성 모션 생성용 HW/SW 구성 아이작은 개발자들이 모방 학습을 통해 휴머노이드 로봇을 훈련할 수 있도록 방대한 합성 모션 데이터를 생성한다.

아이작 사용자는 동작 감지 장치를 장착하면, ‘GR00T-텔레옵(GR00T-Teleop)’ 워크플로를 시작으로 애플 비전 프로(Apple Vision Pro)를 활용해 인간의 동작을 화면의 디지털 트윈으로 캡처할 수 있다. 이렇게 확보된 인간의 동작은 로봇 시뮬레이션으로 구현되며, 실측 데이터 사용을 위해 기록된다.

그 다음 ‘GR00T-미믹(GR00T-Mimic)’ 워크플로를 거쳐 확보된 인간 시연 데이터를 대규모 합성 동작 데이터 세트로 확장한다. 마지막으로, ‘GR00T-젠(GR00T-Gen) 워크플로’를 통해 ‘엔비디아 옴니버스(Omniverse)’와 ‘엔비디아 코스모스(Cosmos)’ 플랫폼을 기반으로 도메인 랜덤화와 3D 업스케일링을 통해 데이터 세트를 확장한다.

이 데이터세트는 로봇 학습을 위한 오픈소스 기반의 모듈형 프레임워크 ‘엔비디아 아이작 랩(Isaac Lab)’에서 로봇 학습 정책의 입력값으로 사용되며, 로봇이 효과적이고 안전하게 환경과 상호작용하도록 가르치는 데 활용된다.

한편, 코스모스 플랫폼은 환각을 줄이기 위해 옴니버스는 3D 애플리케이션과 서비스를 구축하기 위한 API와 마이크로서비스로 구성된 개발자 플랫폼이다. 물리 AI 개발을 위해 설계된 물리 인지 영상과 월드 상태를 생성할 수 있는 오픈 사전 훈련 월드 파운데이션 모델(World Foundation Model, WFM) 군을 갖췄다.

이 플랫폼은 다양한 크기와 입력 데이터 형식을 지원하는 자동 회귀 모델과 확산 모델을 포함된다. 이 모델들은 자율주행, 로보틱스, 드론 영상, 합성 데이터 등을 포함한 2백만 시간 분량의 데이터와 1.8경 개의 토큰으로 훈련됐다. 대규모 데이터세트 생성을 지원할 뿐만 아니라, 3D 이미지를 업스케일링해 시뮬레이션과 현실 간의 상(狀, image)격차를 줄인다.