전 세계 컴퓨팅 워크로드는 CPU 기반에서 GPU 기반의 가속 컴퓨팅으로 이동하고 있으며, 여러 종류의 데이터를 결합해 처리하는 ‘멀티모달 트랜스포머’와 이미지나 비디오 데이터를 연속적으로 개선 및 생성하는 ‘확산 모델’은 생성AI를 활용해 텍스트와 이미지를 생성할 수 있게 훈련되고 있다.

하지만 이러한 모델들은 3차원 세계를 이해하거나 해석할 수 없다. 바로 여기에서 물리적 AI의 필요성이 대두된다. 물리적 AI 모델은 생성AI를 통해 물리적 세계를 인식하고, 이해하고, 상호 작용하고, 탐색할 수 있다. 이는 수술실부터 데이터 센터, 창고, 공장, 심지어 교통 관제 시스템이나 스마트 시티 전체에 이르기까지 모든 것이 정적인 수동 운영 시스템에서 자율적이고 상호 작용하는 시스템으로 변화하는 토대이다.

그런데 이런 물리적 AI의 산업 구현이 어려웠다. 우선, AI 시스템을 산업 현장에 적용하기 위해서는 신뢰성과 정확성이 매우 중요하지만, 물리적 AI는 다양한 환경 변수에 민감하여 오류 발생 가능성이 높다. 또한, AI 알고리듬과 실제 물리적 기기 간의 조정이 복잡하며, 높은 수준의 하드웨어와 소프트웨어 통합이 요구된다. 

이제 가속 컴퓨팅을 기반으로 한 멀티모달 물리적 AI의 혁신과 대규모 물리 기반 시뮬레이션을 통해 전 세계는 로봇을 활용한 물리적 AI의 가치를 실현할 수 있게 됐다.

AI 컴퓨팅 기업 엔비디아가 AI 로봇 모델 훈련, 시뮬레이션, 런타임 시스템을 결합한 ‘3가지 컴퓨터 시스템(three computers)’기반 ‘물리적 AI’로 로봇의 자율적 상호작용을 지원하고 ‘로보틱스 생태계’를 강화한다고 밝혔다.

물리적 AI 개발 핵심 ‘AI 훈련·시뮬레이션·런타임 시스템’

‘물리적 AI’는 생성AI를 활용해 실제 환경을 인식과 상호작용할 수 있으며, 가속 컴퓨팅 기반의 멀티모달 AI 기술과 대규모 물리 기반 시뮬레이션으로 로봇에 탑재돼 자율성을 향상시키고 있다. 이를 위해 엔비디아는 개발자가 물리적 AI를 제작할 수 있게 AI 로봇 모델 훈련, 시뮬레이션, 작동 처리 컴퓨터 시스템과 이를 가속화된 개발 플랫폼을 구축했다.

모델 훈련을 위해 ‘엔비디아 DGX 플랫폼’에서 ‘네모(NeMo)’를 사용해 파운데이션 모델과 생성AI 모델을 훈련 및 미세 조정할 수 있다. 또한, 자연어를 이해하고 인간의 행동을 관찰해 움직임을 모방할 수 있는 휴머노이드 로봇 범용 파운데이션 모델을 개발하는 이니셔티브 ‘엔비디아 프로젝트 GR00T(Project GR00T)’를 활용할 수도 있다.

시뮬레이션을 위한 ‘엔비디아 OVX 서버’는 물리적 AI 테스트와 최적화를 위한 시뮬레이션 환경을 제공하며, 이 서버에서 실행되는 ‘엔비디아 옴니버스(Omniverse)’는 ‘아이작 심(Isaac Sim)’ 등의 API와 프레임워크를 활용해 로봇 모델의 시뮬레이션, 검증, 물리 기반 합성 데이터를 생성해 로봇 모델 훈련을 진행할 수 있다. 이 외에도, 오픈 소스 로봇 학습 프레임워크 ‘아이작 랩(Isaac Lab)’을 사용해 로봇의 강화 및 모방 학습을 개선할 수 있다.

그 밖에, 훈련된 AI 모델은 ‘엔비디아 젯슨 토르(Jetson Thor)’ 플랫폼에 배포할 수 있다. 이 소형 컴퓨팅 장치는 로봇의 제어, 비전, 언어 모델을 실행하는 두뇌 역할을 수행하며, 에너지 효율이 높은 온보드 에지 컴퓨팅 시스템에 탑재할 수 있다. 로봇 제조업체와 파운데이션 모델 개발자는 워크플로우와 도전 과제에 따라 필요한 만큼의 가속 컴퓨팅 플랫폼과 시스템을 사용할 수 있다.

차세대 자율 시설에 활용되는 물리적 AI

로봇 시설은 이러한 모든 기술이 집약된 결과물이다. 폭스콘(Foxconn)과 같은 제조업체나 아마존 로보틱스(Amazon Robotics)와 같은 물류 회사는 자율 로봇 팀을 구성해 인간 근로자와 함께 작업하고 수백 또는 수천 개의 센서를 통해 공장 운영을 모니터링할 수 있다. 

이러한 자율 물류창고, 공장, 시설 등에는 디지털 트윈이 도입될 것이다. 디지털 트윈은 레이아웃 계획과 최적화, 운영 시뮬레이션 그리고 가장 중요한 로봇 플릿 소프트웨어 인 더 루프(software-in-the-loop) 테스트에 사용된다.

엔비디아의 옴니버스 기반으로 구축된 ‘메가(Mega)’는 공장 디지털 트윈의 청사진으로, 산업 기업들이 로봇 플릿을 실제 공장에 배치하기 전에 시뮬레이션으로 테스트하고 최적화할 수 있도록 지원한다. 이는 무결점 통합, 최적의 성능, 최소한의 중단을 보장한다.

메가는 개발자들이 공장 디지털 트윈에 가상 로봇과 그 AI 모델, 즉 로봇의 두뇌를 배치할 수 있게 한다. 디지털 트윈의 로봇은 환경을 인식하고, 추론하고, 다음 동작을 계획한 후, 최종적으로 계획된 작업을 완료한다. 이러한 동작은 옴니버스의 월드 시뮬레이터를 통해 디지털 환경에서 시뮬레이션되고, 그 결과는 옴니버스의 센서 시뮬레이션을 통해 로봇의 두뇌에 전달된다.

센서 시뮬레이션을 통해 로봇의 두뇌는 다음 동작을 결정하고, 이 과정이 계속 반복된다. 메가는 공장 디지털 트윈 내의 모든 요소의 상태와 위치를 꼼꼼하게 추적한다. 이 고급 소프트웨어 인 더 루프 테스트 방법론을 통해 기업들은 옴니버스 디지털 트윈의 안전한 범위 내에서 변경 사항을 시뮬레이션하고 검증한다. 이로써 잠재적인 문제를 예측하고 완화해 실제 배포 시 위험과 비용을 줄일 수 있다.

다양한 산업의 개발자 생태계의 역량 강화

엔비디아의 물리적 AI는 다양한 산업 생태계에서 개발을 가속하고 있다. 테라다인 로보틱스(Teradyne Robotics)의 자회사인 유니버설 로봇(Universal Robots)은 엔비디아 아이작 매니퓰레이터(Isaac Manipulator), 아이작 가속 라이브러리와 AI 모델, 엔비디아 젯슨 오린(Jetson Orin)을 사용해 UR AI 엑셀러레이터(UR AI Accelerator)를 구축했다. 이는 코봇 (cobot) 개발자가 애플리케이션을 구축하고, 개발을 가속화하며, AI 제품의 출시 기간을 단축할 수 있도록 돕는 즉시 사용 가능한 하드웨어와 소프트웨어 툴킷이다.

알고 로보틱스(RGo Robotics)는 엔비디아 아이작 퍼셉터(NVIDIA Isaac Perceptor)를 활용해 휠미(wheel.me) AMR이 언제 어디서나 작동하고, 인간과 유사한 지각과 시각 공간 정보를 통해 지능적인 의사 결정을 내릴 수 있도록 지원했다.

1X 테크놀로지스(1X Technologies), 어질리티 로보틱스(Agility Robotics), 앱트로닉(Apptronik), 보스턴 다이내믹스(Boston Dynamics), 푸리에(Fourier), 갤봇(Galbot), 멘티(Mentee), 생츄어리 AI(Sanctuary AI), 유니트리 로보틱스(Unitree Robotics), 샤오펑 로보틱스(XPENG Robotics) 등 휴머노이드 로봇 제조업체들이 엔비디아의 로봇 개발 플랫폼을 채택하고 있다.

보스턴 다이내믹스는 인간의 생산성을 높이고, 노동력 부족 문제를 해결하며, 창고 내 안전을 우선시하는 4족 보행 로봇과 휴머노이드 로봇 제작에 아이작 심과 아이작 랩을 사용하고 있다.

푸리에는 과학 연구, 의료, 제조 등 높은 수준의 상호 작용과 적응력이 요구되는 분야에서 작동할 수 있는 휴머노이드 로봇을 훈련하기 위해 아이작 심을 활용하고 있다.

갤봇은 아이작 랩과 아이작 심을 사용해 다양하고 정교한 로봇 손에 적용할 수 있는 대규모 로봇 파지(grasp) 데이터 세트인 덱스그랩스넷(DexGraspNet)과 정교한 파지 모델을 평가하기 위한 시뮬레이션 환경의 개발을 진전시켰다.

필드 AI(Field AI)는 아이작 플랫폼과 아이작 랩을 활용해 로봇이 야외 환경에서 안전하게 작동할 수 있도록 위험 경계가 설정된 멀티태스킹, 다목적 파운데이션 모델을 개발했다.

이제 물리적 AI의 시대가 도래했으며 전 세계 중공업과 로보틱스가 발전을 가속하고 있다.