3D 아바타는 게임과 메타버스, 영화 및 가상 교육 등의 분야에서 활용되면서 얼굴 표정과 음성을 실시간으로 반영하는 모션 캡처 기술이 확산되고 있다. 그러나 기존의 모션 캡처 솔루션은 고가의 장비를 필요로 하거나, 복잡한 설정 과정으로 일반 사용자와 소규모 개발자들에게는 접근이 어려웠다. 이에 따라 간편하게 고품질 3D 얼굴 애니메이션을 생성할 수 있는 기술의 필요성이 지속적으로 제기되고 있다.

AI 기반 3D 콘텐츠 생성 기술 글로벌 기업 잇시즈3D(Itseez3D)가 카메라로 촬영한 사람의 음성과 표정을 3D 아바타로 변환하는 얼굴 모션 캡처 솔루션 ‘아바타 SDK 립(Avatar SDK Leap, 이하 ‘립’)’을 출시했다.

유니티·언리얼 엔진 플러그인으로 손쉬운 연동

립은 뉴럴 네트워크를 활용해 사람의 얼굴 형태를 예측하고, 이를 기반으로 3D 아바타 애니메이션을 생성한다. 기존의 얼굴 애니메이션 기술이 물리적 센서 기반 모션 캡처에 의존하는 것과 달리, 립은 단순한 영상 입력으로 사실적인 얼굴 움직임을 구현할 수 있다.

립은 ▲립 모바일 애플리케이션 ▲립 유니티(Unity) ▲언리얼 엔진(Unreal Engine) 플러그인으로 구성된다. 사용자는 아이폰에서 립 모바일 앱을 이용해 얼굴 영상을 촬영하면 이를 유니티 또는 언리얼 엔진이 실행되는 컴퓨터로 전송할 수 있다. 유니티 및 언리얼 엔진용 립 플러그인은 이 데이터를 가져와, 몇 번의 클릭으로 3D 아바타에 적용할 수 있는 얼굴 애니메이션을 생성한다.

플러그인을 사용하면 ‘스켈레탈 메시(Skeletal Mesh)’, ‘텍스처(Texture)’, ‘머티리얼(Material)’, ‘스켈레탈 애니메이션(Skeletal Animation)’ 등 아바타 애니메이션 구현에 필요한 모든 요소가 자동으로 생성된다. 기존 방식보다 설정 시간이 짧고, 고품질 애니메이션을 쉽게 제작할 수 있다.

메타퍼슨과 연동으로 확장성 강화

립은 잇시즈3D의 기존 솔루션 ‘메타퍼슨(MetaPerson) 아바타’와도 연동된다. 메타퍼슨은 사용자가 단 한 장의 셀피(Selfie)로 3D 아바타를 생성할 수 있는 기술로, 잇시즈3D 플랫폼 ‘메타퍼슨 크리에이터(MetaPerson Creator)’에서 사용할 수 있다.

메타퍼슨 아바타는 풀바디 모델을 지원하며, 표준 애니메이션 도구와 호환 가능한 스켈레톤 구조를 갖추고 있어 게임, 가상 현실(VR) 및 증강 현실(AR) 등 다양한 환경에서 활용 가능하다. 립은 이러한 메타퍼슨 아바타에 사실적인 얼굴 애니메이션을 추가할 수 있어 몰입도 높은 아바타 경험을 제공한다.

유니티 및 언리얼 엔진 플러그인은 메타퍼슨 크리에이터와 통합돼 아바타를 커스터마이징할 수 있다. 이를 통해 게임 개발자와 콘텐츠 제작자는 개별 프로젝트에 최적화된 아바타를 3D 

뉴럴 네트워크를 활용한 립의 얼굴 애니메이션 기술은 향후 3D 콘텐츠 제작의 접근성을 높이고, 자연스러운 캐릭터 애니메이션 구현을 가능하게 할 것으로 전망된다.