인텔 랩은 블록케이드 랩(Blockade Labs)과 협력해 생성AI를 사용해 사실적인 3D 시각 콘텐츠를 제작하는 새로운 확산 모델인 LDM3D(Latent Diffusion Model for 3D)를 공개했다. LDM3D는 확산 프로세스를 사용해 뎁스 맵(depth map)을 생성하며, 선명하고 몰입감 있는 360도 3D 이미지를 생성한다. LMD3D는 콘텐츠 제작, 메타버스 애플리케이션, 디지털 경험의 혁신을 통해 엔터테인먼트, 게임, 건축, 디자인에 이르기까지 다양한 산업에 적용될 수 있다.

현재 고급 생성AI 모델 중 상당수는 2D 이미지 생성에 국한돼 있다. 일반적으로 텍스트를 통해 2D RGB 이미지만 생성하는 기존 확산 모델과 달리, LDM3D를 사용하면 주어진 텍스트를 이용해 이미지와 깊이 맵 모두 생성할 수 있다. 잠재 안정 확산 모델과 거의 동일한 수의 파라미터를 사용하는 LDM3D는 깊이 추정을 위한 표준 포스트 프로세싱 방법 대비 이미지 각 픽셀에 대한 더욱 정확한 상대적 깊이를 제공한다.

LDM3D로 생성된 이미지와 뎁스 맵을 통해 사용자는 텍스트 묘사를 고요한 열대 해변, 현대적인 고층 빌딩 또는 공상 과학 세계의 설명을 360도 디테일한 파노라마로 전환할 수 있다. 방대한 정보를 포착할 수 있는 이 기능은 전반적인 사실감과 몰입감을 즉각적으로 향상시켜 엔터테인먼트, 게임, 인테리어 디자인, 부동산 목록은 물론 가상 박물관부터 몰입형 VR 경험까지 다양한 산업 분야에 적용할 수 있다.

LDM3D는 6월 20일 CVPR(컴퓨터 비전 및 패턴 인식 컨퍼런스)에서 열린 3DMV 워크샵에서 우수 포스터 상(Best Poster Award)을 수상했다.

LDM3D는 4억 개 이상의 이미지와 캡션을 포함하고 있는 LAION-400M 데이터 베이스의 1만 개 샘플 하위 집합으로 구성된 데이터 세트 기반으로 학습됐다. 팀은 학습 말뭉치(corpus)에 주석을 달기 위해 과거 인텔 랩에서 개발한 고밀도 예측 트랜스포머(DPT) 대규모 추정 모델을 사용했다. DPT 모델은 이미지의 각 픽셀에 대해 정확한 상대적 깊이를 제공한다. LAION-400M 데이터세트는 연구진은 물론 해당 분야에 관심을 가진 커뮤니티가 대규모로 모델 학습을 테스트할 수 있도록 연구 목적으로 구축됐다.

LDM3D 모델은 인텔 제온 프로세서와 인텔 하바나 가우디 AI 가속기로 구동되는 인텔 AI 슈퍼컴퓨터에서 학습됐다. 결과 모델과 파이프라인은 생성된 RGB 이미지와 깊이 맵을 결합해 몰입감 넘치는 360도 뷰를 생성한다.

인텔과 블로케이드 연구진은 LDM3D의 잠재력을 선보이기 위해 표준 2D RGB 사진과 뎁스 맵을 활용, 360도 뷰 경험을 제작하는 뎁스퓨전(DepthFusion)을 개발했다. 뎁스퓨전은 실시간 멀티미디어 콘텐츠를 위한 노드 기반 시각적 프로그래밍 언어인 터치 디자이너(TouchDesigner)를 활용해 텍스트를 디지털 경험으로 전환한다. LDM3D 모델은 RGB 이미지와 깊이 맵을 모두 생성하는 단일 모델로서 메모리 공간을 절약하고 지연 시간을 개선한다.

LMD3D는 허깅페이스를 통해 오픈소스로 제공되며, 이는 AI 분야의 개방형 생태계를 지원하기 위한 인텔의 노력의 일환이다. AI 연구진들은 이 시스템을 더욱 개선하고 애플리케이션에 따라 조정할 수 있다.

바스데브 라르(Vasudev Lal) 인텔 랩 인공지능/머신러닝 담당 과학자는 "생성AI 기술의 목표는 인간의 창의력을 더욱 향상시키며 시간을 절약하는 것이다. 그러나 오늘날 생성AI 모델은 대부분 2D 이미지 생성에 국한돼 있으며 텍스트로 3D 이미지를 생성할 수 있는 모델은 극소수에 불과하다”며, “기존의 잠재 안정 확산 모델과 달리 LDM3D를 사용하면 거의 동일한 수의 파라미터를 사용해 주어진 텍스트 프롬프트에서 이미지와 깊이 맵을 생성할 수 있다. 깊이 추정을 위한 표준 후처리 방법에 비해 이미지의 각 픽셀에 대해 더 정확한 상대적 깊이를 제공하며 개발자는 상당한 시간을 절약할 수 있다"고 말했다.

[알림] 전자신문인터넷과 GTT KOREA는 오는 7월 7일 금요일 오전 10시부터 오후 3시 30분까지 온라인 생방송으로 “Intelligent HCI Summit Online 2023”을 개최한다. 이 행사에서는 HCI 분야 글로벌 리더들의 고가용성·경제성·경쟁력을 갖춘 스마트 하이퍼 컨버지드 컴퓨팅 전략과 각 기업에 맞는 활용 방안과 최적화 전략을 소개한다. 조직에 HCI가 어떤 과정을 통해 어떤 구성요소로 구현되는지, 성공적인 HCI 구현을 위해서는 어떤 전략을 전개해 나가야 비즈니스 경쟁력을 높일 수 있는지에 대한 실제적인 정보를 공유한다.