2050년까지 도시 인구는 두 배 증가할 것으로 예상된다. 이는 21세기 중반까지 도시 지역에 약 25억 명의 인구가 더해질 수 있음을 의미한다. 따라서 보다 지속 가능한 도시 계획과 공공 서비스의 필요성이 높아지고 있다. 전 세계 도시들은 도시 계획 시나리오 분석과 데이터 기반 운영 결정을 위해 디지털 트윈과 AI 에이전트를 활용하고 있다. 

그러나 도시의 디지털 트윈을 구축하고 그 안에서 스마트 시티 AI 에이전트를 테스트하는 것은 복잡하며, 자원 집약적인 작업이다. 여기에는 기술적, 운영적 문제도 수반된다. 

AI 컴퓨팅 기술 글로벌 기업 엔비디아(NVIDIA)가 스마트 시티 AI용 엔비디아 옴니버스 블루프린트(NVIDIA Omniverse Blueprint for smart city AI)를 16일 공개했다. 

블루프린트는 ▲엔비디아 옴니버스 ▲코스모스(Cosmos) ▲네모(NeMo)▲메트로폴리스(Metropolis) 플랫폼과 통합해 도시 전체와 주요 인프라에 물리 AI의 이점을 제공한다. 

개발자는 블루프린트를 사용해 심레디(SimReady)와 같이 시뮬레이션이 가능한 극사실적 도시 디지털 트윈을 구축할 수 있다. 이를 통해 도시 운영을 모니터링하고 최적화하는 AI 에이전트를 개발, 테스트할 수 있다. 

이 새로운 블루프린트를 최초로 활용하게 될 주요 기업에는 XXII, AVES 리얼리티(AVES Reality), 아킬라(Akila), 블링시(Blyncsy), 벤틀리(Bentley), 세슘(Cesium), K2K, 링커 비전(Linker Vision), 마일스톤 시스템즈(Milestone Systems), 네비우스(Nebius), 프랑스 국영철도회사(SNCF Gares&Connexions), 트림블(Trimble), 유나이트 AI(Younite AI) 등이 있다. 

디지털 트윈 구축·AI 에이전트 테스트 가속화

스마트 시티 AI용 엔비디아 옴니버스 블루프린트는 완전한 소프트웨어 스택을 제공해, 물리적으로 정밀한 도시의 디지털 트윈에서 AI 에이전트의 개발, 테스트를 가속화한다.  

엔비디아 옴니버스는 물리적으로 정확한 디지털 트윈을 구축해 도시 규모에서 시뮬레이션을 실행한다. 엔비디아 코스모스는 사후 훈련 AI 모델을 위한 대규모 합성 데이터를 생성한다. 엔비디아 네모는 고품질 데이터를 큐레이션하며, 해당 데이터를 사용해 비전 언어 모델(vision language model, VLM)과 거대 언어 모델(large language model, LLM)을 훈련하고 미세 조정한다.

엔비디아 메트로폴리스는 영상 검색과 요약(video search and summarization, VSS)용 엔비디아 AI 블루프린트를 기반으로 영상 분석 AI 에이전트를 구축, 배포한다. 이를 통해 방대한 양의 영상 데이터를 처리하고, 비즈니스 프로세스를 최적화하는 데 중요한 인사이트를 제공한다. 

이 블루프린트 워크플로는 세 개의 주요 단계로 구성된다. 먼저 개발자는 옴니버스와 코스모스를 통해 특정 위치와 시설의 심레디 디지털 트윈을 구축한다. 여기에는 항공, 위성, 지도 데이터가 활용된다. 이어서 ‘엔비디아 타오(TAO)’와 ‘네모 큐레이터(Curator)’를 사용해 컴퓨터 비전 모델, VLM 등 AI 모델을 훈련하고 미세 조정한다.

이로써 비전 AI 사용 사례에서 정확도를 높인다. 마지막으로 이러한 맞춤형 모델에 기반한 실시간 AI 에이전트의 배포로 메트로폴리스 VSS 블루프린트를 사용해 카메라와 센서 데이터를 알림, 요약, 쿼리한다.

엔비디아 파트너 생태계, 전 세계 스마트 시티 지원

스마트 시티 AI용 블루프린트는 다양한 파트너들이 엔비디아의 기술과 자사의 기술을 결합해, 하나의 통합된 워크플로로 스마트 시티 사용 사례를 위한 디지털 트윈을 구축, 활성화한다. 

프랑스, 모나코에서 3천개의 기차역 네트워크를 운영하는 프랑스 국영철도회사는 실시간 운영 모니터링, 비상 대응 시뮬레이션, 인프라 업그레이드 계획을 추진하기 위해 디지털 트윈과 AI 에이전트를 배포했다. 이는 각 역의 에너지, 물 사용 등 운영 데이터를 분석하고 예측 유지보수 기능, 자동 보고 기능, 사고 감지와 군중 관리를 위한 GDPR 준수 영상 분석을 지원한다. 

프랑스 국영철도회사는 옴니버스, 메트로폴리스와 생태계 파트너인 아킬라, XXII의 솔루션을 기반으로 모나코-몬테-카를로(Monaco-Monte-Carlo), 마르세유(Marseilles) 역에 물리 AI를 배포했다. 이를 통해 예방 정비 완수율 100%, 다운 타임과 문제 해결 시간 50% 단축, 에너지 소비 20% 절감이라는 성과를 달성했다. 

시칠리아(Sicily)의 팔레르모(Palermo) 시는 파트너사 K2K의 AI 에이전트와 디지털 트윈을 사용해 공공 보건과 안전을 개선하고 있다. 시 당국은 천개 이상의 공공 영상 스트림에서 초당 약 500억 픽셀의 속도로 영상을 처리하고 분석할 수 있다. 

시칠리아에서 도입된 K2K의 AI 에이전트는 VSS용 엔비디아 AI 블루프린트와 네비우스의 클라우드 솔루션을 기반으로 구축됐다. 이는 영상 데이터를 해석하며, 이를 바탕으로 공공에서 벌어지는 사건사고에 대한 실시간 알림을 제공한다. 

K2K는 교통 사고를 정확하게 예측하고 해결하기 위해 코스모스 월드 파운데이션 모델(WFM)을 활용한 합성 데이터를 생성하고 있다. 다양한 주행 조건을 시뮬레이션하는 이 합성 데이터를 통해, 네모 큐레이터로 AI 에이전트를 지원하는 VLM을 미세 조정한다. 이러한 시뮬레이션으로 K2K의 AI 에이전트는 초당 10만 개 이상의 예측을 생성할 수 있다.  

마일스톤 시스템즈는 엔비디아와 유럽 각 도시들과 협력해 프로젝트 하프니아(Project Hafnia)를 시작했다. 이 프로젝트는 도시들이 규제를 준수하면서도 AI 모델과 애플리케이션을 개발하고 훈련시킬 수 있도록, 익명화되고 윤리적으로 수집된 영상 데이터 플랫폼을 구축하는 것을 목표로 한다. 

프로젝트 하프니아는 엔비디아 DGX 클라우드(DGX Cloud)에 탑재된 코스모스와 네모 큐레이터, 그리고 네비우스의 소버린 유럽 클라우드 인프라를 기반으로 한다. 이를 통해 유럽 현지 기준을 준수하는 VLM 등 영상 중심 AI 모델의 훈련과 미세 조정을 지원한다. 이는 다양한 스마트 시티 사용 사례에 적용될 수 있다. 

이처럼 엔비디아는 블루프린트를 통해 도시 계획의 복잡성과 리소스 부담을 해소하고 있다. 유럽과 아시아의 주요 도시들은 이 블루프린트를 활용해 디지털 트윈과 AI 에이전트를 구축하고, 공공 안전, 에너지 효율, 교통 관리 등 다양한 분야의 도시 문제를 해결하고 있다.