유서 깊은 건축물에는 역사적 발전과 라이프스타일의 진화를 엿볼 수 있는 과거의 이야기, 문화적 특징, 예술적 스타일이 담겨 있다. 문화유산 건축물은 문화적∙경제적∙풍경적∙사회적 가치를 지니고 있으므로 잘 보존되어야 한다. 대중은 고대 건축물에 대해 특별한 정서와 관심을 갖고 있다. 그러나 이러한 문화유산 건축물을 해석하려면 전문적인 지식과 배경이 필요하기 때문에 일반인들이 그 문화적 가치를 깊이 이해하기는 쉽지 않다.

문화유산 건축물의 디지털화와 지능화는 건축 문화재에 대한 지식과 가치 전파의 새로운 방향을 제시한다.

이와 관련해 홍콩과학기술대학교의 자잉 장(Jiaying Zhang) 박사 연구팀은 칭화대학교(Tsinghua University)의 샤오메이 덩(Xiaomei DENG) 교수와 공동 연구를 통해 혁신적인 결과를 발표했다.

비정형 데이터가 없는 경우 MLLM(Multimodal Large Language Model, 복합거대언어모델)과 3DGS(3D Gaussian Splatting)를 사용하여 문화유산 건축물 보존을 위한 디지털 트윈 지능형 에이전트를 구축한 것이다. 3DGS 기술을 기반으로 효율적이고 상세한 디지털 모델을 재구성을 통해 문화유산 건축물의 실제 장면을 정확하게 복원하고, 복잡한 3차원 모델을 경량화하며, 가상 방문을 지원한다.

전통적으로 비정형 데이터를 정형 데이터로 변환하려면 상당한 인력이 필요했다. 특히 전문가가 데이터를 처리해야 하는 유적지 건물의 경우 더욱 그렇다. 반면 새로운 디지털 트윈 접근 방식은 적은 양의 데이터 샘플만으로 대상 건물을 정확하게 표현하고 의미 정보를 3D 장면에 추가로 통합하여 효율적인 시각화, 디지털 트윈 구축과 데이터 관리를 달성할 수 있다.

이 전략은 건축 기하학 모델을 풍부한 의미를 지닌 3D 구성요소 모델로 쉽게 변환할 수 있으며, 유산 데이터의 목록 작성과 컨설팅을 촉진하고, 3D 장면에서 탐색 및 쿼리를 지원한다.

이러한 성과는 광저우 성심 대성당에서 검증되었다. 역사적 건물 구성요소 식별 검증을 위해 제안된 방법은 최대 95.6%의 높은 정확도를 가지고 있는 것으로 확인됐다. 또한 연구팀은 대규모 언어 모델 AI를 사용하여 문화유산 건축물 디지털 모델을 위한 대화형 지능형 에이전트를 구축했다. 이 디지털 트윈 지능형 에이전트는 디지털 모델에 대한 모호한 쿼리 지침만 입력하면 해당 구성 요소를 강조 표시하고 관련 정보를 제시하기 위해 사용자와 대화하고 상호 작용할 수 있다. 이는 문화유산 디지털 트윈의 구성 요소에 대한 문서화와 쿼리 기능을 향상시켜 사용자가 문화유산에 대한 정보를 더 쉽게 탐색하고 검색할 수 있도록 하여 일반 대중이 그 본질에 대해 더 깊이 이해할 수 있도록 해준다.

대형언어모델 AI의 출현은 고대 건축 지식의 연구와 보급을 포함하여 많은 분야에 혁명적인 변화를 가져왔다. 이전에는 문화유산 건축물에 대한 지식을 얻으려면 광범위한 학습과 문헌 검토가 필요했다. 이제는 현장에서 본 관련 데이터를 대형 모델 AI에 직접 입력하면 문화유산 건축물 구성요소에 대한 전문가 수준의 인식과 분석이 쉽게 이루어질 수 있다.

일반 대중은 대형 모델 AI와의 상호작용을 통해 문화재의 역사적 배경, 건축 양식, 문화적 의미에 대해 쉽게 배울 수 있게 됐다. 이 기술은 전문 영역 지식의 문턱을 낮추고, 문화재 보존 분야에 새로운 활력을 불어넣으며, 지식의 보급과 공유를 촉진하고, 더 많은 사람들이 문화재 보존과 유산 상속이라는 의미 있는 작업에 참여할 수 있게 해준다.