현대 AI 시스템은 이미지, 음성, 로그 데이터 등 고차원 비정형 데이터를 다루는데, 이 데이터들은 불필요한 정보(노이즈)를 포함하고 있어 효율적인 특징 추출이 필수적이다. 기존 신경망은 모든 뉴런을 활성화시키면서 불필요한 특징까지 학습하여 과적합(overfitting)과 계산량 증가 문제가 발생한다. 또한, 심층 신경망을 훈련하는 과정에서 데이터 표현력이 부족하거나, 학습이 비효율적인 문제가 있다. 

이러한 문제 해결로 적층 희소 오토인코더(Stacked Sparse Autoencoder, SSAE)가 떠오르고 있다. SSAE는 희소성 제약(Sparsity Constraint)을 추가하여 뉴런의 일부만 활성화시켜 중요한 특징만 학습하게 한다.

AI 분야에서 적층 희소 오토인코더는 이상 감지, 이미지 및 음성 인식, 데이터 차원 축소, 특성 추출 등에 활용된다. 특히 노이즈가 많은 환경에서도 의미 있는 특징을 학습하는 능력이 뛰어나 금융, 보안, 헬스케어 등 다양한 산업에서 활용되고 있다.

글로벌 AI 기업 마이크로클라우드 홀로그램(MicroCloud Hologram, 이하 HOLO)이 딥시크 오픈소스 모델을 통해 적층 희소 오토인코더를 심층적으로 최적화한 이상 감지 솔루션을 발표했다.

정규화를 통한 데이터 전처리 최적화

이 솔루션은 데이터 전처리 단계에서 서로 다른 특징 간의 차원 영향을 제거하고 모델 훈련의 효과를 높이기 위해 HOLO는 '정규화' 처리 방법을 사용했다.

정규화는 데이터를 특정 범위(일반적으로 0과 1 사이 또는 -1과 1 사이)로 조정하는 일반적인 데이터 전처리 기술이다. 이렇게 하면 서로 다른 특징의 데이터를 동일한 척도로 비교하고 분석할 수 있으며, 특정 특징이 큰 값 범위로 인해 모델 훈련을 주도하는 상황을 방지할 수 있다.

HOLO의 감지 프로젝트에서 정규화를 통해 처리된 데이터는 딥러닝 모델의 입력 요구 사항에 부합해 모델이 내재된 패턴을 정확하게 학습할 수 있도록 지원한다.

적층 희소 오토인코더 기반 모델 최적화

데이터 전처리가 완료되면 다음 단계는 처리된 데이터를 적층 희소 오토인코더 모델에 입력한다. 적층 희소 오토인코더는 여러 개의 오토인코더 계층으로 구성된 딥러닝 아키텍처로, 각 계층은 서로 다른 수준에서 특징을 추출하는 역할을 한다.

HOLO는 딥시크 모델을 사용해 희소성 제약의 강도와 방식을 동적으로 조정해 각 오토인코더 계층에서 학습된 특징이 희소하고 대표성을 갖도록 한다. 희소성 제약을 적절하게 설정함으로써 모델은 데이터의 핵심 정보를 더 잘 포착하고 중복된 특징을 줄일 수 있다.

오토인코더는 인코더를 통해 입력 데이터를 저차원 특징 표현으로 인코딩한 다음 디코더를 통해 원래 입력 데이터를 최대한 정확하게 재구성하도록 설계된 비지도 학습 모델이다. 인코더와 디코더 사이에서 오토인코더는 숨겨진 계층을 통해 데이터의 특징 표현을 학습한다.

HOLO는 딥시크 모델을 활용해 적층 희소 오토인코더를 혁신하고 최적화했다. 이 기술은 탐욕스러운 계층별 훈련 방식을 사용해 각 오토인코더 계층의 매개변수를 단계별로 최적화한다.

이러한 계층적 훈련 전략의 핵심은 먼저 오토인코더의 하위 계층을 훈련해 입력 데이터의 기본 특징을 학습한 다음 하위 계층 오토인코더의 출력을 다음 계층의 입력으로 사용해 훈련을 계속하고 점진적으로 더 심층적인 특징을 추출하는 것이다.

이 방식으로 모델은 데이터 내의 복잡한 관계를 점진적으로 포착해 표현을 향상할 수 있다. 각 오토인코더 계층은 희소성에 의해 제약되므로 학습된 특징이 희소함을 보장한다. 즉, 소수의 뉴런만 활성화되어 모델이 더 간결하고 효과적인 특징 표현을 학습할 수 있도록 한다.

디노이징 및 정규화로 모델 성능 향상

딥시크 모델로 훈련된 HOLO의 적층 희소 오토인코더는 입력 데이터에 노이즈를 추가하고 모델이 노이즈 간섭에도 불구하고 원래 입력을 재구성하도록 요구한다. 이러한 디노이징 훈련 방식은 모델이 실제 시나리오의 노이즈 데이터에 직면했을 때 정확한 이상 감지를 수행할 수 있도록 특징 표현을 학습한다.

특히 훈련 중에 입력 데이터에 임의의 노이즈가 추가되고 모델은 원래 입력을 재구성하는 임무를 맡을 시, 모델은 특징 표현을 학습하게 되며 실제 조건에서 다양한 유형의 노이즈가 존재하더라도 일정한 정확도를 보장한다.

디노이징 외에도 HOLO는 훈련 과정에서 드롭아웃을 적용한다. 드롭아웃은 주로 모델 과적합을 줄이기 위한 일반적으로 사용되는 정규화 기술이다. 딥러닝 모델에서 과적합은 모델이 훈련 데이터에서는 잘 작동하지만 보이지 않는 샘플에서는 제대로 작동하지 않는 현상을 의미한다.

이를 방지하기 위해 HOLO는 적층 희소 오토인코더 훈련 중에 뉴런의 하위 집합을 무작위로 삭제한다. 각 훈련 반복에서 모델은 뉴런의 일부를 무작위로 선택하고 해당 출력을 0으로 설정한다. 이 방법의 장점은 모델이 데이터의 특징을 학습하기 위해 특정 뉴런에 의존할 수 없고 대신 더 일반적이고 강력한 특징 표현을 학습해야 한다는 것이다.

또한 딥시크 모델의 분산 컴퓨팅 프레임워크를 활용해 훈련 작업을 여러 계산 노드에 할당해 병렬 실행해 훈련 효율을 높였다.