생성AI 모델의 규모가 증가하면서 데이터센터는 연산 처리보다 메모리 접근 과정에서 발생하는 성능 저하 및 전력 소모 문제가 커지고 있다. 모델 파라미터가 증가할수록 데이터를 메모리에서 불러오는 과정이 연산 속도를 제한하는 주요 원인이 되고 있다. 이러한 환경에서 메모리와 연산을 더욱 밀접하게 결합한 구조와, 이를 정교하게 제어하는 CPU 체계가 중요해지고 있다.

글로벌 AI 추론 컴퓨팅 기업 d-매트릭스(d-Matrix)가 고효율 RISC-V 프로세서 IP 공급 기업 안데스테크놀로지(Andes Technology)와 협력해 차세대 AI 추론 아키텍처 ‘랩터(Raptor)’에 ‘안데스코어(AndesCore) AX46MPV’를 적용한다고 밝혔다.

이번 협력은 3D 인-메모리 컴퓨트(3DIMC) 기반 아키텍처와 고성능 벡터 RISC-V CPU를 결합해 데이터센터급 추론 효율을 높이는 것을 목표로 한다.

랩터는 d-매트릭스의 3DIMC 기술을 적용한 추론 가속기로, 연산 유닛과 메모리를 3D 구조로 적층해 데이터 이동 거리와 접근 지연을 감소시킨다. 이는 메모리에서 연산 장치로 데이터 전달 과정에서 소모되는 에너지와 시간을 줄인다. 또한 칩렛 기반 구조를 사용해 DRAM과 연산 회로를 확장 가능한 형태로 구성해 대규모 추론 워크로드를 처리할 수 있다.

제어·벡터 연산 통합

3DIMC 기반 아키텍처는 메모리와 연산이 결합된 구조이지만, 고밀도 연산 블록 간의 워크로드 배분, 메모리 접근 조정, 타이밍 관리, 연산 경로 제어 등 시스템 전체의 일관성 있는 작동을 위해 별도의 제어 프로세서가 필요하다. 안데스테크놀로지의 AX46MPV는 이러한 운영 요소를 담당하는 구성이다.

AX46MPV는 랩터 내부에서 오케스트레이션 엔진과 벡터 연산 엔진 역할을 모두 수행한다. 이 CPU는 워크로드 분배, 메모리 조정, 런타임 제어를 담당하며 고대역폭 컴퓨트 패브릭을 관리한다. 또한 활성화 함수 처리 등 연산을 오프로딩해 전체 처리량을 끌어올린다. 이를 통해 메모리 중심 구조를 유지하면서 정교한 추론 제어와 성능 균형을 확보한다.

이번 협력은 RISC-V CPU가 데이터센터급 AI 추론 시스템에 직접 적용되는 사례로, d-매트릭스의 아키텍처와 안데스의 CPU IP 및 소프트웨어 생태계가 결합된 형태다. 양사는 이 조합을 통해 생성AI 추론 처리에서 성능 대비 전력 효율과 총소유비용(TCO)을 개선할 수 있는 구조를 제시하고 있다.