전 세계적으로 디지털 전환과 클라우드 확산이 가속화되면서 서버 시장이 빠르게 성장하고 있다. 특히 국내 시장에서도 데이터센터 확충, 고성능 인프라 수요 증가, 기업들의 IT 투자 재개 등 복합적인 요인이 맞물리며 서버 수요가 꾸준히 확대되는 추세다. 최근에는 AI 연산을 위한 고성능 GPU 서버뿐 아니라, 전통적인 x86 서버와 ARM 기반 서버까지 다양한 아키텍처의 수요가 공존하며 시장 구조에 변화가 나타나고 있다.

IT 시장분석 및 컨설팅 기관 한국IDC가 ‘국내 서버 컴핏 보고서’를 4일 발표했다.

2024년 국내 서버 시장은 전년 대비 72.7%의 전례없는 성장으로 5조 1천 425억원의 매출을 기록했다. 성장의 가장 큰 원동력은 2023년에 이어 2024년에도 세 자리수의 성장을 기록한 GPU 서버다. 특히 ASP(제품 하나당 평균 판매 가격)이 높은 8 GPU 서버의 성장으로, 2023년 국내 서버 시장의 26.2%에 이르던 GPU 서버 시장은 2024년 45%까지 성장했다. 

GPU 뿐만 아니라 non-GPU 서버 역시 전년 대비 29.6% 성장했다. 팬데믹 이후 하드웨어 공급이 안정화되며 제조 및 디지털 서비스 사업자의 지연되었던 랙서버 도입이 회복됐 때문이다.

AI 수요에 따른 GPU 중심 구조 전환

국내에서는 생성AI의 급격한 확산으로 인해 대규모 AI 모델의 학습 및 추론에 최적화된 GPU 서버에 대한 수요가 빠르게 증가하고 있다. 이제는 병렬 연산에 강한 GPU가 AI 연산의 핵심으로 떠오르며 서버 시장의 주도권이 CPU에서 GPU로 전환되는 추세다. 이러한 변화 속에서 엔비디아(NVIDIA)는 고성능 GPU 하드웨어뿐만 아니라 ‘쿠다(CUDA)’와 AI 플랫폼 등 소프트웨어 생태계까지 아우르는 독보적인 기술력으로 사실상 독점하고 있으며, 기업들은 이에 맞춰 AI 인프라를 엔비디아 GPU 중심으로 설계하고 있다. 

이처럼 AI 중심의 컴퓨팅 패러다임 변화는 서버 산업 전반의 구조를 재편하고 있으며, GPU는 새로운 기술 시대의 핵심 자산으로 부상하고 있는 것으로 보인다. 

x86 서버 주류화, ARM 서버도 성장세

한편, 국내 서버 시장의 90% 이상을 차지하는 x86 서버로 전환이 확대되고 있는 가운데 2024년 국내 x86 서버 시장은 전년 대비 75.6% 성장한 4조 7천 215억원으로 집계됐다. 2024년 non-x86 서버 시장 역시 기존 유닉스(Unix) 서버 보다는 글로벌 하이퍼스케일러의 ARM 서버 도입이 증가해 전년 대비 45.7% 성장한 4천 210억원을 기록했다. 

x86 서버는 기술 발전과 함께 가격 대비 성능이 향상됐을 뿐만 아니라 가상화 및 클라우드 확산으로 지속적인 성장이 이어지고 있다. 현재 서버 시장의 주류 아키텍처로 자리 잡으면서, 엔터프라이즈 인프라 구성에서 중심적인 역할을 하고 있다.

하지만 여전히 금융권의 계정계 혹은 공공 및 국방 등 민감한 시스템에서는 non-x86 서버 도입이 유지되고 있다. 이들 시스템은 전환에 따른 기술적 리스크, 복잡한 마이그레이션 과정, 장기간 축적된 노하우와 운영 경험 등을 이유로 쉽게 대체되지 않고 있는 상황이다. 이러한 양상은 앞으로도 일정 기간 지속될 것으로 예상된다.

한국IDC 엔터프라이즈 인프라 시장 리서치 담당 김민철 수석연구원은 “최근 많은 기업의 IT 예산이 AI 및 생성AI 인프라 확충을 위한 GPU 도입에 집중되고 있지만 이에 못지 않게 중요한 것은 기존 IT 인프라의 지속적인 관리와 투자”라며,“특히 노후화된 장비의 교체, 운영 중인 시스템에 대한 기술 지원 및 안정성 확보는 전체 IT 환경의 신뢰성과 연속성을 유지하는 데 핵심적인 요소”라고 말했다.

AI 도입이 미래 경쟁력을 위한 전략적 선택이라면, 기존 인프라에 대한 투자는 현재 업무의 안정적 수행을 위한 기반이라 할 수 있다. 따라서 AI 중심의 예산 편성과 더불어, 기존 장비에 대한 점검과 교체, 유지보수에도 균형 잡힌 투자가 병행돼야 한다.