AI를 도입하려는 기업들이 늘어나고 있지만, 이를 뒷받침할 인프라 선택은 여전히 난제다. 특히 비용과 보안, 성능, 유연성 등 다양한 요소를 동시에 고려해야 하는 중소기업(SMB)의 경우, 클라우드 인프라는 종종 이러한 균형을 만족시키지 못하고 있다. 기업들이 AI 프로젝트를 실제 서비스로 연결하기 위해서는 단순한 모델 선택을 넘어, 어떤 인프라 환경이 적합한지를 결정하는 전략적 판단이 요구된다. 

기술 성능 및 벤치마크 평가 전문 기업 프린서플드 테크놀로지스(Principled Technologies, 이하 ‘PT’)가 보고서 ‘온프레미스 vs 퍼블릭 클라우드: AI 전략을 위한 인프라 비교(On-premises vs. Public Cloud: Infrastructure Considerations for AI Strategy)’를 발표했다. 이 보고서는 퍼블릭 클라우드 대비 온프레미스 방식의 AI 인프라가 제공할 수 있는 이점을 상세히 분석했으며, AMD EPYC 프로세서를 탑재한 델 파워에지(Dell PowerEdge) 서버를 활용한 온프레미스 인프라를 중심으로, 중소기업의 AI 전략 수립에 실질적인 가이드를 제공한다.

비용 예측성과 보안 및 컴플라이언스 대응

온프레미스 환경은 초기 비용은 존재하지만 지출 구조를 예측할 수 있어 클라우드 대비 장기적으로 경제적일 수 있다. 많은 클라우드 사용자가 계획보다 많은 비용을 지출하고 있으며, 온프레미스는 예측 가능한 인프라 운영이 가능하다. 실제로 2023년 IT 시장분석 및 컨설팅 기관 IDC 조사에 따르면 클라우드 구매자의 절반이 예산을 초과했고, 2024년에도 60% 이상이 동일한 상황을 예상했다. 

또한 클라우드 리패트리에이션(Cloud Repatriation, 클라우드에서 온프레미스로의 이전)이 활발히 이뤄지고 있으며, 많은 기업이 예측 불가능한 클라우드 과금 체계를 회피하기 위해 온프레미스를 선택하고 있다. AWS, 애저(Azure), 구글 클라우드 모두 데이터 이관 시 이그레스(egress) 요금 및 계정 해지 조건 등 예상치 못한 비용과 절차가 발생할 수 있다.

AI 워크로드의 보안 통제 측면에서도 온프레미스가 유리하다. 데이터가 사내에 존재하면 사용 권한 및 애플리케이션 접근을 전적으로 기업이 관리할 수 있으며, 클라우드처럼 외부 API를 통해 인터넷에 노출되는 위험을 줄일 수 있다. 특히 LLM(대규모 언어 모델) 학습 등 내부 데이터 활용이 많은 AI 환경에서는 보안 격리 및 권한 통제의 복잡성이 높아지는데, 이는 온프레미스에서 상대적으로 쉽게 해결될 수 있다.

성능에서도 우위

AI 프로젝트의 성공을 좌우하는 핵심 요인은 ‘성능’이다. 응답 지연(Latency) 최소화는 특히 챗봇, 자율 시스템, 에지 컴퓨팅 등 실시간성이 중요한 AI 워크로드에서 필수적이며, 온프레미스는 데이터와 연산을 물리적으로 밀접하게 배치할 수 있어 지연을 줄이는 데 유리하다. 

또한 클라우드는 클라우드 인스턴스가 표준화된 리소스 묶음으로 제공되기 때문에 특정 자원만 유연하게 조정하기 어렵다. 예를 들어 GPU만 추가하고 싶어도 vCPU나 메모리 등 다른 자원도 함께 변경해야 하며, 이는 비용 상승으로 이어진다. 이에 반해 온프레미스 환경은 필요한 자원만 선택적으로 구성할 수 있으며, 하드웨어 업그레이드도 유연하게 진행 가능하다.

AI 워크로드 적용 사례

PT가 진행한 다양한 실제 테스트 결과에 따르면, AMD EPYC 9534 프로세서를 탑재한 델 파워에지(Dell PowerEdge) R6615는 내부 챗봇 환경에서 최대 9명의 동시 사용자에게 5초 미만 응답 속도를 제공했고, 엔비디아(NVIDIA) L4 GPU 추가 시 최대 23명까지 확장 가능했다. 또한 파워에지 R7615 서버는 LLM 훈련용 멀티 GPU·멀티 노드 테스트에서 높은 대역폭과 낮은 지연율을 기록했고, XE9680 서버는 AMD 인스팅트(Instinct) MI300X 가속기를 기반으로 대규모 라마 3.1 모델에서 최대 136명의 동시 사용자 응답 성능을 보여줬다.

이번 보고서는 퍼블릭 클라우드 인프라의 한계를 인식한 중소기업들이 보다 예측 가능하고 보안 수준이 높은 AI 인프라를 구축할 수 있는 실질적 근거를 제공한다.