AI 모델의 대형화와 생성AI 에이전트 기술 확산에 따라, 고성능 추론 인프라와 특화된 AI 클라우드 플랫폼에 대한 수요가 급격히 증가하고 있다. 특히 LLM과 멀티모달 모델의 실시간 응답성과 전력 효율을 동시에 확보하려는 기업 및 연구소들은 최신 GPU 기반 아키텍처에 대한 신속한 접근성을 요구하고 있다. 이러한 배경 속에서 AI 하이퍼스케일러 기업들은 차세대 GPU 플랫폼 도입 경쟁을 본격화하고 있다.

AI 클라우드 전문 기업 코어위브(CoreWeave)가 엔비디아의 최신 GPU 플랫폼 ‘GB300 NVL72’를 자사 클라우드에 구축했다고 발표했다. 이번 구축은 추론 및 에이전트 워크로드에 최적화된 GB300 NVL72의 최초 상용화 사례로, AI 인프라 시장에서 코어위브의 선도적 기술 역량을 보여주는 성과로 평가된다.

엔비디아 GB300 NVL72는 이전 세대인 엔비디아 호퍼(Hopper) 아키텍처 대비 사용자 응답성을 최대 10배, 와트당 처리량을 5배, 추론 모델 출력량을 50배 향상시킨 차세대 고성능 추론 플랫폼이다. 이 시스템은 고도로 복잡한 생성AI 모델의 실시간 추론과 대규모 에이전트 처리에 최적화되어 있으며, 전력 효율과 처리량을 동시에 달성하는 구조로 설계되었다.

맞춤형 클라우드 소프트웨어 스택과 긴밀한 통합 구조

이번 엔비디아 GB300 NVL72의 구축은 코어위브의 클라우드 네이티브 소프트웨어 스택과 완전하게 통합되었다. 코어위브는 자체 ‘코어위브 쿠퍼네티스 서비스(CoreWeave Kubernetes Service, 이하 CKS)’를 비롯해 ‘SUNK(Slurm on Kubernetes)’, 심층적 관측 기능과 하드웨어 수명 주기를 통합 관리하는 ‘RLCC(Rack LifeCycle Controller)’ 등을 운영하고 있으며, 이를 통해 대규모 AI 워크로드의 최적화 및 운영 효율성을 극대화하고 있다.

또한 코어위브는 최근 인수한 머신러닝 개발자 플랫폼 ‘웨이츠 앤드 바이어시스(Weights & Biases)’와도 통합을 완료했다. 하드웨어 수준의 데이터와 클러스터 상태 이벤트가 이 플랫폼을 통해 실시간으로 수집되고 분석되며, 개발자는 이를 기반으로 학습과 추론 과정을 정밀하게 조정할 수 있다.

협력 생태계 기반으로 신속한 구축과 확산 추진

코어위브는 델, 스위치(Switch), 버티브(Vertiv)와 협력하여 GB300 NVL72 초기 구축을 완료했다. 이번 협력을 통해 최신 GPU 플랫폼을 코어위브 클라우드에 신속하게 적용하고, 전 세계적으로 해당 인프라의 구축 속도와 효율성을 높이게 되었다. 이는 AI 인프라 시장에서 코어위브의 하드웨어-소프트웨어 통합 능력을 입증하는 사례로 작용한다.

GB300 NVL72는 코어위브의 기존 ‘블랙웰 제품군’에 포함되며, 앞서 상용화된 엔비디아 HGX B200 및 GB200 NVL72 시스템과 함께 차세대 AI 학습·추론 인프라로 확장 운영된다. 코어위브는 2024년 NVIDIA H200 GPU의 최초 제공자 중 하나였으며, GB200 NVL72를 일반에 최초로 공개한 AI 클라우드 공급업체이기도 하다.

2025년 6월, 코어위브는 엔비디아, IBM과 협력하여 2,500개의 엔비디아 GB200 그레이스 블랙웰(Grace Blackwell) 슈퍼칩을 사용한 MLPerf Training v5.0 벤치마크를 제출했다. 이를 통해 405B 규모의 복잡한 모델 ‘Llama 3.1’을 단 27.3분 만에 학습 완료하며 업계 최단 기록을 달성했다.

이 성과는 대규모 AI 모델의 학습 속도와 확장성 측면에서 새로운 기준을 제시했으며, 독립 벤치마크인 세미애널리시스(SemiAnalysis)의 GPU 클라우드 클러스터 맥스(Cloud ClusterMAX) 평가 시스템에서 코어위브는 유일하게 플래티넘 등급을 획득한 하이퍼스케일러로 등재되었다. 이는 기술력과 인프라 품질 측면에서 코어위브가 업계 최고 수준의 역량을 확보하고 있음을 보여준다.

코어위브는 향후 엔비디아 GB300 NVL72 인프라의 글로벌 확장을 지속적으로 추진할 계획이며, AI 추론 중심 워크로드와 멀티 에이전트 환경을 위한 전문 클라우드 제공업체로서 기술적 우위를 강화할 예정이다.

코어위브의 공동 창립자이자 최고기술책임자(CTO) 피터 살란키(Peter Salanki)는 “코어위브는 차세대 AI 모델 학습에 필요한 최첨단 클라우드 역량을 구축하여 AI 개발의 경계를 더욱 넓히기 위해 끊임없이 노력하고 있다.”라며, “이 혁신적인 플랫폼을 최초로 구축하고 혁신가들이 차세대 AI를 준비할 수 있도록 지원하게 되어 자랑스럽다.”고 밝혔다.