AI 붐으로 인해 GPU 서버가 세계에서 가장 전략적인 상품 중 하나가 되었다. 급증하는 수요가 기존 퍼블릭 클라우드의 용량을 초과하면서, 거대 기술 기업과 AI 스타트업 들은 AI 개발에 필수적인 하드웨어를 독립적으로 확보하기 위해 수십억 달러를 지출하고 있다. 업계 표준 장기 계약과 신뢰할 수 없는 인프라로 인해 용량과 이중화를 보장하기 위한 과도한 프로비저닝이 발생하여 광범위한 액세스가 더욱 줄어들고 있다. GPU 컴퓨팅 소유권에 대한 이러한 경쟁은 중요한 문제와 기회를 가리고 있다. AI 개발의 고유한 컴퓨팅 요구사항으로 인해 기존 GPU가 크게 활용되지 않고 있다는 점이다.

이에 신생 클라우드 제공업체인 파운드리(Foundry)가 GPU 컴퓨팅을 위한 실시간 시장 및 오케스트레이션 엔진으로, AI 구축과 배포에 필요한 인프라에 대한 접근을 단순화하는 ‘파운드리 클라우드 플랫폼(Foundry Cloud Platform)’을 출시했다. 파운드리의 플랫폼은 운영 복잡성을 줄이고 컴퓨팅 비용 효율성을 최대 6배까지 개선한다.

파운드리의 창업자이자 CEO인 재러드 퀸시 데이비스(Jared Quincy Davis)는 “현재의 GPU 컴퓨팅 시장은 역사상 가장 비효율적인 상품 시장 중 하나이며, 사회에 이로운 중요한 AI 혁신을 직접적으로 제한하고 있다.”라면서 “대부분의 AI 연구 개발팀들은 자신들의 워크로드에 적합한 저렴하고 신뢰할 수 있는 컴퓨팅에 접근하는 데 어려움을 겪고 있는 반면, 자금이 풍부한 조직들은 최대 용량까지 거의 활용하지 않는 장기 GPU 예약을 구매해야 한다. 파운드리 클라우드 플랫폼은 유휴 컴퓨팅 용량을 집계하고 재분배함으로써 GPU 투자 수익을 개선하면서 더 빠른 혁신을 가능하게 한다.”라고 말했다.

비용 효율적인 맞춤형 GPU 컴퓨팅 활용법

파운드리 클라우드 플랫폼은 컴퓨팅을 단일의 동적 가격 책정 풀로 집계하여 서로 다른 AI 워크로드의 특정하고 고유한 요구사항에 맞춰 최적화된 두 가지 방식으로 GPU 용량을 제공한다.

① 재판매 가능한 예약 인스턴스

파운드리의 GPU 가상 머신 풀에서 단기 용량을 자체적으로 예약할 수 있다. 고정된 장기 계약에 대해 비용을 지불하는 대신, 고객들은 최소 3시간 동안 풀에서 상호 연결된 클러스터를 예약하여 예측 가능한 워크로드에 대한 컴퓨팅을 보장할 수 있다. 고객들은 예약에서 발생하는 유휴 용량을 재판매함으로써 비용 효율성을 더욱 높일 수 있다.

예를 들어, 고객이 128개의 엔비디아 H100을 예약하고 16개를 ‘힐링 버퍼’ 노드로 설정한 경우, 이 16개 노드를 시장에 일시적으로 재등록할 수 있으며, 고객이 이를 회수하거나 초기 예약 기간이 종료될 때까지 크레딧을 생성할 수 있다. 예약 사용은 훈련 실행과 같은 사전 계획된 워크로드와 검증 및 디버깅과 같은 중요한 일상적 개발자 작업에 최적화되어 있다.

② 스팟 인스턴스

플랫폼에서 예약되지 않고 재등록된 모든 컴퓨팅은 사용자가 모델 추론, 하이퍼파라미터 튜닝, 미세 조정과 같은 중단 허용 워크로드에 대해 입찰할 수 있는 스팟 인스턴스로 제공된다.

파운드리 클라우드 플랫폼은 경매 이론을 사용하여 실시간 공급과 수요에 기반한 예약 및 스팟 컴퓨팅에 대한 시장 가격을 설정한다. 가격이 너무 높아질 때마다 파운드리는 플랫폼의 전체 GPU 용량을 늘려 시장을 안정화한다.

이 플랫폼은 또한 쿠버네티스 워크로드 오케스트레이션을 제공한다. 이는 프로그래밍 방식으로 예약 및 스팟 인스턴스를 관리되는 쿠버네티스 클러스터에 추가해 수동 스케줄링을 제거한다. 파운드리 클라우드 플랫폼을 통해 쿠버네티스 클러스터를 활용하면 AI 개발팀이 가격 대비 성능을 최적화하고 트래픽 급증 시 용량을 신속하게 수평 확장하여 추론 지연 시간을 최소화할 수 있다.

파운드리는 고객 데이터를 최대한 보호하기 위해 최고 수준의 보안 및 규정 준수 표준을 충족하도록 플랫폼을 구축하고 있으며, 올해 초 SOC 2 Type II 인증을 획득했다.