엔비디아가 아마존웹서비스(Amazon Web Services, 이하 AWS)와 협력해 차세대 머신러닝 워크로드용 아마존 EC2 캐퍼시티 블록(Amazon Elastic Compute Cloud Capacity Blocks)에 엔비디아 H100 텐서 코어 GPU를 탑재한다고 밝혔다.

이번 협력을 통해 고객들은 아마존 EC2로 고성능 머신러닝 워크로드용 아마존 EC2 울트라클러스터(UltraCluster)에 구축된 수백 개의 엔비디아 GPU를 사용할 수 있게 됐다.

기업들이 생성AI에 대한 관심이 증폭되면서 GPU에 대한 수요가 공급을 능가하고 있다. 따라서, 최신 머신러닝 기술을 활용하고자 하는 고객, 특히 도입 단계에 따라 필요한 용량이 변동하는 고객은 머신러닝 워크로드를 실행하는 데 필요한 GPU 클러스터에 액세스하는 데 어려움을 겪을 수 있다. 고객들은 장기 계약을 맺지 않고도 보다 유연하고 예측 가능하도록 필요한 GPU 용량을 확보할 방법을 모색하고 있다.

머신러닝용 아마존 EC2 캐퍼시티 블록은 새로운 소비형 아마존 EC2 사용 모델로, GPU 인스턴스에 쉽게 액세스해 머신러닝과 생성AI 모델을 훈련하고 배포할 수 있도록 함으로써 머신러닝의 대중화에 앞장서고 있다. EC2 캐퍼시티 블록을 통해 고객은 고성능 머신러닝 워크로드로 설계된 EC2 울트라클러스터에 배치된 수백 개의 엔비디아 GPU를 예약할 수 있다. 페타비트(peta-bit) 규모의 논블로킹 네트워크에서 EFA(Elastic, Fabric Adapter) 네트워킹을 사용해 아마존 EC2에서 사용 가능한 최고의 네트워크 성능을 제공할 수 있다.

EC2 캐퍼시티 블록은 최대 8주 전에 미리 확보할 수 있으며, 예약 가능한 총 일수는 1일 단위로 1~14일이다. EC2 캐퍼시티 블록은 1~64개 인스턴스(512개 GPU)의 클러스터 크기로 엔비디아 H100 텐서 코어 GPU 기반의 아마존 EC2 P5 인스턴스(EC2 P5 Instances)에서 사용할 수 있다.

이를 통해 고객은 광범위한 머신러닝 워크로드를 유연하게 실행하고 필요한 GPU 시간만큼만 비용을 지불할 수 있다. EC2 캐퍼시티 블록은 고객이 중요한 머신러닝 프로젝트에 필요한 GPU 컴퓨팅 용량에 안정적이고 예측 가능하며 중단 없이 액세스할 수 있도록 지원한다.

EC2 캐퍼시티 블록을 통해 단 몇 번의 클릭만으로 GPU 인스턴스를 확보하고 자신 있게 머신러닝 개발을 계획할 수 있다. EC2 캐퍼시티 블록이 예약되면, 고객은 필요할 때 GPU 용량을 확보할 수 있다는 것을 알고 확실하게 머신러닝 워크로드 배포를 계획할 수 있다.

더불어 EC2 캐퍼시티 블록은 머신러닝 모델을 훈련하고 미세 조정과 짧은 실험, 향후 머신러닝 애플리케이션에 대한 수요 급증에 대비하기 위해 용량 보장이 필요할 때 사용될 수 있다. 또는 비즈니스 핵심 애플리케이션, 규제 요구 사항 또는 재해 복구 등 컴퓨팅 용량 보장이 필요한 다른 모든 워크로드 유형에 대해 온디맨드 용량 예약(On-Demand Capacity Reservations)을 계속 사용할 수 있다.