AI 컴퓨팅 기술 기업인 엔비디아가 엔비디아 H100 텐서 코어 GPU(NVIDIA H100 Tensor Core GPU)가 업계 그룹 AI 훈련에 대한 최신 테스트에서 엔터프라이즈 AI 워크로드 전반에 걸쳐 세계 기록을 세웠다고 밝혔다.

MLPerf는 AI 성능 측정을 위한 업계 표준으로, 컴퓨터 비전, 자연어 처리, 추천 시스템, 강화 학습 등 오늘날 가장 많이 사용되는 AI 워크로드를 중심으로 벤치마크가 이뤄지기 때문에 사용자가 이 정보를 기반으로 구매 결정을 내릴 수 있다. 또한 테스트는 동료 심사되므로 사용자는 결과를 신뢰할 수 있다.

이번 MLPerf 벤치마크에서 엔비디아 A100 텐서 코어 GPU는 MLPerf 훈련을 위해 처음 제출됐을 때, A100 GPU보다 최대 6.7배 더 빨랐다 호퍼(Hopper)라고 불리는 H100 GPU는 MLPerf 훈련에 처음 제출됐을 때 이전 세대 GPU보다 최대 6.7배 더 높은 성능을 제공했다. 더불어, 오늘날의 A100 GPU는 소프트웨어의 발전 덕분에 초기에 비해 2.5배 더 높은 성능을 제공하고 있다.

부분적으로는 트랜스포머 엔진(Transformer Engine) 덕분에 호퍼(Hopper)는 자연어 처리를 위해 인기 있는 BERT 모델을 훈련하는 데 탁월한 성능을 제공했다. 이는 MLPerf AI 모델 중 가장 크고 많은 성능이 요구되는 모델 중 하나다.

별도의 MLPerf HPC 벤치마크 제품군에서 A100 GPU는 슈퍼컴퓨터에서 실행되는 까다로운 과학적 워크로드에서의 AI 모델 훈련을 위한 모든 테스트에서 좋은 성과를 보여줬다. 예를 들어 A100 GPU는 천체 물리학에 대한 코스모플로우(CosmoFlow) 테스트에서 2년 전 1차 MLPerf HPC에서 달성한 최고 결과보다 9배 빠르게 AI 모델을 훈련했다. 동일한 작업 부하에서 A100은 다른 제품보다 칩당 최대 66배 더 많은 처리량을 제공했다.

아시아, 유럽, 미국의 슈퍼컴퓨터 센터가 MLPerf HPC 테스트의 최신 라운드에 참가했으며, 딥캠(DeepCAM) 벤치마크에서 첫 선을 보인 델 테크놀로지스(Dell Technologies)는 엔비디아 A100 GPU를 사용해 좋은 결과를 보여줬다.

엔터프라이즈 AI 훈련 벤치마크에서는 마이크로소프트 애저(Microsoft Azure) 클라우드 서비스를 포함한 총 11개의 회사가 엔비디아 A100과 A30, A40 GPU를 사용해 제출했다. 에이수스(ASUS), 델 테크놀로지스, 후지쯔(Fujitsu), 기가바이트(GIGABYTE), HPE(Hewlett Packard Enterprise), 레노버(Lenovo), 슈퍼마이크로(Supermicro)를 포함한 시스템 제조업체가 총 9개의 엔비디아 인증 시스템을 사용해 제출했다.

NVIDIA AI 플랫폼은 칩에서부터 시스템, 소프트웨어, 서비스에 이르는 풀 스택을 제공한다. 이를 통해 시간이 지남에 따라 지속적인 성능 향상을 보인다. 예를 들어, 최신 HPC 테스트의 제출물은 기술 문서에 설명된 소프트웨어 최적화와 기술군을 적용했다. 이로 인해 하나의 벤치마크에서 런타임을 101분에서 22분으로, 약 5배가량 단축했다.

두 번째 문서에서는 엔비디아가 엔터프라이즈 AI 벤치마크를 위해 플랫폼을 최적화한 방법을 설명한다. 예를 들어, 엔비디아 DALI를 사용해 컴퓨터 비전 벤치마크용 데이터를 효율적으로 로드하고 사전 처리하는 방법에 대해 설명했다.

테스트에 사용된 모든 소프트웨어는 MLPerf 저장소에서 사용할 수 있으므로 누구나 세계적 수준의 결과를 얻을 수 있다. 엔비디아는 GPU 애플리케이션용 소프트웨어 허브인 NGC에 지속적으로 최적화를 추가하고 있다