AI 컴퓨팅 기업 엔비디아가 8월 25일에서 27일까지 미국 스탠포드 대학교에서 열린 ‘핫칩스 2024’에서 엔비디아 블랙웰 플랫폼 발전 사항, 데이터센터용 액체 냉각 기술, 칩 설계용 AI 에이전트에 대한 연구를 발표했다.

‘핫 칩스’는 반도체와 하드웨어 설계 분야에서 고성능 마이크로프로세서, 그래픽 프로세서, 칩 설계 및 하드웨어 아키텍처와 관련된 기술과 혁신을 발표하고 국제 학술회의이다.

이 행사에서 엔비디아는 블랙웰이 여러 칩, 시스템 그리고 엔비디아 쿠다(CUDA) 소프트웨어를 결합해 여러 사용 사례, 산업, 국가 전반에 걸쳐 차세대 AI를 지원하는 법과 72개의 블랙웰 GPU와 36개의 그레이스(Grace) CPU를 연결하는 멀티 노드, 수냉식, 랙 스케일 솔루션인 엔비디아 GB200 NVL72가 AI 시스템 설계의 기준을 높이는 방법을 소개했다.

또한 NV링크(NVLink) 인터커넥트 기술이 올투올(all-to-all) GPU 통신을 제공해 생성형 AI를 위한 기록적으로 높은 처리량과 짧은 지연 시간의 추론을 구현하는 방법과 엔비디아 퀘이사 양자화 시스템(Quasar Quantization System)을 활용한 AI 컴퓨팅 가속화법, 그리고 AI용 프로세서를 구축하는 데 도움이 되는 AI 모델 구축법을 공유했다.

블랙웰 플랫폼에 들어간 에너지 효율 기술

아제이 티루말라(Ajay Tirumala) 엔비디아 아키텍처 담당 이사와 레이몬드 웡(Raymond Wong)이 ‘엔비디아 블랙웰’ 플랫폼의 에너지 효율 향상 기술과 AI 활용 가속화 컴퓨팅 성능에 대해 소개했다.  그 예로 멀티 노드 엔비디아 GB200 NVL72 솔루션을 설명했다. LLM 추론에는 지연 시간이 짧고 처리량이 높은 토큰 생성이 필요하다. GB200 NVL72는 LLM 워크로드에 최대 30배 빠른 추론을 제공하는 통합 시스템으로 작동해 수조 개의 파라미터 모델을 실시간으로 실행할 수 있다.

또한 티루말라와 웡은 알고리듬 혁신, 엔비디아 소프트웨어 라이브러리와 도구, 블랙웰의 2세대 트랜스포머 엔진을 결합한 엔비디아 퀘이사 양자화 시스템의 정확도에 대해 논의하고 LLM과 시각 생성AI  사용 사례도 공유했다.

데이터센터 냉각기술알리 헤이다리(Ali Heydari) 엔비디아 데이터센터 냉각 및 인프라 담당 이사는 공냉식과 액체 냉각을 결합한 하이브리드 냉각 데이터센터에 관한 설계와 효율적이고 지속 가능한 솔루션을 제시했다.

액체 냉각 기술은 공냉 방식보다 열을 더 효율적으로 분산시켜 대규모 워크로드를 처리 중에도 컴퓨팅 시스템의 온도를 안정적으로 유지할 수 있다. 또한, 액체 냉각용 장비는 공냉식 냉각 시스템보다 공간을 효율적으로 사용하고, 전력 소비를 줄여 데이터센터 내에 더 많은 서버 랙을 설치해 컴퓨팅 성능을 높일 수 있다.

이 기술의 일부는 기존 공냉식 데이터센터에 쉽게 통합될 수 있게 설계된 액체 냉각 장치를 제공해, 기존 랙에 액체 냉각 기능을 빠르게 추가할 수 있다. 그 밖에, 냉각 분배 장치를 활용하거나 침수 냉각 탱크에 서버를 완전히 담그는 방식으로 직접 칩 액체 냉각에 대한 배관을 설치하는 옵션도 제공된다. 이 방식은 초기 투자 비용이 더 많이 들지만, 장기적으로 에너지 소비와 운영 비용을 크게 절감할 수 있다.

알리 헤이다리 이사는 엔비디아 팀이 미국 에너지부의 ‘쿨러칩스’ 프로그램에서 수행한 작업도 공유했다. 이 프로젝트에서 연구 팀은 ‘엔비디아 옴니버스(Omniverse)’ 플랫폼을 활용해 데이터센터 설계 최적화에 대한 에너지 소비와 냉각 효율 모델링하는 물리 정보 기반 디지털 트윈 생성을 지원한다.

프로세서 설계 효율 높이는 AI 시스템

마크 렌(Mark Ren) 엔비디아 설계 자동화 연구 담당 이사는 프로세서 설계와 개발에서 AI 모델과 활용법과 칩 설계 관련 에이전트 기반 AI 시스템을 설명했다.

첨단 프로세서를 개발하는 엔지니어들은 실리콘 조각에 최대한 많은 컴퓨팅 성능을 탑재하기 위해 물리적 한계를 시험하며 작업한다. 이들의 작업을 지원하는 AI 모델은 이 설계 품질과 생산성을 개선하고, 수작업 프로세스의 효율성을 높이며, 많은 시간을 요구하는 작업을 자동화한다. 또한, 이 모델에는 엔지니어가 설계를 빠르게 분석 및 개선에 도움이 되는 예측, 최적화 도구와 질문에 대한 답변, 코드 생성, 설계 문제 디버깅 등을 지원하는 LLM이 포함된다.

AI 에이전트는 LLM으로 구동돼 자율적으로 작업을 완료하도록 지시할 수 있어 다양한 산업에서의 애플리케이션을 활용할 수 있다. 이러한 기술을 바탕으로 엔비디아 연구원들은 마이크로프로세서 설계 분야에서 에이전트 기반 시스템을 개발하고 있다. 이 시스템은 맞춤형 회로 설계 도구를 사용해 추론하고 결정을 내릴 수 있고, 설계자와 상호 작용하며 인간과 에이전트 경험의 데이터베이스로부터 학습할 수 있다.