생성AI는 산업을 빠르게 변화시키고 있으며, 점점 더 복잡해지는 모델을 효율적으로 확장하기 위해 안전한 고성능 추론 솔루션에 대한 수요를 촉진하고 있다.

AI 컴퓨팅 기업 엔비디아(NVDIA)가 지난 4일(현지시간)에 아마존 웹 서비스(Amazon Web Services, AWS)가 개최한 연례 ‘AWS 리인벤트(re:Invent)’ 콘퍼런스에서 주요 AWS AI 서비스 전반에 걸쳐 엔비디아 NIM 마이크로서비스를 확장한다고 발표했다.

이번 발표로, NIM 마이크로서비스는 이제 AWS 마켓플레이스(Marketplace), 아마존 베드록 마켓플레이스(Bedrock Marketplace), 아마존 세이지메이커 점프스타트(SageMaker JumpStart)에서 직접 제공된다.

엔비디아 NIM은 AWS 마켓플레이스에서 제공되는 엔비디아 AI 엔터프라이즈(Enterprise) 소프트웨어 플랫폼의 일부이다. 이는 개발자에게 클라우드, 데이터센터, 워크스테이션 전반에서 고성능 엔터프라이즈급 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 사용하기 쉬운 마이크로서비스 세트를 제공한다.

이 사전 구축된 컨테이너는 엔비디아 트리톤 추론 서버(Triton Inference Server), 엔비디아 텐서RT(TensorRT), 엔비디아 텐서RT-LLM, 파이토치(PyTorch)와 같은 강력한 추론 엔진을 기반으로 구축됐다. 아울러 오픈 소스 커뮤니티 모델부터 엔비디아 AI 파운데이션(AI Foundation) 모델, 맞춤형 모델까지 다양한 AI 모델을 지원한다.

NIM 마이크로서비스는 아마존 엘라스틱 컴퓨트 클라우드(Elastic Compute Cloud, EC2), 아마존 엘라스틱 쿠버네티스 서비스(Elastic Kubernetes Service, EKS), 아마존 세이지메이커를 비롯한 다양한 AWS 서비스에 배포할 수 있다.

현재 AWS에서 직접 사용할 수 있는 NIM 마이크로서비스는 ▲엔비디아 네모트론-4 ▲라마 3.1 8B-인스트럭트(8B-Instruct) ▲라마 3.1 70B-인스트럭트 ▲믹스트랄 8x7B 인스트럭트 v0.1 총 4개다.

엔비디아 네모트론-4은 실제 데이터와 유사한 다양한 합성 데이터를 생성하도록 설계된 LLM으로, 아마존 베드록 마켓플레이스, 아마존 세이지메이커 점프스타트, AWS 마켓플레이스에서 지원받을 수 있다.

라마 3.1 8B-인스트럭트는 80억 개의 파라미터를 가진 이 다국어 LLM은 언어 이해, 추론, 텍스트 생성을 위해 사전 훈련되고, 지침이 조정됐다. AWS 마켓플레이스에서 사용할 수 있다.

라마 3.1 70B-인스트럭트는 700억 개의 파라미터로 사전 훈련되고 지침이 조정되어 다국어에 최적화됐으며, 마찬가지로 AWS 마켓플레이스에서 이용 가능하다.

믹스트랄 8x7B 인스트럭트 v0.1는 고품질 희소 전문가 혼합(sparse mixture of experts) 모델은 개방형 가중치를 사용해 지침을 따르고 요청을 완료하며 창의적인 텍스트 형식을 생성할 수 있으며, AWS 마켓플레이스에서 사용할 수 있다.

엔비디아 관계자는 "개발자는 고유한 필요와 요구사항에 따라 AWS에 엔비디아 NIM 마이크로서비스를 배포할 수 있다. "라며 "다양한 AWS 서비스 전반에서 엔비디아에 최적화된 추론 컨테이너로 고성능 AI를 구현할 수 있다."라고 전했다.