AI와 5G 기술 융합 가속화로 디지털 인프라가 재정의되고 있다. 고성능 컴퓨팅과 효율적인 네트워크 운영이 결합된 차세대 인프라는 지역 맞춤형 AI 서비스를 할 수 있게 돼 새로운 비즈니스 모델을 창출하며, 통신 산업의 패러다임을 변화시키고 있다.

AI 컴퓨팅 엔비디아가 ‘엔비디아 AI 서밋 재팬’에서 소프트뱅크와 협력해 일본의 소버린 AI 이니셔티브를 가속화하고 글로벌 기술 리더십을 강화한다 13일 밝혔다.

양사는 ‘엔비디아 AI 에리얼’ 가속 컴퓨팅 플랫폼을 활용해 AI와 5G 통신 네트워크를 결합한 시범 서비스에 성공적으로 구현해 통신 사업자에게 AI 서비스 가능성을 열었다.

또한, ‘AI 엔터프라이즈 소프트웨어’를 기반으로 로컬 보안 AI 컴퓨팅 수요를 충족할 AI 마켓플레이스를 구축해 AI 훈련과 에지 AI 추론을 지원하는 서비스로 일본의 산업, 기업, 소비자 등에게 AI 서비스의 활용을 촉진하고 새로운 비즈니스 기회를 확대할 방침이다.

소프트뱅크, ‘엔비디아 블랙웰 플랫폼’으로 AI 슈퍼컴퓨터 구축

소프트뱅크는 AI 컴퓨팅 시스템인 ‘엔비디아 DGX B200’을 공급받아 슈퍼컴퓨터의 빌딩 블록으로 활용해 블랙웰 기반 ‘DGX SuperPOD 슈퍼컴퓨터’를 구축할 예정이다. 이 슈퍼컴퓨터는 일본 내 우수한 성능을 목표로, 엔비디아 AI 엔터프라이즈 소프트웨어와 ‘퀀텀-2 인피니밴드’ 네트워킹을 갖춰 LLM 개발에도 적합하다.

그 밖에, 이 시스템을 기반으로 일본의 생성AI 개발과 AI 관련 사업을 추진하며, 컴퓨팅 집약적인 워크로드 처리를 위해 추가로 엔비디아 가속 슈퍼컴퓨터를 구축할 예정이다. 이 슈퍼컴퓨터는 블랙웰 GPU와 전력 효율이 높은 Arm 기반 ‘그레이스 CPU’를 결합한 멀티노드 수냉식 랙 스케일 시스템‘GB200 NVL72’을 탑재할 계획이다.

‘5G 기지국의 AI 컴퓨팅 활용’으로 AI 수익화 모델 개발

양사는 AI와 5G 워크로드를 동시에 실행할 수 있는 AI 무선 접속 네트워크(AI-RAN) 솔루션 ‘아이트라스’를 개발했다. 가나가와 현의 실험에서 캐리어급 5G 성능을 달성했으며, 네트워크의 초과 용량을 활용해 AI 추론 워크로드를 동시에 처리할 수 있음을 입증했다.

이 인프라는 통신 사업자에게 기지국을 단순 비용 발생 요소에서 AI 수익 창출 자산으로 전환해 통신 산업 환경을 지원한다. AI-RAN의 공통 컴퓨팅 기능으로 나머지 용량을 AI 추론 서비스에 활용해 수익을 창출할 수 있을 것으로 기대된다.

통신 사업자가 AI-RAN 인프라에 1달러의 자본을 투자할 때마다 약 5달러의 AI 추론 수익을 추정하고 있다. 아울러, 소프트뱅크는 운영 비용과 자본 비용을 고려할 때, AI-RAN 서버 추가로 최대 219%의 수익을 달성할 수 있을 것으로 보고 있다.

AI-RAN 네트워크에서 최적화된 추론 워크로드 

한편, 이번 실험에서 엔비디아 AI 엔터프라이즈를 활용해 자율주행 자동차 원격 지원, 로보틱스 제어, 에지에서의 멀티모달 검색 자동 생성 등 실제 AI 추론 애플리케이션을 구축했으며, 모든 추론 워크로드가 AI-RAN 네트워크에서 최적화돼 실행됐다.

소프트뱅크의 ‘완전 소프트웨어 정의 5G 무선 스택’은 AI-RAN 솔루션의 핵심 구성 요소로, 엔비디아의 AI 컴퓨팅 플랫폼에 최적화돼 있다. 이 스택은 ‘엔비디아 에리얼 쿠다 가속 RAN 라이브러리’를 활용한 L1 소프트웨어가 포함하고 있어 네트워크 자원을 최적화할 수 있다. 또한, 기존 5G 네트워크 인프라보다 40% 적은 전력을 사용할 수 있는 ‘엔비디아 에리얼 RAN 컴퓨터-1’ 시스템을 자사 솔루션에 통합할 계획이다.

이 외에도, ‘엔비디아 AI 엔터프라이즈 서버리스 API’와 소프트뱅크의 자동화 관리 도구(orchestrator)를 활용해 AI 수요와 공급을 연결하는 시스템을 구축할 예정이다. 이 시스템으로 여유 자원을 활용해 외부 AI 작업을 AI-RAN 서버로 전송하며, 실시간 성능을 유지하면서 필요에 따라 컴퓨팅 자원을 조절해 지역 맞춤형 AI 추론 서비스를 제공할 수 있게 된다.

엔비디아 젠슨 황(Jensen Huang) CEO는 “소프트뱅크가 엔비디아의 풀스택 AI, 옴니버스(Omniverse), 5G AI-RAN 플랫폼에 투자해 일본을 AI 산업 혁명의 글로벌 리더로 도약시키고 있다. 일본은 통신, 교통, 로보틱스, 의료 산업에 새로운 성장의 시대를 이끌어 AI 시대의 큰 혜택을 제공할 것이다.”라고 말했다.

소프트뱅크 미야카와 준이치(Junichi Miyakawa) CEO는 “전 세계 각국이 사회와 경제 성장을 위해 AI 도입을 가속화하고 있어 사회는 큰 변화를 받이하고 있다. 이러한 흐름 속에서 양사는 고성능 AI 인프라와, AI 전용 5G 네트워크를 재구성한 분산형 AI-RAN 솔루션으로 일본 전역과 전 세계에서 혁신을 가속화할 것”이라고 말했다.

[알림] ‘GTT KOREA’와 ‘전자신문인터넷’이 공동으로 주최하는 “NSWS(Next Smart Work Summit) 2024”에서는 글로벌 스마트워크 솔루션 선도 기업들이 참여하여 최신 기술과 시장 동향, 그리고 기업이 당면한 문제의 해결 방안을 심도 있게 다룰 예정이다. 이번 서밋에서는 AI와 스마트워크를 활용한 혁신적인 업무 환경 구축 및 활용 전략 공유와 함께 전시 부스를 통해 기업에 필요한 다양한 스마트워크 활용법을 구체적으로 체험해 볼 수 있는 장도 마련된다.