AI 모델의 대규모 추론이 기업 경쟁력의 핵심으로 부상하면서, 고성능·저전력 반도체 인프라 수요가 빠르게 확산되고 있다. 특히 대형 언어모델(LLM) 기반의 생성AI와 에이전트형 워크플로가 급증함에 따라, 데이터센터 운영 효율과 AI 추론 속도를 동시에 개선할 수 있는 하드웨어-소프트웨어 통합형 플랫폼이 주목받고 있다.
구글 클라우드(Google Cloud)가 차세대 AI 추론용 7세대 TPU ‘아이언우드(Ironwood)’의 정식 출시(GA)와 새로운 Arm 기반 ‘액시온(Axion)’ 가상 머신(VM) 프리뷰 버전을 7일 발표했다.
모델 학습에서 추론으로 이어지는 컴퓨팅 최적화
아이언우드는 대규모 모델 학습, 강화학습, 대용량 저지연 AI 추론 등 고난도 워크로드를 처리한다. TPU v5p 대비 최대 10배, TPU v6e(트릴리움) 대비 최대 4배의 학습 및 추론 성능을 제공하며, 구글 TPU 중 가장 강력한 에너지 효율을 보인다.
이 TPU는 구글의 통합 AI 슈퍼컴퓨팅 시스템 ‘AI 하이퍼컴퓨터(Hypercomputer)’의 핵심 구성 요소로, 컴퓨팅·네트워킹·스토리지·소프트웨어를 통합하여 전체 시스템의 효율을 극대화한다. IDC 보고서에 따르면, AI 하이퍼컴퓨터를 활용한 기업은 3년간 평균 353%의 ROI, 28%의 IT 비용 절감, 55%의 운영 효율 개선을 달성한 것으로 나타났다.
아이언우드는 최대 9216개의 칩으로 구성된 ‘슈퍼포드(Superpod)’로 확장 가능하며, 9.6Tb/s 속도의 인터칩 인터커넥트(ICI) 네트워킹을 통해 1.77페타바이트(PB)의 공유 고대역폭 메모리에 접근한다. 또한 광회로 스위칭(OCS) 기술을 도입해 네트워크 장애 시에도 실시간 경로 재구성이 가능하며, 수십만 개 TPU 클러스터로 확장할 수 있어 대규모 추론 서비스에 적합하다.
앤트로픽(Anthropic)은 아이언우드를 기반으로 클로드(Claude) 모델 학습과 서비스 환경을 고도화하고 있으며, 향후 최대 100만 개 TPU를 사용할 계획이라고 밝혔다.
범용 컴퓨팅의 새로운 기준
구글 클라우드는 Arm 네오버스(Arm Neoverse) 기반의 맞춤형 CPU ‘액시온(Axion)’ 제품군을 확장했다. 이번 프리뷰로 공개된 N4A VM은 N 시리즈 중 가장 비용 효율적인 범용 인스턴스로, 동급 x86 VM 대비 최대 2배의 가격 대비 성능을 제공한다. 이는 마이크로서비스, 컨테이너형 애플리케이션, 데이터베이스, 웹 서비스 운영에 최적화되어 있다.
또한 구글은 첫 Arm 기반 베어메탈 인스턴스 ‘C4A 메탈(C4A metal)’도 곧 프리뷰로 공개할 예정이다. C4A 메탈은 안드로이드 개발, 차량 내 시스템, 복잡한 시뮬레이션 등 전문화된 워크로드를 위한 전용 물리 서버를 제공한다.
N4A, C4A, C4A 메탈 등 세 가지 인스턴스 옵션을 통해 고객은 워크로드 특성에 맞춘 효율적 선택이 가능하며, 이를 통해 비즈니스 운영의 총비용(TCO)을 줄일 수 있다.
AI 하이퍼컴퓨터: 하드웨어-소프트웨어 공동 설계 강화
구글 클라우드는 하드웨어와 소프트웨어를 공동 설계하는 풀 스택 AI 아키텍처를 통해 아이언우드의 처리 성능과 메모리 효율을 극대화하고 있다.
TPU 고객은 구글 쿠버네티스 엔진(GKE)에서 ‘클러스터 디렉터(Cluster Director)’ 기능을 활용할 수 있으며, 오픈소스 LLM 프레임워크 ‘맥스텍스트(MaxText)’에는 강화학습과 대규모 학습을 용이하게 하는 기능이 추가됐다. 또한 ‘vLLM’에서 TPU 지원이 강화되어 GPU와 TPU의 병행 실행이 가능해졌으며, ‘GKE 추론 게이트웨이(Inference Gateway)’는 TPU 간 로드 밸런싱으로 최초 토큰 생성 시간(TTFT)을 최대 96% 단축하고 서비스 비용을 30% 절감한다.
구글 클라우드 마크 로메이어(Mark Lohmeyer) AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄 매니저는 “구글 클라우드는 하드웨어부터 소프트웨어, 관리형 서비스까지 통합된 풀 스택 AI 하이퍼컴퓨터를 통해 고객이 아이언우드와 액시온을 조합해 가장 까다로운 워크로드에도 최적의 유연성과 성능을 확보할 수 있도록 지원할 것”이라고 말했다.