디지털 전환과 실시간 데이터 처리 수요 증가로 금융 거래, 무선 통신, 사이버 보안, 네트워크 관리 등 다양한 분야에서 지연 시간을 최소화하는 기술이 핵심 경쟁력으로 부상하고 있다. 특히 마이크로초 단위의 초저지연 처리 능력은 거래 성사, 보안 위협 대응, 네트워크 안정성 유지에 직결된다. 기존 서버 기반의 머신러닝 추론 방식은 데이터 전송 및 연산 과정에서 지연이 발생해 고빈도 거래나 실시간 위협 탐지에서는 한계를 드러냈다. 이에 네트워크 인접 영역에서 직접 추론을 실행해 지연을 극한까지 줄이는 기술이 산업 경쟁력 확보의 필수 요소가 되고 있다.

FPGA 기반 플랫폼 추론 가속기 제공 AI/ML 소프트웨어 기업 머틀AI(Myrtle.ai, CEO 피터 볼드윈)는 머신러닝 추론 가속기 ‘볼로(VOLLO)’가 나파테크(Napatech)의 NT400D1x 시리즈 SmartNIC에서 실행을 지원한다고 발표했다.

1마이크로초 미만 추론, 지연 민감 환경 성능 극대화

나파테크(Napatech)의 NT400D1x 시리즈 스마트NIC(SmartNIC)는 FPGA 기반의 고성능 네트워크 카드로, 네트워크 패킷 처리와 데이터 전송을 하드웨어 수준에서 가속화해 CPU 부하를 줄이고 지연 시간을 최소화한다. 이를 통해 실시간 데이터 스트리밍, 패킷 캡처, 고속 필터링 등 네트워크 집약적 워크로드를 효율적으로 처리할 수 있다.

볼로는 머신러닝 추론 지연 시간을 1마이크로초 미만으로 단축해, 사용자가 스마트NIC에서 네트워크 옆에서 직접 추론을 실행할 수 있도록 한다. 네트워크에서 유입되는 대규모 데이터셋을 스마트NIC 단계에서 전처리·전송하여 GPU·추론 가속기에 최적화된 형태로 공급할 수 있음을 의미한다. 이는 추론 지연을 줄이고 처리량을 극대화하며, AI 모델 배포 시 에지·데이터센터 환경 모두에서 성능과 에너지 효율을 향상시키는 효과를 제공한다.

이 기능은 금융, 통신, 보안, 네트워크 운영 등 지연에 민감한 환경에서 성능 극대화를 목표로 설계됐다.

다양한 ML 모델 지원과 산업 적용성

볼로는 장단기 메모리(LSTM), 합성곱 신경망(CNN), 다층 퍼셉트론(MLP)뿐만 아니라 랜덤 포레스트, 그래디언트 부스팅 의사결정 트리 등 다양한 모델을 지원한다. 이를 통해 복합 알고리듬 기반 애플리케이션을 단일 환경에서 처리할 수 있으며, 금융 거래의 즉각적 성사, 보안 침해 시 신속 대응, 네트워크 운영 최적화 등 다양한 분야에서 효율성을 높일 수 있다. 초저지연 환경은 수익성 향상, 비용 절감, 안전성 강화에도 기여한다.

머틀AI 피터 볼드윈(Peter Baldwin) CEO는 “스마트NIC 판매 분야의 세계적인 선두 기업과 협력해 머신러닝 추론의 전례 없는 낮은 지연 시간을 구현하게 되어 기쁘다”며 “고객들은 볼로의 지연 시간 리더십을 통해 모든 이점을 활용할 수 있게 될 것”이라고 말했다.

나파테크 최고 제품 및 마케팅 책임자 재러드 제이 에스 시켓(Jarrod J.S. Sike)은 “STAC ML 벤치마크에서 가장 빠른 지연 시간을 기록한 이 제품이 금융 시장의 자동 거래 ML 도입 확대에 실질적 가치를 제공할 것”이라고 밝혔다. 그는 “볼로 컴파일러는 ML 개발자가 스마트NIC를 쉽게 활용하도록 설계돼 자사 제품·서비스 포트폴리오를 강화할 것”이라고 덧붙였다.

이번 볼로와 스마트NIC의 결합은 초저지연 ML 추론 기술의 상용화를 앞당기는 중요한 전환점으로 평가된다. 금융, 통신, 보안, 네트워크 분야에서 지연 시간 단축은 곧 경쟁력 강화로 이어진다. 다양한 ML 모델 호환성은 해당 기술의 산업 전반 확산 가능성을 높이며, 향후 기업 운영의 효율성과 수익성, 보안성을 동시에 강화하는 핵심 인프라로 자리매김할 전망이다.

[알림] GTT KOREA GTT SHOW는 오는 8월 12일 오후 2시부터 3시까지 “피해 큰 BPF Door 같은 커널 기반 악성코드 막는 EDR과 마이크로세그멘테이션 실전 보안 전략”을 주제로 웨비나를 진행합니다. BPF Door 같은 커널 기반의 악성코드가 사용하는 공격 기법과 침투 단계별 위협의 소개, EDR과 마이크로세그멘테이션이 어떻게 상호보완적으로 작동하여 침입 초기 탐지부터 내부 확산 차단까지 이어지는 보안 체계의 구축 전략과 새로운 형태의 변종 공격에 유연하게 대응하는 제로 트러스트 기반 보안 전략을 실전 사례와 함께 제시합니다.