온디바이스 AI는 스마트폰, 노트북 등 사용자 디바이스 내에서 AI 모델을 직접 실행해 클라우드 서버에 의존하지 않고도 AI 기능을 수행하는 기술이다. 데이터를 클라우드로 전송하지 않아 지연 시간이 단축돼 응답 속도가 빠르다. 또한 사용자 데이터가 디바이스 내에서 처리되어 개인정보 보호에 유리하고 클라우드 서버 사용에 따른 비용을 절약할 수 있다.

글로벌 시장조사 기관 글로벌마켓인사이트(GMI)에 따르면, 전 세계 온디바이스 AI 시장 규모는 작년 50억 달러에서 2032년 700억 달러로 연평균 25% 성장할 것으로 전망한다. 

온디바이스 AI는 스마트폰, PC, 가전, 자동차 등 다양한 하드웨어 기기에 빠르게 적용될 것으로 예상되며, 특히 개인용 스마트폰과 PC 시장의 진화를 촉진할 전망이다. 온디바이스 AI 기술의 발전에 따라, 기업은 AI 네이티브 엔터프라이즈로 거듭나기 위해 관련 기술 보유 업체에 대한 투자 및 M&A를 적극적으로 추진하고 있다.

AI 솔루션 기업 마음AI(대표 유태준) 내년 1월 미국 라스베이거스에서 열리는 세계 최대 IT 전시회 ‘CES 2025’에서 퀄컴 테크날러지스(Qualcomm Technologies, 이하 퀄컴)와의 온디바이스 AI 협력 성과인 LLM 기반 음성 대화 솔루션 ‘수다(SUDA)’를 공개한다.

수다는 퀄컴 QCS6490 프로세서(Qualcomm QCS6490 processor) 기반의 퀄컴 RB3 2세대 플랫폼(Qualcomm RB3 Gen 2  platform)을 탑재해 음성 대화를 위한 음성 인식(STT), LLM(Llama v3.2 1B), 텍스트 음성 변환(TTS)를 지원한다.

QCS6490 프로세서는 스마트홈, 운송, 창고 관리, POS 키오스크, 커넥티드 헬스케어, 물류 관리 등 산업용 IoT 애플리케이션에 최적화된 플랫폼이다. 이 솔루션은 인터넷 연결 없이 디바이스 상에서 음성 대화를 할 수 있다.

QCS6490 프로세서는 온디바이스 LLM을 통해 원활한 음성 상호작용 서비스를 구현할 뿐만 아니라 온디바이스 비전 AI를 포함한 다른 애플리케이션을 실행할 수 있다.

LLM 추론 속도를 최대한 끌어올린 결과, 온디바이스 상에서 총 처리 지연시간(Total Latency)을 1.5 초 이내로 단축했다. 일반적인 AI 스피커나, 가전제품에 탑재된 음성 대화 모듈들에 비해 사용자 경험을 향상시킬 수 있다.

CES 현장에서 수다를 기반으로 홈 IoT  제어 시연을 공개할 예정이다. 예를 들어, “너무 눈부신데”라고 말하면, LLM이 사용자의 의도를 파악하고 블라인드를 내리도록 명령을 내린다.

홈 IoT 환경에서 여러 센서나 가전제품 등을 제어하는 에이전트 기능을 구현하기 위해 LLM에 펑션 콜(Function call) 기능을 구현해 API 로 호출 가능한 모든 센서와 가전제품 등 홈 IoT 제품들을 자연어로 쉽게 제어할 수 있다.

이번 CES 2025에 대한민국 고용노동부와 구축한 근로감독관 AI 지원 시스템과 비전 언어 언어 액션 모델 ‘WoRV’를 적용한 농업 로봇 자율주행 등 다양한 상용화 사례 선보일 예정이다.

마음AI 기술총괄 CEO 최홍섭 대표는 “퀄컴과  긴밀한 협력으로 온디바이스 AI 시장을 선도할 수 있을 것”이라고 말했다.