온디바이스 AI는 네트워크 연결 없이 디바이스 자체에서 AI 연산을 수행해야 하므로 리소스 최적화가 필수다. 그러나 기존 AI 모델은 높은 연산량과 메모리 요구로 인해 IoT 및 엣지 디바이스에서 효율적으로 실행하기 어렵다.

이런 문제의 해결하기 위해 AI 모델을 훈련, 압축, 컴파일, 벤치마킹하는 과정을 최적화하여 AI 플랫폼에 통합하면 리소스가 제한된 디바이스에서도 AI 성능을 극대화할 수 있다. 

온디바이스 AI 최적화 기업 노타 AI(대표 채명수)가 글로벌 IT 기업 퀄컴 테크놀로지와의 협력해 자사의 플랫폼 ‘넷츠프레소(NetsPresso)’를 퀄컴 AI 허브에 지원한다고 발표했다.

퀄컴 AI 허브는 최적화된 AI 모델과 특정 가이드라인을 제공하는 AI 플랫폼으로, 개발자뿐만 아니라 누구든지 온디바이스 AI 애플리케이션을 개발할 수 있도록 지원하며, 넷츠프레소는 훈련, 압축, 컴파일, 벤치마킹의 4단계 프로세스를 통해 리소스가 제한된 장치에 맞게 AI 모델을 최적화한다.

이번 통합으로 150개 이상의 모델을 지원하는 퀄컴 AI 허브에 넷츠프레소의 새로운 통합 기능은 넷츠프레소의 최적화 기능, 특히 리소스 제약이 있는 장치를 위한 기능을 도입했다.

이전에는 넷츠프레소에서 관리하던 컴파일 및 벤치마킹은 이제 퀄컴 테크놀로지의 생태계 내에서 처리될 수 있어 효율성을 높이고 넷츠프레소는 향상된 전체 최적화를 위한 훈련 및 압축에 집중할 수 있게 된다.

노타 AI 채명수 대표는 “넷츠프레소에 퀄컴 AI 허브 지원을 추가함으로써 온디바이스 AI 최적화를 위한 새로운 잠재력을 열었다.”라며 “우리는 함께 온디바이스 AI를 전 세계적으로 실현하기 위한 노력을 확대할 것.”이라고 말했다.