생성AI 활용이 확산되면서 최신 대규모 언어모델(LLM)을 다양한 디바이스에 적용하려는 수요가 높아지고 있다. 그러나 고성능 하드웨어 교체 비용은 기업의 부담 요인으로 작용해, 기존 장비에서도 효율적으로 LLM을 구동할 수 있는 최적화 기술이 주목받고 있다.

AI 최적화 및 경량화 기술 기업 노타(대표 채명수)가 낮은 사양의 디바이스에서도 LLM을 구현할 수 있는 LLM 최적화 서비스를 오픈했다고 25일 밝혔다.

이번에 선보인 LLM 최적화 서비스는 디바이스 사양에 관계없이 LLM과 비전-언어모델(VLM)을 최적화해 모델의 성능은 유지하면서 빠른 추론 속도를 보장한다.

생성AI가 하드웨어에 빠르게 적용되는 시장 환경에 맞춰 클라우드 또는 온디바이스 환경에 관계없이 최적화 개발을 할 수 있어 가전제품, 모빌리티 등 하드웨어 교체 비용이 부담되는 기업에서 최신 성능의 LLM 서비스 적용이 가능하다.

LLM 최적화 서비스는 ▲다양한 칩셋에서 호환가능 ▲복잡한 파라미터를 가진 LLM의 높은 최적화 난이도 극복 ▲LLM 경량화로 메모리/연산 효율 향상 ▲LLM 사용에 따른 디바이스 전력 비용 절약 ▲LLM 사용에 따른 클라우드 운영비용 절감 등의 효과를 제공하며, 이를 통해 제품에서 빠른 추론 속도와 높은 LLM 성능을 구현할 수 있다.

더불어 기존 사양의 하드웨어를 그대로 사용하기 때문에 별도의 인프라 투자 없이 새로운 LLM 모델을 적용할 수 있다는 점에서 비용 효율성이 높고 기술 경쟁력 확보에도 유리하다.

노타는 LLM 최적화 서비스 오픈을 기념해 홈페이지를 통해 무료 컨설팅 이벤트를 진행 중이다. LLM 최적화 서비스 홈페이지에 접속 후 문의하기를 통해 신청 가능하다.

노타 채명수 대표는 “별도의 하드웨어 교체 없이 최신 언어모델을 안정적으로 적용해 비용 부담을 줄이고, 한층 향상된 사용자 경험을 제공할 수 있다는 점에서 차별화된 의미가 있다.”라고 말했다.