AI 서비스의 중심이 클라우드에서 에지(Edge)로 이동하고 있다. AI 모델을 실행하기 위해 더 이상 대형 서버나 고가의 GPU가 필수가 아니다. 스마트폰이나 IoT 기기 안에서 AI가 스스로 판단하고 반응하는 시대가 본격적으로 열리고 있다. 이러한 변화를 대표하는 기술이 온디바이스 AI다. 데이터를 클라우드로 보내지 않고 기기 내부에서 실시간으로 처리하기 때문에 속도는 빨라지고, 개인정보 유출 위험은 줄어든다.

온디바이스 인텔리전스 분야 혁신 기업 제틱에이아이(ZETIC.ai)가 ‘테크크런치 디스럽트 2025(TechCrunch Disrupt 2025)’에서 클라우드나 GPU 없이도 AI 앱을 개발·테스트·배포할 수 있는 온디바이스 AI 앱 개발 플랫폼 ‘멜랑지(MLange)’를 공식 발표했다.

멜랑지는 클라우드나 GPU 없이도 AI 앱을 개발·테스트·배포할 수 있는 온디바이스  플랫폼이다. 개발자가 몇 줄의 코드만으로 컴퓨터 비전(영상 인식), 음성 인식, 소형 언어모델(SLM) 등 다양한 AI 기능을 앱에 통합할 수 있다. 이를 통해 AI 개발의 진입 장벽을 낮추고, 개발자가 복잡한 서버 설정 없이도 스마트폰에서 바로 AI를 실행할 수 있다.

AI 자동 최적화와 벤치마킹

멜랑지는 AI 모델을 기기 환경에 맞게 자동으로 경량화 해준다. 예를 들어, 원래 클라우드에서만 실행되던 복잡한 AI 모델을 스마트폰용으로 자동 변환해 메모리 사용량과 지연속도를 줄인다. 또한 내장된 벤치마킹 도구는 다양한 기기 성능을 실시간으로 분석해 최적의 실행 환경을 추천한다. 덕분에 개발자는 별도의 테스트 과정 없이도 효율적인 AI 앱을 배포할 수 있다.

현재 200여 개 이상의 스마트폰 모델에서 호환되며, 실제로 300명 이상의 개발자가 1500개 이상의 온디바이스 AI 앱을 배포했다. 대표적인 활용 예로는 ▲소리로 침입을 감지하는 홈 보안 시스템 ▲인터넷 없이 작동하는 오프라인 번역기 ▲은행용 모바일 신분증 스캐너 등이 있다.

클라우드 없이도 가능한 이유

멜랑지가 클라우드 없이도 작동하는 이유는 에지 AI(Edge AI) 기술 덕분이다. 이는 AI 연산을 데이터센터가 아니라 기기 자체(에지) 에서 처리하는 방식으로, 응답 속도가 빠르고 인터넷이 없어도 작동한다.

또한 AI 모델을 모바일 추론(Mobile Inference) 구조로 변환해, AI가 생각하는 과정을 최소한의 연산으로 수행한다. 이로써 배터리 효율도 향상되고, 오프라인 상태에서도 자연스러운 AI 반응이 가능하다.

제틱에이아이는 메타(Meta)의 엑스큐토치(ExecuTorch), 구글의 라이트알티(LiteRT) 등 차세대 온디바이스 런타임 지원을 추가하고, 허깅페이스(Hugging Face) 모델을 바로 가져와 모바일용 SDK를 자동 생성하는 기능도 곧 탑재된다. 또한 NPU, CPU, GPU 등 다양한 하드웨어에서 원클릭 배포 기능을 제공할 예정이다. 

제틱에이아이는 글로벌 AI 커뮤니티, 연구기관, 반도체 제조사와 협력해 지속 가능한 온디바이스 AI 생태계를 구축할 계획이다. 이를 통해 보안성·효율성·지속 가능성을 모두 충족하는 차세대 AI 인프라를 실현한다는 목표다.

한편 멜랑지는 출시 전부터 글로벌 기술 커뮤니티에서 높은 관심을 받았다. 제틱에이아이는 테크크런치 스타트업 배틀필드 200(Startup Battlefield 200)에 선정됐다. 또한 한국정보통신산업진흥원(NIPA)의 K-Global 프로그램과 코리아인베스트먼트액셀러레이터(KIA) 의 투자를 통해 미국 시장 진출을 본격화하고 있다.