AI 전문기업 아이브릭스(대표 채종현)가 허깅페이스에서 운영하는 ‘Open-Ko-LLM 리더보드(이하 ‘Ko 리더보드’)’에서 자체 개발 LLM ‘Cerebro-BM-solar(이하 ‘세레브로’)’가 1위를 달성했다고 24일 밝혔다.

Ko 리더보드는 한국어 LLM 모델 성능을 평가하는 벤치마크로 ▲추론능력 ▲상식능력 ▲언어 이해 종합능력 ▲환각현상 방지능력 ▲한국어 상식생성능력 등 5가지 기준으로 평가해 순위를 매긴다.

대기업부터 스타트업까지 약 1713개의 언어모델이 참여하고 있는 이 벤치마크에 세로브로가 평균 71.09점으로 1위를 차지했다. 특히 환각현상 방지능력(Ko-TruthfulQA)과 상식능력(Ko-HellaSwag) 부문의 점수는 각각 86.02점, 81.18점으로 높은 평가를 받았다.

세레브로는 두 개의 SOLAR 언어모델을 머지(Gradient Slerp)하고 파인튜닝해 개발된 모델로, 매개변수 107억 개의 적은 파라미터로 구성됐다.

박호진 아이브릭스 연구소장은 “Open-Ko-LLM 리더보드에서의 1위는 한국어 AI 경쟁력을 입증하는 계기로, 앞으로도 뛰어난 기술력을 바탕으로 한국형 LLM 모델 연구 개발에 매진해 더 혁신적인 모델을 선보이겠다.”라고 말했다.