최근 LLM은 언어처리, 대화, 수학 문제 풀이, 논리 증명 외 사람의 명령을 이해해 하위 작업을 스스로 선택하고 순서대로 수행해 목표를 달성하는 ‘절차 이해 영역’에서도 우수한 성능을 보이고 있다.

한국전자통신연구원(ETRI, 원장 방승찬)이, 사람이 말로 작업을 명령하면 작업 절차를 이해하고 계획 수립 후 실행하는 ‘절차 생성 AI’의 성능을 자동 평가할 수 있는 로타벤치마크(LoTa-Bench) 기술을 개발했다고 7일 밝혔다.

이 기술은 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘스스로 불확실성을 자각하며 질문하면서 성장하는 에이전트 기술 개발’ 과제를 통해 수행되었다.

성능 평가는 로봇과 체화 에이전트 지능의 연구개발 목적으로 개발된 미국 알렌인공지능연구소(AI2-THOR)와 미국 MIT(버츄얼홈, VirtualHome) 가상 시뮬레이션 환경에서 이뤄졌다. 또한 “전자레인지에 차갑게 식힌 사과를 넣어라.”라는 일상적인 가사 작업 지시 명령을 내리고 각 작업 절차를 포함하는 데이터세트로 평가했다.

알프레드(ALFRED) 기반 벤치마크 결과, 오픈AI(OpenAI)의 GPT-3는 21.36%, GPT-4는 40.38%, 메타(Meta)의 라마2(LLaMA 2)-70B 모델이 18.27%, 모자이크엠엘(MosaicML)의 MPT-30B 모델이 18.75% 성공률을 보였다.

연구진은 글로벌 AI 학술대회인 표현학습국제학회(ICLR)에 논문을 발표하고, 이 기술을 이용해 총 33종의 LLM의 절차 생성 성능 평가 결과를 깃허브에 공개했다. 또한 LLM을 이용한 로봇 작업계획 기술의 성능 평가 시간과 비용을 대폭 줄일 수 있게 되었다고 전했다.

기존에는 절차 이해 성능 평가를 자동으로 할 수 있는 벤치마크 기술이 없어 사람이 직접 평가했다. 구글의 세이캔(SayCan)의 경우 여러 사람이 직접 작업 수행 결과를 관찰하고 성공 실패 여부를 투표하는 방법을 채택했다. 성능 평가에 매우 긴 시간과 노력이 들어 번거로울 뿐 아니라 평가 결과에 주관적 판단이 개입하는 문제가 있다.

그러나 ETRI가 개발한 로타벤치마크 기술은 사용자의 명령에 따라 LLM이 생성한 작업 절차를 실행하고, 결과가 지시한 목표와 자동 비교해 성공 여부를 판단한다. 따라서 평가 시간과 비용을 최소화할 수 있으며 객관적인 결과를 낼 수 있다.

한편, 연구진은 로타벤치마크 기술의 이점을 활용해 데이터를 통한 훈련으로 절차 생성 성능을 개선할 수 있는 ‘컨텍스트 내 예제 선별법(In-Context Example Selection)’, ‘피드백 기반 재계획(Feedback and Replanning)’ 방법과 파인튜닝을 통한 절차 생성 성능 개선 효과를 발견했다.

장민수 ETRI 소셜로보틱스연구실 책임연구원은 “로타벤치마크는 절차 생성AI 개발의 첫걸음”이라며 “향후 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속 개선하는 기술을 연구할 계획”이라고 말했다.

[알림] GTT KOREA와 전자신문인터넷이 공동으로 주최하는 ‘Data Insight & Security Summit(DISS) 2024’에서는 “AI 트랜스포메이션, 데이터 이노베이션”을 주제로 데이터 산업을 이끌고 있는 글로벌 리더들이 AI 기반 데이터 활용과 전략 수립에 난항을 겪고 있는 기업들에게 효과적인 데이터 관리와 인사이트, 강력한 데이터 보안 전략을 제시한다.