금융 기업은 데이터 유출과 같은 보안의 이유로 AI 도입 시 개방형 LLM을 파인튜닝해 자체 모델을 구축한다. 오픈AI의 챗GPT나 구글의 제미니(Gemini)같은 폐쇄형 LLM은 내부 소스코드가 공개되지 않아, 기업이 자체 AI 모델로 구축해 활용할 수 없으며 돈을 내고 서비스를 이용하는 형태로만 사용 가능하다.

따라서 보안과 맞춤화 요구에 부합하는 자체 AI 모델 구축을 위해, 금융 특화 LLM을 체계적으로 평가하고 검증할 수 있는 도구가 필요하다.

AX전문기업 LG CNS(사장 현신균)가 금융 특화 생성AI 도입을 지원하는 금융 맞춤형 AI 평가 도구를 개발했다고 24일 밝혔다.

이 평가 도구는 미리 구축한 데이터셋으로 LG AI연구원의 ‘엑사원(EXAONE) 3.5’, 메타(Meta)의 ‘라마(Llama)’, 알리바바(Alibaba)의 ‘큐원(Qwen) 2.5’와 같은 개방형 LLM을 평가해 뱅킹, 보험, 증권 등 각 금융 서비스에 적합한 AI 모델을 찾을 수 있다.  

이는 29가지 평가지표와 약 1200개의 데이터셋으로 ▲금융 지식을 기반으로 추론하는 능력 ▲수학적 추론 능력 ▲복잡한 질문 이해력 ▲문서요약 능력 ▲금융 용어 이해도 ▲AI 에이전트 사용 능력을 종합 테스트한다.  

특히 데이터셋의 평가 데이터에 실제 금융 현장에서 사용하는 서비스 정보나 전문 지식이 정확히 반영됐는지 점검해 완성도를 높였다. 이를 기반으로 AI가 금융 산업 내 규제 요건이나 복잡한 서비스 구조 안에서 정확한 답변을 제공할 수 있다. 

LG CNS는 이 평가 도구로 금융기업이 AI를 도입할 때 최적의 LLM 선정부터 커스터마이징, 안정적인 운영까지 금융권 특화 생성AI 도입의 전 단계에서 차별화된 고객가치를 제공해 나갈 계획이다. 

LG CNS 현신균 사장은 “금융 서비스에 생성AI를 도입하는 기업의 가장 큰 고민은 어떤 AI 모델이 서비스에 가장 적합할 지 파악하는 것”이라며, “LG CNS의 금융 특화 AI 평가 도구는 금융 기업의 고민을 빠르게 해결할 수 있는 최적의 솔루션이 될 것이다.”라고 말했다.