비즈니스 인사이더(Business Insider)의 최근 보도에 의하면, AI가 아직 재무 분석을 할 수 있을 정도의 역량을 갖추지는 못한 것으로 밝혀졌다고 전했다.

퀸즈 대학과 버지니아 공대, J.P. 모건 AI 연구원가 같이 공동으로 수행한 연구에서 오픈AI의 챗GPT와 GPT-4는 복잡한 재무 분석이 가능한지 여부를 확인하기 위해 CFA(Chartered Financial Analyst)와 유사한 형태의 테스트를 시행한 결과, 예상 합격률과 평균 자체 보고 점수를 바탕으로 챗GPT가 모든 테스트 설정에서 CFA 레벨 I/II를 통과하지 못할 가능성이 높다는 결론을 내렸다고 밝혔다.

CFA는 재무 분석과 관련된 국제 자격증으로, 3단계 레벨에 걸친 테스트와 48개월의 실무 경력이 있어야 자격증을 획득할 수 있으며, 전문가가 시험의 세 가지 레벨을 모두 완료하는 데는 수년이 걸리는 어려운 시험으로알려져 있다.

특히 CFA 시험을 주관하는 CFA Institure에 따르면 2023년 2월 레벨 1 시험에 응시한 응시자 중 38%만이 합격했으며, 이 중 52%가 5월 레벨 2 시험에 합격했다. 가장 최근에 실시된 8월 레벨 3 시험의 합격률은 47%였다.

연구에 따르면 챗GPT 또한 수많은 탈락자 중 하나가 됐으며, 레벨 1 시험에서 챗GPT는 관련 지식의 부족을 드러냈으며 GPT-4 또한 챗GPT 보다는 나은 결과를 보였지만 동일한 유형을 실수를 범했다고 밝혔다.

하지만 향후 GPT-4는 조금의 개선 만으로도 CFA 레벨 1/2를 통과할 수 있을 것으로 예상된다고 연구원들은 밝혔다.

따라서 아직은 금융 분야에서 전문가 수준의 AI가 등장하기에는 아직 시간이 필요하다는 결과를 확인할 수 있었다고 전했다.