AI가 다양한 산업에서 핵심 기술로 자리 잡으며, 보안 문제는 점점 더 중요하다. 특히, 생성AI(GenAI)는 강력한 성능을 제공하는 동시에 보안 위협에도 취약하다. 따라서 AI 모델이 고도의 공격에 얼마나 견딜 수 있는지를 평가하는 체계적인 기준이 필요하다.

기존 AI 보안 평가 방식은 수동 레드팀 테스트나 단순한 공격 성공률(ASR) 측정에 의존하는 경우가 많아, 현실적인 위협 대응 능력을 제대로 반영하지 못한다. 이에 따라, AI 모델의 보안을  정밀하게 측정할 수 있는 체계적인 평가 기준과 자동화된 테스트 시스템이 요구되고 있다.

엔터프라이즈용 생성AI 보안 글로벌 기업 캘립소AI(CalypsoAI)가 AI 보안 평가를 위한 지수 ‘캘립소AI 시큐리티 리더보드(CalypsoAI Security Leaderboard)’를 출시했다. 

캘립소AI 시큐리티 리더보드는 생성AI 모델의 보안 성능을 비교·분석하는 순위 시스템으로,  AI 모델이 보안 위협에 얼마나 강한지를 측정하는 위험 대비 성능(RTP) 비율과 보안 비용(CoS) 지표를 제공한다. 

특히 ‘캘립소AI 인터피어런스 레드 팀’은 AI 모델을 대상으로 실제 환경에서 발생할 수 있는 다양한 공격을 자동화해 실행하고, 그 결과를 기반으로 CASI 점수로 보안을 평가한다.

기존 연구는 공격 성공률(ASR)에 초점을 맞췄지만, 이는 단순한 공격과 고급 공격을 동일하게 평가하는 한계가 있었다. 이에 반해, 캘립소AI 인터피터런스 레드 팀은 모델의 규모와 복잡성, 공격 기법의 난이도까지 고려해 보안 수준을 평가한다.

캘립소AI는 향후 분기별로 CASI 점수를 업데이트하고, AI 모델 제공업체들과 협력해 새로운 보안 취약점을 연구 및 해결할 예정이다. 기업은 이 지수를 활용해 AI 모델의 보안성을 객관적으로 비교하고, 비즈니스 환경에 적합한 모델을 선택할 수 있다.

캘립소AI 인터피어런스 레드 팀의 핵심 기술 ‘에이전틱 워페어(Agentic Warfare)’는 기존의 정적인 보안 평가 방식과 달리, AI 기반의 자동화된 적대적 행위를 활용해 모델의 보안 취약점을 찾아낸다.

이 기술은 지속적으로 업데이트되는 공격 서명 라이브러리와 다양한 운영 테스트를 결합해, 보안팀이 사전에 AI 모델의 취약성을 파악하고 대비할 수 있도록 지원한다. 

캘립소AI 제임스 화이트(James White) 사장은 “현재까지 세계적인 AI 모델 개발사들도 비효율적이고 일관성이 부족한 수동 레드팀 평가 방식에 의존하고 있다.”라며, “캘립소AI 시큐리티 리더보드를 통해 모델 보안 평가의 공백이 해소될 것”이라고 말했다.