AI 기술이 기업의 핵심 시스템과 서비스에 급속히 통합되면서, 이에 따른 보안 위협도 함께 증가하고 있다. 기존의 수동적 보안 모니터링은 급변하는 위협 환경에 대응하기 어려우며, 특히 생성형 AI와 복잡한 AI 공급망 구조에서는 선제적이고 체계적인 위험 관리 체계가 절실하다. 이에 따라 AI 모델을 사전에 검증하고 전체 수명주기와 공급망 전반에 대한 보안 취약성을 실시간으로 점검할 수 있는 자동화 레드팀 플랫폼의 필요성이 제기되고 있다.

AI 보안 및 운영 거버넌스 기업인 크래니엄(Cranium, CEO 조나단 담브롯)이 모델 및 공급망 전체 라이프사이클에서 AI 시스템을 사전에 테스트하고 보호하도록 구축된 AI 레드팀 플랫폼 ‘아레나(Arena)를 공식 출시했다.

크래니엄 아레나는 공격자가 공격하기 전에 조직이 자동화된 위협과 인간 주도의 실제 사이버 위협을 AI 모델에 대해 시뮬레이션할 수 있는 실습 환경을 제공한다.

아레나 V1의 주요 기능으로 ▲AI·인간 레드팀 ▲ 프롬프트 인젝션 테스트 ▲위협 인텔리전스 매핑 ▲증거 업로드 ▲대시보드 ▲지속적 보안 업데이트 등이 있다.

AI 기반 및 인간 레드팀은 자동화된 공격 도구 모음과 크래니엄의 전문 레드팀을 결합해 고급 실제 위협을 시뮬레이션하며, 프롬프트 인젝션 취약점을 식별하고 완화한다.

한편, 실시간 위협 예방을 위해 마이터 아틀라스(MITRE ATLAS) 및 OWASP와 같은 오픈 소스 데이터베이스와 취약점을 연계하며, 엔지니어링 팀이 문제를 신속하게 재현하고 수정 사항을 배포하는 데 도움이 되도록 인간 및 에이전트 기반 레드팀의 포렌식 증거를 제공한다.

한편, 심층적인 기술적 배경 지식 없이 중요한 취약점에 대한 중앙 집중식 가시성을 제공하며, 위협 인텔리전스 및 테스트 도구 모음을 자동으로 업데이트해 방어 체계를 최신 상태로 유지한다.

아레나를 통해 조직은 규정 준수 표준에 따라 모델을 벤치마킹하고, 감사 준비(EU AI Act, NIST RMF)를 지원하며, 오탐지보다 영향이 큰 위험의 우선 순위를 지정할 수 있다. 또한 직관적인 도구는 레드팀과 경영진 의사 결정 간의 격차를 해소하여 이해 관계자에게 평이한 언어로 된 보안 평가 및 실행 계획을 제공한다.

아레나의 로드맵에는 모델 성능 및 노출에 영향을 미치는 인프라 오구성을 감지하고 학습 및 추론 데이터 소스의 위험을 파악하는 클라우드 및 데이터 센서와 같은 추가 기능이 곧 포함될 예정이다

크래니엄은 플랫폼의 거버넌스 및 아키텍처 컨텍스트 테스트와 결합시켜 위협을 감지할 뿐만 아니라, 자동 ’블루팀‘ 수정 스크립트를 생성해 인사이트를 즉각적인 방어 조치로 전환하는 지능형 레드팀을 향해 나아가고 있다.

크래니엄의 CEO인 조나단 담브롯(Jonathan Dambrot)은 “오늘날의 AI 시스템은 강력한 만큼 취약합니다. 아레나는 보안, 규정 준수 및 제품 팀이 수동적인 모니터링에서 벗어나 AI 위험 관리에 대한 사전적이고 지속적인 접근 방식을 취할 수 있도록 지원한다.”라고 말했다.