2023년 3월 20일 오픈AI의 AI 도구인 챗GPT가 중단됐다. 이 중단은 오픈소스 라이브러리의 취약점으로 인해 발생했으며 이로 인해 일부 고객의 결제 관련 정보가 노출되었을 수 있다.

아주 최근인 2024년 1월 25일에는 애니씽 LLM(Anything LLM, 깃허브 스타 8000개)에서 모든 문서나 콘텐츠를 채팅 중에 LLM이 사용할 수 있는 컨텍스트로 바꾸는 심각한 취약점이 발견됐다. 인증되지 않은 API 경로(파일 내보내기)를 사용하면 공격자가 서버를 중단시켜 서비스 거부 공격을 일으킬 수 있다.

프로덕션 중인 대부분의 LLM은 API를 통해 간접적으로 데이터를 수신한다. 즉 수많은 민감한 데이터가 LLM API에 의해 처리되고 있는 것이다. 이러한 API의 보안은 사용자의 개인정보를 보호하고 데이터 유출을 방지하는 데 매우 중요하다.
 

LLM이 남용되면 중요한 데이터의 유출로 이어질 수 있다. 악의적인 입력이 LLM의 출력을 조작할 수 있는 무단 프롬프트 주입의 위험이 있다. 또한 LLM은 시스템이 요청으로 과부하되어 서비스 중단을 초래하는 서비스 거부(DoS) 공격에도 취약하다. 지난해에 LLM API를 표적으로 한 DoS 사고가 증가했다는 보고가 있다.

따라서 기업들은 강력한 보안 테스트 솔루션을 필요로 하고 있다. 가트너가 2023년 9월에 생성AI 보안에 대해 실시한 설문조사에 따르면 조직의 34%가 생성AI에 수반되는 위험을 완화하기 위해 이미 AI 애플리케이션 보안 도구를 사용하거나 구현하고 있으며, 56%는 그러한 솔루션을 모색 중인 것으로 나타났다.

API 보안 기업인 악토(Akto)는 이러한 문제를 정면으로 해결할 수 있는 사전 예방적 생성AI 보안 테스트 솔루션을 출시했다.

악토 솔루션은 고급 테스트 방법론과 최첨단 알고리듬을 활용해 LLM을 포함한 생성AI 모델에 대해 포괄적인 보안 평가를 수행한다. 이 솔루션에는 신속한 주입, 특정 데이터 소스에 대한 과도한 의존 등과 같은 생성AI 취약점의 다양한 측면을 다루는 60개 이상의 꼼꼼하게 설계된 테스트 사례를 포함해 광범위한 혁신적인 기능이 통합돼 있다.

AI 보안 테스트는 LLM의 출력을 삭제하기 위한 보안 조치의 취약점을 식별한다. 원격 실행, XSS(교차 사이트 스크립팅), 공격자가 세션 토큰과 시스템 정보를 추출할 수 있는 기타 공격을 위한 악성코드를 주입하려는 시도를 탐지하기 위한 것이다. 또한 악토는 LLM이 허위 또는 관련 없는 보고서를 생성할 수 있는지 여부도 테스트한다.