대규모 언어모델 기반 생성AI가 산업 전반에 빠르게 확산되는 가운데, 많은 기업들이 여전히 보안 프로토콜 구현에 미흡하다는 지적이 나오고 있다. 조직이 새로운 AI 기능을 빠르게 배포하고 중요한 운영을 위해 이러한 시스템에 대한 의존도를 높임에 따라 보안 격차는 매일 확대되고 있다.

특히, 공격자가 프롬프트를 조작해 LLM에서 민감하거나 독점적인 정보를 추출할 수 있으며, 더욱이 자율 에이전트 또는 API에 연결된 도구에서 프롬프트 주입으로 인해, LLM이 이메일 보내기, 파일 수정 또는 금융 거래 시작과 같은 승인되지 않은 작업을 실행할 수 있다. 고객, 직원, 내부 시스템 등과 직접 상호작용하는 AI 애플리케이션이 보편화됨에 따라, AI 보안 위협에 대한 선제 대응이 요구되고 있다.

AI 보안 가드레일 플랫폼 기업 판게아(Pangea, CEO 올리버 프리드리히스)가 85개국 800명 이상이 참가한 '프롬프트 주입 챌린지(Prompt Injection Challenge)'를 통해 생성AI 보안 가드레일의 실제 취약성을 분석했다고 밝혔다. 

이번 연구는 생성AI 도입이 산업 전반에서 급격히 가속화되고, 대다수의 기업이 고객, 직원 또는 민감한 내부 시스템과 직접 상호 작용하는 AI 기반 애플리케이션을 배포하고 있는 시기에 발표되었다.

이러한 빠른 도입과 업무상 중요한 운영에 대한 통합에도 불구하고, 많은 조직이 아직 최첨단 모델 기본 설정 외에 AI 전용 보안 프로토콜을 구현하지 못하고 있었다.

이 챌린지를 통해 3억 개 이상의 토큰을 사용해 약 33만 건의 프롬프트 주입 시도가 발생했으며, 이는 조직이 현재 AI 애플리케이션을 보호하는 방식의 사각지대를 드러내는 데이터 세트를 생성했다.

한 달간 진행된 이 이니셔티브에는 85개국에서 800명 이상의 참가자가 참여해 난이도가 점차 높아지는 세 개의 가상 룸에서 AI 보안 가드레일을 우회하려 시도했다.

세 개의 가상 룸을 유일하게 모두 탈출한 전문 침투 테스터 조이 멜로는 룸 3의 단일 레벨을 궁극적으로 우회하는 다층 공격을 개발하는 데 이틀을 소비했다.

주요 위협 ‘비결정론적 보안, 데이터 유출, 심층 방어 부족, 에이전트 위협 증폭’

기존 사이버 보안 위협과는 달리, 프롬프트 주입 공격은 LLM의 비결정론적 특성으로 인해 예측 불가능한 성공률을 보였다. 동일한 콘텐츠로 99번 실패한 프롬프트 주입이 100번째 시도에서 무작위로 성공했다.

또한 민감한 데이터 유출 및 부적절한 응답의 위험 외에도, AI 애플리케이션은 적대적 정찰 목적으로 악용되어 실행 중인 서버 및 액세스할 수 있는 열린 포트와 같은 컨텍스트를 드러낼 수도 있었다.

한편, 기본 LLM 가드레일에만 의존하는 조직이 가장 취약하며, 기본적인 시스템 프롬프트 가드레일에 대해 약 10건 중 1건의 프롬프트 주입 시도가 성공했다. 이에 반해 다층 방어는 성공적인 공격을 수십 배 줄였다.

조직이 데이터베이스 및 도구 액세스를 갖춘 에이전트 기반 AI로 이동함에 따라, 손상된 시스템은 네트워크 내에서 정교한 수평적 이동을 가능하게 해 프롬프트 주입 공격의 잠재적 영향을 극적으로 증가할 수 있다고 분석됐다.

AI 애플리케이션을 위한 보안 전략

이러한 결과에 대응해 판게아는 조직이 ▲다층 가드레일 ▲전략적 공격 표면 축소 ▲지속적 보안 테스트 ▲동적 모델 관리 ▲전담 보안 리소스 등 AI 애플리케이션을 위한 포괄적인 보안 전략을 구현할 것을 권장했다.

조직은 통계적 및 LLM 기반 분석 기술을 사용해 프롬프트 주입을 방지하고, 시스템 프롬프트를 보호하며, 기밀 정보 및 PII 노출을 방지하고 악성 엔티티를 탐지하기 위한 가드레일을 배포해야 한다.

또한 보안에 민감한 컨텍스트에서 입력 언어, 작업 및 응답 유형을 제한해 기능과 보안 간의 균형을 맞춰야 한다.

한편, 진화하는 프롬프트 주입 기술에 대해 AI 애플리케이션을 테스트하도록 특별히 설계된 레드팀 연습을 구현해야 하며, 공격자가 악용할 수 있는 무작위성을 최소화하기 위해 보안에 중요한 애플리케이션에서 모델 기능 설정을 줄이는 것을 고려해야 한다.

마지막으로, 빠르게 진화하는 프롬프트 주입 환경을 추적하거나 전문 AI 보안 제공업체와 협력하기 위해 하나 이상의 리소스를 할당해야 한다.

판게아의 공동 창립자 겸 CEO 올리버 프리드리히스(Oliver Friedrichs)는 “우리가 관찰한 공격의 규모와 정교함은 AI 보안 위협의 광범위하고 빠르게 진화하는 특성을 보여준다.”라며 “이러한 위협에 대한 방어는 보안 팀에게 체크박스나 사후 고려 사항이 아닌 핵심 고려 사항이 되어야 한다.”라고 말했다.