AI 기술이 기업 워크플로와 고객 접점에 빠르게 도입되면서, 악의적인 공격자는 AI 모델의 취약점을 노리고 다양한 위협을 시도하고 있다. 생성AI의 확산은 공격 표면을 기하급수적으로 확대하고 있으며, 기존 보안 체계로는 대응에 한계가 있다는 인식이 커지고 있다. 특히 신속한 프롬프트 주입, 모델 조작, AI 탈옥 기법 등은 일반적인 보안 테스트 범위를 넘어서는 새로운 보안 위협으로 부상하고 있다. 이에 따라 기업들은 AI 시스템 특화 보안 진단, 윤리적 해킹 및 레드팀 기반의 방어 전략 수립 필요성이 높아지고 있다.

AI 보안 가드레일 전문 기업 판게아(Pangea)는 정교한 AI 공격에 대응하기 위해 전담 연구 조직인 판게아 랩스(Pangea Labs)와 새로운 AI 레드팀 서비스를 출범했다고 발표했다. 이와 함께 업계에서 가장 포괄적인 AI 즉시 주입 공격 분류 체계를 발표했다. 해당 분류 체계는 다양한 프롬프트 기반 공격 수법과 대응 전략을 체계적으로 정리한 살아있는 프레임워크로, 지속적인 위협 인텔리전스 업데이트를 반영한다.

최고제품책임자 롭 트루스델(Rob Truesdell)의 주도로 운영되는 판게아 랩스는 AI 모델 조작, 프롬프트 탈옥, 위협 인텔리전스 분석, 기업별 보안 모범 사례 도출 등을 중심으로 AI 보안 기술을 연구하고, 레드팀 훈련을 병행해 실질적인 방어 전략을 도출한다. 이 연구 결과는 프롬프트 인젝션 챌린지 연구와 같은 실전 적용 중심 서비스로 전환된다.

전문가 주도 실제 공격 검증

판게아 랩스의 첫 번째 AI 레드팀 전문가로 합류한 조이 멜로(Joey Melo)는 윤리적 해커이자 침투 테스트 전문가로, 판게아가 주최한 프롬프트 인젝션 챌린지에서 세 개의 가상공간 모두를 성공적으로 탈출한 유일한 참가자이다. 그는 BSCP, OSCP, OSCE3 자격증을 보유하고 있으며, HackAPrompt 2.0 대회에서도 39개 과제를 모두 해결했다. 멜로는 짐 호글랜드 박사와 함께 기초 공격 벡터 연구를 수행하고 있으며, 이러한 경험은 레드팀 서비스에 실질적인 보안 가치를 부여하고 있다.

판게아의 레드팀 서비스는 일반적인 보안 테스트 범위를 넘어, AI 시스템 특화 공격을 시뮬레이션하는 평가 체계를 제공한다. 실제 공격 시나리오와 최신 위협 인텔리전스를 반영하여, 조직의 보안 통제 효과와 사고 대응 역량을 종합적으로 평가한다. 이 서비스는 호글랜드 박사의 분석 프레임워크와 멜로의 실전 해킹 역량을 결합하여, 고객에게 AI 보안 태세에 대한 포괄적인 가시성을 제공한다.

AI 보안 분류 체계의 중요성

판게아가 발표한 AI 즉시 주입 공격 분류 체계는 AI 시스템에 대한 새로운 위협 벡터를 정의하고 대응 전략을 제공하는 기술 프레임워크이다. 해당 체계는 호글랜드 박사의 연구에 기반하고 멜로의 실전 공격 분석으로 보완되었으며, 변화하는 위협에 따라 지속적으로 업데이트된다. 이를 통해 조직은 AI 보안 위험에 선제적으로 대응하고 보안 체계를 조정할 수 있다.

롭 트루스델은 "기존 보안 프레임워크는 AI 시스템 고유의 취약성을 다루기에는 한계가 있다. 이번 분류 체계는 개발팀이 보안 취약점을 사전에 파악하고, 처음부터 복원력 있는 AI 시스템을 설계할 수 있도록 지원한다."라고 강조했다.

[알림] GTT KORE GTT SHOW는 오는 8월 12일 오후 2시부터 3시까지 “피해 큰 BFPdoor 같은 커널 기반 악성코드 막는 EDR과 마이크로세그멘테이션 실전 보안 전략”을 주제로 웨비나를 진행합니다. BPFdoor 같은 커널 기반의 악성코드가 사용하는 공격 기법과 침투 단계별 위협의 소개, EDR과 마이크로세그멘테이션이 어떻게 상호보완적으로 작동하여 침입 초기 탐지부터 내부 확산 차단까지 이어지는 보안 체계의 구축 전략과 새로운 형태의 변종 공격에 유연하게 대응하는 제로 트러스트 기반 보안 전략을 실전 사례와 함께 제시합니다.