전 세계적으로 생성AI와 에이전트틱 AI가 빠르게 확산되면서, AI 보안 시장은 새로운 위협에 직면하고 있다. 2024년 이후 AI를 대상으로 한 공격 규모가 두 배 이상으로 확대되며, AI 기반 서비스와 자율형 에이전트가 실제 피해 사례에 연루되고 있다. 특히 기업 환경에서 운영되는 AI 스택과 클라우드 기반 AI 서비스는 인프라 격차와 검증 부재, 관리 미흡으로 인해 취약성을 드러내고 있다.

AI를 이용한 공격은 프롬프트 조작부터 API 남용, 데이터 유출, 암호화폐 탈취, 공급망 공격에 이르기까지 다양해지고 있으며, 이로 인해 AI 보안에 대한 기술적 대비책과 규제 필요성이 글로벌 산업 전반에서 강화되고 있다.

AI 레드팀과 에이전트형 AI 보안 전문 기업 애드버사 AI(Adversa AI)가 발표한 ‘2025년 주요 AI 보안 사고’ 보고서는 현재 진행 중인 AI 보안 위협을 분석한 법의학적 연구 결과를 공개했다.

2025년 AI 보안 사고 규모, 수 년간 총합 초과

보고서에 따르면 최근 12개월 동안 발생한 AI 보안 사고 중 35%가 프롬프트 인젝션 공격으로 발생했으며, 코드 작성 없이 단순한 텍스트 입력만으로 10만 달러 이상의 피해를 야기한 사례가 보고됐다. 또한 생성AI가 70%의 사고에 관여했지만, 에이전트틱 AI는 암호화폐 도난, API 남용, 법적 문제, 공급망 공격 등에서 가장 심각한 피해를 초래한 것으로 조사됐다.

AI 보안 사고는 2024년 이후 두 배로 증가했으며, 2025년에는 그 규모가 과거 수년간의 총합을 넘어설 것으로 예측됐다. 특히 아마존 Q(Amazon Q), 마이크로소프트 애저, 옴니 GPT(OmniGPT), 엘리자OS(ElizaOS) 등 여러 AI 시스템에서 계층별 장애가 발생했다.

보고서는 AI 시스템의 보안 취약점이 단순한 이론에 머물지 않고 현실에서 심각한 문제를 유발하고 있다고 분석했다. 보고서에는 시간, 유형, 산업 분야별로 분류된 히트맵과 아키텍처 분석, 타임라인 및 공격 복잡성 매트릭스가 포함되어 있으며, 공격이 어떻게 발생하고 진화하는지를 상세히 보여준다. 또한 아마존 Q, 아사나 AI(Asana AI) 등 17개의 실제 사고 사례가 포함되어 있어 보안 담당자들이 현장의 위협을 이해하고 대응 방안을 마련할 수 있도록 구성됐다.

산업과 사회 전반에 광범위한 영향

AI 보안 사고는 산업과 사회 전반에 광범위한 영향을 미치고 있다. 보고서에 언급된 피해 유형에는 개인 정보 유출, 시스템 장애, 재정 손실 등이 있으며, 기업의 신뢰도와 법적 책임에도 심각한 타격을 주고 있다.  특히 자율 에이전틱 AI는 단순 응용 서비스가 아닌 복잡한 시스템과 연결되어 있어, 공격 시 피해 범위가 클라우드 인프라, 공급망, 재무 시스템 등으로 확산될 수 있다.

이와 같은 공격은 AI 도입이 빠르게 확산되는 산업 구조에서 운영 리스크를 증가시키며, 기업들에게 AI 보안 전략을 강화할 필요성을 강하게 시사하고 있다. 보고서는 AI 보안 문제가 단순히 특정 시스템의 기술적 과제가 아니라, 모든 산업 분야의 디지털 전환을 위협하는 새로운 형태의 사이버 리스크라고 강조하고 있다.

대응 방안과 예방 지침

애드버사 AI는 보고서를 통해 AI 시스템의 보안 수준을 높이기 위한 다양한 지침을 제시했다. CISO와 엔지니어를 대상으로 한 이 지침에는 프롬프트 인젝션 방어, 자율 에이전트 관리, 보안 아키텍처 점검 및 지속적인 레드팀 테스트 운영이 포함된다. 또한, AI 시스템의 각 계층에서 데이터 추적과 검증을 강화하고, 모델 기반 보안만으로는 충분하지 않음을 강조했다.

보고서에 포함된 예방 방안은 AI 보안 담당자들이 실무에서 활용할 수 있도록 구체적인 단계별 방법을 제공하고 있다. 애드버사 AI는 AI 레드팀 테스트와 에이전트형 AI 보안 플랫폼을 통해 생성AI, 자율형 에이전트, MCP 스택 전반에 걸쳐 지속적인 보안 점검을 지원하고 있다.

이번 보고서는 AI 시스템이 점점 더 고도화되고 확산되는 가운데 보안 취약점이 실제 피해로 이어지고 있음을 다시 한번 경고하고 있다. AI 보안은 단순히 기술적 과제가 아니라 기업 운영과 사회 안전에 직결되는 핵심 요소로 부각되고 있으며, 산업 전반에서 선제적인 보안 전략과 투자 필요성이 강화되고 있다.

[알림] GTT KOREA GTT SHOW는 오는 8월 12일 오후 2시부터 3시까지 “피해 큰 BPF Door 같은 커널 기반 악성코드 막는 EDR과 마이크로세그멘테이션 실전 보안 전략”을 주제로 웨비나를 진행합니다. BPF Door 같은 커널 기반의 악성코드가 사용하는 공격 기법과 침투 단계별 위협의 소개, EDR과 마이크로세그멘테이션이 어떻게 상호보완적으로 작동하여 침입 초기 탐지부터 내부 확산 차단까지 이어지는 보안 체계의 구축 전략과 새로운 형태의 변종 공격에 유연하게 대응하는 제로 트러스트 기반 보안 전략을 실전 사례와 함께 제시합니다.