AI 네이티브 애플리케이션이 조직 내부 전 영역으로 빠르게 확산되면서, 보안팀이 AI 사용 위치와 방식조차 추적하지 못하는 문제가 발생하고 있다. 이는 기존 IT 시스템에서 발생했던 섀도우 IT보다 훨씬 심각한 수준의 가시성 붕괴를 초래하며, 예측 불가능한 AI 모델 동작 및 데이터 경로가 새로운 공격면을 만들어내고 있다. 기술적 변화 속도가 보안 통제 가능 범위를 초과하면서, 엔터프라이즈 환경 전반에서 AI 보안 거버넌스 재정립이 필요한 시점이다.

AI 데브옵스(DevOps) 플랫폼 기업 하네스(Harness)가 급증하는 AI 네이티브 환경에서 보안 가시성 상실과 섀도우 AI 확산 위험을 분석한 ‘2025 AI-네이티브 애플리케이션 보안 현황 보고서(The State of AI-Native Application Security 2025)’를 공개했다.

보고서는 미국 200명, 영국·독일·프랑스 각 100명 등 총 500명의 AI 네이티브 애플리케이션 보안 담당 보안 실무자 및 의사결정자를 대상으로 진행한 조사를 바탕으로 작성됐다.

섀도우 AI, 섀도우 IT 보다 심각한 위험

AI가 조직 내 공격면을 근본적으로 확대하고 있으며, 기존 도구로는 이러한 변화를 통제하기 어렵다. 전체 응답자 중 62%는 조직 내부에서 LLM 사용 위치에 대한 가시성이 전혀 없다고 답했으며, 75%는 섀도우 AI가 과거의 섀도우 IT보다 더 큰 위험을 초래할 것이라고 전망했다. 또한 74%는 AI 스프롤이 API 스프롤보다 훨씬 심각한 위험을 만들 것이라고 지적해, AI 기반 컴포넌트 증가 속도를 기존 보안 체계가 따라가지 못하는 상황을 보여준다.

위협 지형 역시 빠르게 변화하고 있으며, 82%는 AI 네이티브 애플리케이션이 사이버 범죄자의 새로운 공격 프런티어가 될 것이라고 응답했다. 특히 응답자의 63%는 이러한 애플리케이션이 기존 IT 애플리케이션보다 더 취약하다고 인식하고 있다.

초기 단계임에도 공격은 다수

조직들은 AI 도입 초기 단계임에도 불구하고 이미 다수의 공격을 경험하고 있다. 기업들은 LLM 프롬프트 인젝션(76%), 취약한 LLM 코드(66%), LLM 제일브레이킹(65%) 등 다양한 AI 기반 보안 사고를 겪은 것으로 나타났다. 이는 AI 모델 및 데이터 경로가 기존 보안 통제 체계에서 벗어나 존재하면서 발생한 결과로, 많은 조직에서 AI 컴포넌트가 모니터링되지 않은 상태로 운영 중임을 보여준다.

또한 개발 과정에서도 보안 공조가 제대로 이뤄지지 않고 있다. 전체 응답자의 62%는 개발자들이 AI 네이티브 앱 보안을 책임지지 않는다고 답했으며, ‘보안 설계를 초기부터 반영한다’는 응답은 43%에 그쳤다. 이는 개발·보안 간 협업 체계가 AI 도입 속도에 맞춰 재구조화되지 못한 점을 드러낸다.

개발-보안 협업 단절이 위험 가속

62%의 조직은 개발자가 AI 보안 구현에 필요한 시간이나 역량이 부족하다고 답했고, 75%는 AI 애플리케이션 변화 속도가 보안 속도보다 더 빠르다고 응답했다.

협업 붕괴도 심각하다. 개발자 중 보안팀에 AI 프로젝트를 착수 전 알리는 비율은 34%, 출시 전 통보는 53%에 불과해, 상당수의 AI 기능이 보안 검토 없이 운영 환경에 배포되는 것으로 나타났다. 또한 보안 리더의 74%는 개발자들이 보안을 혁신의 장애물로 인식하고 있다고 말했다.

이러한 가시성 결여가 결국 비인가 모델·노출된 API·감시되지 않는 AI 툴이라는 ‘섀도우 인프라’를 만들어, 정책 집행과 위협 탐지를 더 어렵게 만든다.

하네스 필드 CTO 아담 아렐라노(Adam Arellano)는 “과거에는 팀이 코드와 API만 모니터링하면 되었지만, 이제는 모델의 행동, 학습 데이터, AI가 생성한 연결까지 함께 보호해야 한다. 앞으로 나아갈 수 있는 유일한 길은 보안과 개발이 하나의 팀처럼 움직이며, 거버넌스를 소프트웨어 딜리버리 프로세스에 직접 내재화하는 것”이라고 말했다.

전문가 조언: AI 보안 가시성 회복과 통합 거버넌스를 위한 핵심 전략

전문가들은 이번 조사 결과를 통해 “기존 보안 모델만으로는 AI 시대에 발생하는 위험을 감당하기 어렵다”고 분석한다. AI 네이티브 환경은 모델과 데이터 경로가 기존 IT 자산과 다르게 동작하기 때문에, 동일한 방식의 통제 체계로는 가시성 확보가 불가능하다는 것이다. 이에 따라 보안·데브섹옵스(DevSecOps) 전문가들은 다음과 같은 공통적 대응 전략을 제시하고 있다.

첫 번째는 조직 내 AI 사용 위치를 전수 파악하기 위한 ‘AI 자산 인벤토리’ 구축이다. 이는 모든 LLM, 프롬프트 체인, API 호출, 임베딩 모델을 자산으로 등록해 관리하는 방식으로, 비인가 AI와 비인가 API를 자동 탐지할 수 있는 기능을 포함해야 한다. 또한 데이터 흐름과 권한 경로를 추적해 AI 데이터 리스크를 가시화하는 것이 필요하다는 점도 강조된다. 전문가들은 AI 자산을 코드나 API와 동일한 수준의 관리 대상로 간주해야 한다고 조언한다.

두 번째는 개발 단계에서 보안을 내재화하는 ‘시프트 레프트(Shift-left)’ 전략을 AI 개발 파이프라인에 적용하는 것이다. 이는 프롬프트 인젝션, 제일브레이킹, LLM 관련 취약점을 자동 스캔하고, 모델 업데이트 시 정책 검증을 자동화하는 방식으로 구현된다. MLOps, DevOps, SecOps가 분리된 프로세스가 아닌 단일한 파이프라인으로 결합돼야 한다는 점도 제시된다. 이는 소프트웨어 딜리버리 과정 전체에 보안 거버넌스를 내재화해야 한다는 하네스 CTO 아담 아렐라노의 견해와도 일치한다.

세 번째는 개발과 보안 간 협업 구조를 AI 전담 체계로 재편하는 것이다. 전문가들은 AI 프로젝트 사전 신고를 의무화하고, 보안 승인 없이 프로덕션 배포를 금지하며, AI 모델 변경 시 자동 알림 및 자동 검증 워크플로를 구성해야 한다고 말한다. AI 도입 속도를 고려하면 보안팀 역시 수동 심사 방식에 머물러서는 대응이 불가능하다는 지적이다.

네 번째는 AI 특성을 반영한 행동 기반 모니터링과 모델 계층 보호 전략이다. 구체적으로는 모델 출력의 이상을 탐지하고, 도메인별 정책 및 금지 응답 기준을 설정하며, 학습 데이터 변조나 프롬프트 탈취와 같은 모델 특유의 공격을 탐지하는 기능이 필요하다. 이러한 영역은 기존 보안 도구만으로는 대응하기 어렵기 때문에 별도의 모델 중심 보호 체계가 요구된다.

마지막으로 전문가들은 조직이 통합적 AI 거버넌스 프레임워크를 수립해야 한다고 강조한다. 이는 AI 사용 가이드라인, 데이터 주권과 저장 위치, 학습 데이터 사용 정책을 포함하며, 감사 로그, 모델 버전 관리, 의사결정의 설명 가능성을 확보하는 규율로 구성된다. 전문가들은 이를 “AI 기술의 확산 속도를 따라잡기 위한 최소한의 제도적 장치”로 평가하고 있다.