생성AI 기술의 급속한 확산은 업무 자동화, 고객 응대, 개발 생산성 제고 등 다양한 분야에 실질적인 성과를 가져오고 있다. 그러나 이러한 기술이 기업 내 프로덕션 환경으로 확장되면서 AI 에이전트의 보안 문제가 심각한 위협으로 부상하고 있다.

기존의 보안 프레임워크는 사람 중심의 인터페이스를 기준으로 설계되어 있어, 자율적으로 작동하는 AI 에이전트의 위협 벡터를 완전히 포착하지 못한다. 특히, 사용자 개입 없이도 공격이 가능한 ‘제로 클릭(0click)’ 취약점은 기존 방어 체계를 우회하여 침투할 수 있어 심각한 대응 격차를 발생시키고 있다.

주요 AI 에이전트, 사용자 모르게 하이재킹 가능

AI 보안 전문 연구기관 제니티 랩스(Zenity Labs, CTO 마이클 바거리(Michael Bargury))가 블랙햇 USA 2025 행사에서 사용자 개입 없이 엔터프라이즈 AI 에이전트를 하이재킹할 수 있는 ‘에이전트플레이어(AgentFlayer)’ 취약점을 발표했다.

해당 발표에서 오픈AI의 챗GPT, 마이크로소프트의 코파일럿 스튜디오(Copilot Studio), 세일즈포스의 아인슈타인(Einstein), 구글의 제미나이(Gemini), 지라(Jira)의 MCP 기반 커서(Cursor) 등 다수의 주요 AI 도구가 실제 공격에 노출될 수 있음을 시연했다.

연구에 따르면, 챗GPT는 이메일을 통해 삽입된 악성 명령에 감염될 수 있으며, 연결된 구글 드라이브 계정까지 침해되어 향후 세션 전체가 감염된다. 마이크로소프트의 고객 지원 에이전트는 CRM 데이터를 외부로 유출할 수 있었고, 아인슈타인은 고객 커뮤니케이션을 공격자가 제어하는 이메일로 리디렉션되도록 조작되었다. 또한, 제미니와 마이크로소프트 365 코파일럿은 내부자와 유사한 방식으로 일정 초대 및 이메일을 통해 민감한 정보를 수집했으며, 커서는 개발자 자격 증명을 수집하는 데 악용되었다.

AI 보안 접근법에 대한 근본적 재검토 필요

제니티 CEO 벤 킬거(Ben Kilger)는 “대부분의 조직이 존재조차 인지하지 못한 새로운 공격 영역이 생겨났다”며, 기존의 보안 방식이 AI 에이전트의 실제 작동 방식과 맞지 않음을 지적했다. 특히 사용자를 직접 공격하지 않고 에이전트를 침해하는 방식은, 공격자가 완전히 자동화된 방식으로 민감한 데이터를 탈취하고 워크플로우를 조작하는 것을 가능하게 한다고 밝혔다.

해당 취약점은 이론적 가능성이 아닌 실제 작동하는 공격 체계로, 제니티는 메모리 지속성을 통해 에이전트를 악성 상태로 유지하는 과정을 시연했다. 공격자는 사용자 인지 없이 에이전트를 이용해 기업 내 시스템을 탐색하고, 자동으로 행동하며, 인간 감독을 완전히 우회할 수 있다.

오픈AI와 마이크로소프트 등 일부 공급업체는 제니티의 책임 있는 공개 이후 취약점 패치를 배포했으나, 다른 일부 기업은 해당 현상이 "의도된 기능"이라며 수정하지 않고 있다. 이 같은 대응 차이는 생성AI 중심 보안 체계의 미비와 혼란을 여실히 드러낸다.

이번 연구는 마이크로소프트 코파일럿이 17개월 만에 10배 이상 라이선스가 증가하고, 챗GPT가 주간 사용자 8억 명을 기록한 시점에서 발표되었다. 이는 기업들이 보안 체계 확립 없이 AI 에이전트를 대규모로 도입하고 있음을 보여주며, 현재의 보안 인프라가 이러한 위협을 감지·차단하지 못하는 현실을 반영한다.

제니티는 이번 연구를 단순한 위협 발표에 그치지 않고, 방어자들에게 동일한 수준의 인사이트를 제공하기 위한 보안 권장사항과 기술 분석 자료를 공개했다. 이 자료는 labs.zenity.io를 통해 전체 열람이 가능하다. 

이번 에이전트 플레이어 공개는 생성AI 시대의 보안 위협이 이미 현실화되었으며, 대응 방안 역시 기존의 ‘사용자 중심’에서 ‘에이전트 중심’으로 전환되어야 함을 보여준다. 단순한 기능 테스트 수준을 넘어서, 운영 환경에서의 자동화된 위협을 방지하기 위한 보안 플랫폼과 정책이 절실히 요구된다. AI 도입이 비즈니스 경쟁력의 핵심이 된 지금, 보안은 선택이 아닌 필수가 되고 있다.

[알림] GTT KOREA GTT SHOW는 오는 8월 12일 오후 2시부터 3시까지 “피해 큰 BPF Door 같은 커널 기반 악성코드 막는 EDR과 마이크로세그멘테이션 실전 보안 전략”을 주제로 웨비나를 진행합니다. BPF Door 같은 커널 기반의 악성코드가 사용하는 공격 기법과 침투 단계별 위협의 소개, EDR과 마이크로세그멘테이션이 어떻게 상호보완적으로 작동하여 침입 초기 탐지부터 내부 확산 차단까지 이어지는 보안 체계의 구축 전략과 새로운 형태의 변종 공격에 유연하게 대응하는 제로 트러스트 기반 보안 전략을 실전 사례와 함께 제시합니다.