대규모 언어 모델(LLM)과 생성AI 기술이 기업과 개인의 생산성 향상을 이끄는 한편, 이를 악용하려는 공격자들의 시도가 늘고 있다. 최근 사이버 범죄자는 AI 모델을 단순한 효율 도구가 아닌 공격의 일부로 활용하고 있으며, AI 모델의 안전장치를 우회하거나, 악성 코드를 자동 생성하는 등 보다 정교한 방식으로 기술을 적용하고 있다. 이러한 변화는 AI 기술이 보안 생태계 전반에 미치는 영향을 재평가해야 함을 보여준다.

구글 클라우드가 GTIG(Google Threat Intelligence Group, 구글 위협 인텔리전스 그룹)이 사이버 범죄자들의 AI 활용 양상을 추적한 ‘GTIG AI 위협 보고서(GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools)’를 6일 공개했다고 밝혔다. 

이번 보고서는 AI 플랫폼을 표적으로 삼거나 이를 공격 도구로 사용하는 위협 행위자의 활동을 분석하고, 구글이 이에 대응해 취한 보안 조치를 포함하고 있다.

멀웨어에 ‘저스트 인 타임’ AI 기능 첫 적용

GTIG는 프롬프트플럭스(PROMPTFLUX) 및 프롬프트스틸(PROMPTSTEAL)과 같은 멀웨어 유형이 실행 과정에서 대규모 언어 모델을 활용하는 것을 확인했다. 이 유형의 멀웨어는 실행 중 악성 스크립트를 동적으로 생성하거나, 자체 코드를 난독화해 탐지를 회피하며, 사전에 악성 기능을 하드코딩하지 않고 AI를 통해 실시간으로 생성한다. 이 방식은 향후 더 자율적이고 유연한 형태의 멀웨어로 발전할 가능성이 있다.

한편 위협 행위자들은 AI 모델의 안전장치를 회피하기 위해 소셜 엔지니어링 기법을 프롬프트에 적용하고 있다. 실제로 일부 공격자는 사이버 보안 연구원이나 해킹 대회 참가 학생으로 위장해 AI 모델 제미나이(Gemini)로부터 원래 차단돼야 할 정보를 얻어내는 사례가 확인됐다. 이를 통해 공격자는 AI를 이용한 도구 개발 및 정보 획득을 시도하고 있다.

AI 도구 불법 거래 시장 확산과 공격 생태계 고도화

GTIG는 불법 AI 도구를 판매하는 지하 시장이 2025년 성숙 단계에 진입했다고 분석했다. 피싱, 멀웨어 개발, 취약점 연구를 지원하는 다기능 도구들이 다수 등장하면서, 기술력이 낮은 공격자들도 손쉽게 AI를 이용해 공격을 수행할 수 있는 환경이 조성되고 있다. 

특히 중국, 러시아, 북한, 이란 등 국가 기반 위협 그룹은 정찰 및 피싱 미끼 제작, C2(Command and Control) 개발, 데이터 유출 등 공격 라이프사이클 전반에서 AI를 적극 활용하고 있는 것으로 나타났다.

GTIG 빌리 레오나드(Billy Leonard) 기술 리드는 “공격자들은 주류 AI 플랫폼을 활용하려 하지만, 안전 장치로 인해 제한을 받게 되자 지하 사이버 범죄 시장의 AI 도구로 눈을 돌리고 있다.”라며 “이러한 제한 없는 도구는 기술 수준이 낮은 공격자들에게도 상당한 이점을 제공하며, 범죄자들의 진입 장벽을 더욱 낮추고 있다.”라고 말했다.