생성AI의 발전은 사이버 범죄의 양상과 속도를 획기적으로 변화시키고 있다. 단순 자동화를 넘어 자율적으로 공격을 설계·수행하는 AI의 등장은 기존 방어체계의 근본적인 재정비를 요구하고 있다. 특히 기업 재무·보안 시스템에 대한 정밀 타깃 공격이 증가하는 가운데, AI 기반 위협 탐지 및 대응 기술이 절실해지고 있다.

실시간 사이버 보호 솔루션 기업 맬웨어바이츠(Malwarebytes)가 사이버 위협 분석 보고서 ‘AI 시대의 사이버 범죄(Cybercrime in the Age of AI)’를 발표했다.

이 보고서는 위협 행위자들이 생성AI를 활용해 새로운 형태의 사이버 공격을 하는 방식을 밝히고 있으며, AI 에이전트가 조만간 훨씬 더 빈번하고 정교하며 탐지하기 어려운 사이버 공격의 시대를 열 것으로 예측했다.

보고서는 AI 생성 피싱 캠페인, 딥페이크 사기, 맬웨어 등 사이버 범죄자들이 사용할 수 있는 도구의 증가하는 위협의 종류 기업이 이러한 공격으로부터 방어하는 전략을 설명한다.

생성AI, 사이버 범죄 접근성과 정밀성 높여

오늘날 위협 행위자들은 이러한 도구를 사용해 멀웨어를 작성하고, 설득력 있는 피싱 이메일을 만들고, 현실적인 사회 공학적 공격(Social Engineering)을 시작한다.

2024년 1월의 한 사례에서 한 금융 담당자는 전적으로 AI 생성 딥페이크로 채워진 회사 임원과의 영상 통화 중에 2500만 달러를 이체하도록 조종당했다.

범죄자들은 또한 프롬프트 체이닝, 프롬프트 주입 및 탈옥과 같은 기술을 사용해 내장된 AI 안전 장치를 우회하는 방법을 발견해 자체 악성 출력을 생성했다.

2023년 맬웨어바이츠 연구원들은 프롬프트 체이닝을 사용해 챗GPT가 이를 방지하기 위한 안전 장치에도 불구하고 랜섬웨어를 작성하도록 속일 수 있음을 입증했다.

인간 해커를 대체하는 자율 AI 공격

한편, 보고서는 생성AI가 이미 사이버 범죄의 진입 장벽을 낮춘 반면, 보고서는 에이전트형 AI가 이러한 종류의 공격을 확대할 태세를 갖추고 있다고 경고했다.

에이전트형 AI는 인간 공격자를 대체해 랜섬웨어와 같은 노동 집약적인 기술을 자동화, 가속화 및 확장할 수 있으며, 공격적인 사이버 보안을 위한 AI 에이전트 ▲리퍼 AI(Reaper AI) ▲오토어태커(AutoAttacker) ▲구글 빅 슬립(Big Sleep) 등이 개발됐다.

이러한 사례는 사이버 보안의 새로운 장을 열었으며, AI는 더 이상 공격자를 위한 도구일 뿐만 아니라 AI 자체가 공격자가 되어 대규모로, 24시간 내내, 인간 방어자가 따라잡기 어려울 정도의 속도로 작동한다.

사이버 범죄자들이 AI 에이전트를 개발하고 배포하는 데 점점 더 능숙해짐에 따라 이러한 도구는 필연적으로 노동 집약적인 공격, 특히 가장 위험한 종류인 대규모 랜섬웨어 공격의 양과 속도를 높이는 데 사용될 것이다.

AI 위협 대응하는 MDR 솔루션 필요

보고서는 AI 기반 사이버 위협에 대응하기 위해 조직은 공격 표면을 축소하고, 시스템을 지속적으로 모니터링하며 경보에 즉각 반응하는 체계를 구축해야 한다고 강조했다. 증가하는 AI 생성 위협을 포착하고 24시간 전문가 분석가를 사용해 진화하는 전술을 파악할 수 있는 엔드포인트를 보호할 수 있는MDR의 배포도 필요하다고 했다.

특히 맬웨어바이트의 쓰렛다운(ThreatDown) 관리형 탐지 및 대응(MDR) 솔루션은 AI 기반 위협을 식별하고, 전문 분석가가 상시 전술 변화를 분석하여 보안 태세를 강화하는 방식으로 대응력을 확보할 수 있다고 밝혔다.

멀웨어바이트의 창립자이자 CEO인 마르친 클레친스키는 “사이버 범죄는 단순한 양적 증가가 아닌, 상상할 수 없었던 새로운 사기와 자동화의 시대로 접어들었다”며 “멀웨어바이트는 진화하는 위협을 방어할 수 있는 솔루션을 지속적으로 제공할 것”이라고 말했다.