2023년 챗GPT의 등장으로, AI는 영상 제작과 같은 일상 업무부터 위협 탐지와 분석에 이르기까지 다양한 영역에서 활용돼 왔다. 그러나 동시에 공격자들 역시 AI를 무기화하며 사이버 공격 역량을 키우고 있어, 이제는 AI가 방패가 되는 동시에 검이 되는 시대에 접어들고 있다.

글로벌 사이버 보안 기업 카스퍼스키(지사장 이효은)가 LLM을 악용하고 AI 안전장치와 규정을 우회해 사이버 공격 및 데이터를 탈취하는 ‘다크AI’를 통한 공격이 증가하고 있다고 18일 밝혔다. 특히 아시아태평양 지역에서 다크AI의 부상으로 더욱 정교하고 은밀한 공격이 증가할 것으로 예상된다.

다크 AI와 블랙 햇 GPTs의 등장

다크 AI는 LLM을 안전장치와 규제를 제거한 상태로 운영해 범죄적·비윤리적 목적에 사용하는 것을 뜻한다. 이러한 모델은 개인 PC나 외부 서버에 설치되거나 챗봇·자동화 시스템에 통합되어, 필터나 감시 없이 피싱 이메일 작성, 딥페이크 제작, 악성 행위 설계·실행, 민감 데이터 탈취 등의 작업을 자동으로 수행할 수 있다.

이는 안전성, 컴플라이언스 또는 거버넌스 통제에서 벗어나 운영되며, 감시 없이 기만, 조작, 사이버 공격 또는 데이터 남용 등의 대규모 피해로 이어질 위험이 크다.

현재 가장 일반적이고 널리 알려진 악의적 AI 활용 방식으로 ‘블랙 햇 GPTs(Black Hat GPTs)’가 있다. 2023년 중반경부터 등장했으며, 악의적 코드 생성, 대량 혹은 표적 공격용 피싱 이메일 작성, 음성 및 영상 딥페이크 생성, 그리고 레드팀 작전 지원 등 비윤리적·불법적·악성 행위를 수행하기 위해 의도적으로 구축되거나 수정된 AI 모델이다.

블랙 햇 GPT는 비공개 또는 준공개 AI 모델일 수 있으며, 알려진 예로는 ‘웜GPT(WormGPT)’, ‘프로드GPT(FraudGPT)’, ‘다크바드(DarkBard)’, ‘잰소록스(Xanthorox)’ 등이 있다. 이들은 사이버 범죄, 사기, 자동화 공격을 수행한다. 이와 같이 전형적인 다크 AI 활용 사례 외에도, 현재 국가 배후 공격자들이 LLM을 그들의 작전에서 활용하고 있다.

국가 배후 공격자들의 LLM 무기화 전략

최근 오픈AI(OpenAI)는 자사의 AI 도구를 악용하려는 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 방해했다고 발표했다. 우리는 위협 행위자들이 공공 및 사설 위협 생태계에서 생성형 AI를 무기화하기 위한 더욱 교묘한 방법들을 개발할 것으로 예상해야 한다.

오픈AI의 보고서에 따르면, 악의적 행위자들은 LLM을 사용해 설득력 있는 가짜 인물을 생성하고, 대상에게 실시간으로 반응하며, 피해자를 속이고 기존 보안 필터를 우회하기 위한 다국어 콘텐츠를 제작했다.

카스퍼스키 전문가들은 다크 AI 및 AI 기반 사이버 위협 대응 방안을 제시했다.

‘카스퍼스키 넥스트(Kaspersky Next)’와 같은 보안 솔루션을 활용해 공급망 내 AI 기반 악성코드 및 위협을 탐지해야 한다. 또한 AI 기반 공격을 실시간으로 모니터링하기 위한 실시간 위협 인텔리전스 도구를 활용해야 한다.

아울러 섀도우 AI 및 데이터 유출 위험을 줄이기 위한 접근 통제 및 직원 교육을 강화하고 보안 운영 센터(SOC) 구축을 통한 실시간 위협 감시 및 신속 대응 체계를 마련해야 한다.

카스퍼스키 세르게이 로즈킨 META 및 아시아태평양 지역 GReAT 총괄 책임자는 “AI는 본질적으로 옳고 그름을 구별하지 못하며, 단지 명령어를 따를 뿐이다. 보호 장치가 있더라도, APT 공격자들은 끈질긴 존재다. 다크 AI 도구가 더 쉽게 접근 가능해지고 역량이 강화됨에 따라, 아시아태평양 지역의 조직과 개인은 사이버 보안 위생을 강화하고, AI 기반 위협 탐지 기술에 투자하며, 이러한 기술들이 어떻게 악용될 수 있는지에 대해 계속 학습해야 한다”라고 말했다.

[알림] 글로벌 번역 전문 기업 딥엘(DeepL)이 오는 9월 24일 오후 2시부터 3시까지 GTT SHOW의 GTT Webinar 플랫폼을 통해 ‘대량 데이터 번역 품질을 한 단계 높이는 DeepL API 활용 전략’을 주제로 무료 웨비나를 개최한다. 이 웨비나에서는 딥엘 API의 고급 기능과 실제 비즈니스 현장 적용 전략을 구체적으로 다루며, 글로벌 커뮤니케이션 경쟁력을 높일 수 있는 실질적인 해법을 제시한다.