인공지능(AI) 모델 개발 및 보안 기업 히든레이어(HiddenLayer)가 AI 도입이 가속화됨에 따라 조직이 직면하는 진화하는 보안 문제를 조명한 두 번째 연례 AI 위협 환경 보고서를 발표했다.

이 보고서는 AI 도입과 관련된 증가하는 보안 위험, AI 침해의 실질적인 영향, 적대적 공격에 대한 불충분한 보호 및 거버넌스 책임에 대한 명확성 부족을 조명하기 위해 250명의 IT 리더를 대상으로 설문 조사했다.

보고서는 보안이 AI의 엄청난 잠재력을 여는 열쇠임을 강조했으며, 고무적으로 기업들은 조치를 취하고 있다고 밝혔다. 특히 96%의 응답자는 새로운 위협에 앞서기 위해 2025년에 AI 보안 예산을 늘리고 있다고 답했다.

주요 결과

보고서의 주요 결과로 ▲AI 공격 증가 ▲사건 공개 실패 ▲AI 침해의 실질적 영향 ▲보안 책임자에 대한 내부 논쟁 등이 선정됐다.

74%의 조직이 2024년에 AI 침해를 확실히 인지했다고 보고했으며, 이는 작년에 동일하게 보고한 67%에서 증가해 기업이 AI 시스템을 보호하기 위해 신속하게 조치해야 함을 강조했다.

또한 거의 절반(45%)의 조직이 평판 손상에 대한 우려로 인해 AI 관련 보안 침해를 보고하지 않기로 선택했으며, AI 침해의 실질적인 영향으로 89%는 생산 중인 대부분 또는 모든 AI 모델이 성공에 중요하다고 답했다. 그러나 많은 조직이 포괄적인 안전 장치 없이 계속 운영되고 있으며, 위협을 해결하기 위한 기술 솔루션을 배포한 조직은 3분의 1(32%)에 불과했다.

한편, 76%의 조직이 AI 보안을 누가 통제해야 하는지에 대한 지속적인 내부 논쟁을 보고했으며, 이는 AI가 비즈니스 운영의 중심이 됨에 따라 리더가 소유권을 명확하게 정의해야 함을 보여주었다.

AI 위협 트렌드

또한 보고서는 AI 위협의 주요 트렌드로 ▲섀도우 AI ▲AI 공격 지역 및 벡터 ▲에이전트 ▲레드팀 ▲공식 사고 대응 지침 ▲고급 위협 진화 ▲AIPC 출현을 선정했다.

공식 승인 없이 사용되는 AI 시스템인 ‘섀도우(Shadow) AI’가 시장에서 우려되고 있으며, IT 리더의 72%가 이를 주요 위험으로 지적했다.

AI 공격 소스의 51%는 북미에서 발생한다. AI 위협에 기여하는 다른 지역으로는 유럽(34%), 아시아(32%), 남미(21%) 및 아프리카(17%)가 있다. 한편, 45%가 공용 저장소에서 가져온 모델의 멀웨어에서 침해를 확인했으며, 33%는 챗봇에서, 21%는 타사 애플리케이션에서 발생했다.

앞으로 AI 보안 위협은 2025년에 더욱 정교해질 것이다. 특히, 에이전트 AI 통합은 적대적 AI와 기존 사이버 공격 간의 경계를 모호하게 만들어 새로운 표적 위협을 초래할 것이다. 에이전트 시스템을 통한 피싱 및 데이터 유출이 뜨거운 주제가 될 것으로 예상된다.

또한 딥페이크 기술이 더욱 발전함에 따라 오디오, 시각 및 텍스트 기반 디지털 콘텐츠는 거의 완전한 신뢰도 하락에 직면할 것이다. 이러한 공격에 대처하는 데 도움이 되는 AI 워터마킹의 발전이 예상된다.

조직은 적대적 머신 러닝을 표준 레드 팀 연습에 통합해 배포 전에 AI 취약성을 사전에 테스트할 것이다. 또한 AI 시스템에 맞게 조정된 공식 사고 대응 지침이 개발되어 AI 관련 보안 침해에 대한 구조화된 접근 방식을 제공할 전망이며, AI 위험에 대한 플레이북 개발이 예상된다.

한편, 컴퓨터 비전(CV), 오디오 및 자연어 처리(NLP)와 같은 영역에서 AI가 진화함에 따라 사기, 허위 정보 및 네트워크 공격이 증가할 것이다. 공격자가 AI를 활용해 공격 속도와 규모를 늘리고 침투 테스트 및 보안 연구를 지원하도록 설계된 반자동 공격 모델을 사용할 것으로 예상된다.

또한 하드웨어 공급업체가 AI 기술에 전력을 공급하기 위해 맞춤형 칩셋 및 도구의 발전을 통해 AI를 활용함에 따라 AI 지원 엔드포인트를 대상으로 하는 AIPC(AI 기반 사이버 공격)가 강화될 것으로 예상된다.

히든레이어의 CEO 크리스 세스티토(Chris Sestito)는 “AI 보안은 단순한 보호가 아니라 진행 속도를 높이는 것이다.”라며 “기업들은 포괄적인 보안이 AI 도입을 가속화하고 신뢰를 구축하며 경쟁 우위를 강화한다는 것을 인식하고 있다.”라고 전했다.