AI와 머신러닝 기술은 전 세계 산업 전반에서 업무 자동화와 혁신을 견인하는 핵심 요소로 자리 잡고 있다. 그러나 빠른 도입에 비해 보안 대책은 충분하지 않아 새로운 위협이 커지고 있다. 데이터 유출, 프라이버시 침해, 데이터 편향과 부정확성 등 AI 도입에 따른 위험이 가시화되고 있다.

사이버 보안 전문 기업 콜파이어(Coalfire)는 지금까지 테스트한 생성AI와 에이전트형 AI 애플리케이션 100%에서 해킹에 성공했다고 발표했다. 이를 기반으로 콜파이어는 기업이 안전하게 AI를 활용할 수 있도록 지원하는 공격형 및 방어형 AI 서비스 제품군을 출시했다.

보안 공백 줄이는 보안 테스트

콜파이어는 AI 도입이 빠르게 확산되는 상황에서 보안과 규정 준수를 지원하기 위한 전문 서비스를 공개했다. 기업은 AI 기술을 활용할 때 예상치 못한 보안 취약점에 직면하고 있으며, 해커는 지능형 공격 기법으로 민감한 데이터와 지적 재산권을 노린다.

이에 따라 AI와 머신러닝 시스템의 개발 및 운영 단계부터 공격 표면을 식별하고 대응하는 전문적인 보안 테스트의 필요성이 커지고 있다. 콜파이어는 이러한 보안 공백을 줄이기 위해 AI 준비성 평가, 위협 모델링, 침투 테스트, AI 인증, 위험 자문 등 단계별 서비스를 제공한다.

AI 준비성 평가는 NIST AI 위험 관리 프레임워크와 유럽연합 AI 법을 기반으로 시스템의 위협과 취약점을 식별한다. 위협 모델링과 보안 평가는 OWASP 등 표준 절차를 준수하여 머신러닝 모델에 대한 위험을 분석한다.

침투 테스트는 전문 해커가 생성AI 애플리케이션, LLM, 에이전트형 AI 시스템을 대상으로 보안 취약점을 탐지하고 실제 공격 시나리오를 시뮬레이션하여 위험을 파악하도록 지원한다.

AI 인증 서비스는 기업이 NIST AI RMF 준수 여부를 공식적으로 인증받을 수 있게 한다. AI 위험 자문은 프로그램 설계, 구현, 관리까지 전 과정에서 규정 준수와 보안 강화를 돕는다.

이러한 서비스는 자동화된 검사만으로는 확인하기 어려운 초기 단계의 AI 시스템 취약점을 전문 테스터가 수동으로 검증해 기업이 선제적으로 대응할 수 있도록 한다.

콜파이어 사이버 보안 서비스 부문 부사장 찰스 헨더슨(Charles Henderson)은 “AI의 가능성과 위험은 막대하다. 기업은 AI 도입을 서두르기 전에 보안을 최우선으로 고려해야 한다.”라며 “콜파이어는 보안과 규정 준수를 유지한 채 혁신을 가능하게 하는 포괄적 서비스 세트를 마련했다”고 설명했다.

콜파이어의 이번 발표는 AI 시스템의 보안 취약성이 광범위하게 존재함을 보여주며, AI 시대에 필수적인 보안 관리 전략의 필요성을 강조하고 있다. 전문적인 위협 모델링과 침투 테스트를 기반으로 한 콜파이어의 서비스는 기업이 보안 태세를 강화하고 안전하게 AI를 활용할 수 있는 기반을 제공할 것으로 예상된다.