AI 기술이 빠르게 발전함에 따라, 기존 보안 솔루션으로 대응하기 어려운 새로운 안전 문제와 보안 위협이 대두되고 있다. 또한, AI 애플리케이션이 멀티모델과 멀티클라우드 환경에서 운영됨에 따라 보안 취약점도 더욱 새롭고 복잡해지고 있다.

또한 기업이 공공 데이터를 넘어 내부의 민감한 데이터까지 AI 모델 학습에 활용하면서 위험은 더욱 커지고 있으며, 이러한 모델 또는 애플리케이션 수준에서 발생할 수 있다. 따라서, 기업의 안전한 AI 도입을 위해서는 모든 사용자와 애플리케이션을 보호하는 통합적인 보안 계층이 필요하다.

글로벌 보안 기업 시스코(Cisco)가 안전한 AI 애플리케이션 개발 및 배포, 접근 보안을 강화하는 기능으로 기업의 AI 전환을 지원하는 보안 솔루션 ‘AI 디펜스(Cisco AI Defense)’를 발표했다.

안전한 AI 애플리케이션 개발 및 배포

AI가 보편화됨에 따라 기업은 수백, 수천 개의 AI 애플리케이션을 활용하고 개발한다. 이에 개발자는 모든 애플리케이션에 적용할 수 있는 일관된 보안 및 가드레일이 필요하다.

AI 디펜스는 다양한 플랫폼에 걸쳐 ▲AI 시스템 파악 ▲모델 검증 ▲런타임 보안 등의 기능을 통해 AI 시스템과 모델 행동(model behavior)을 보호한다.

AI 디펜스는 공공 및 프라이빗 클라우드에서 승인, 인지 또는 감독 없이 사용되는 AI 애플리케이션을 탐지하는 ‘AI 시스템 파악’ 기능으로 애플리케이션을 개발하는 주체와 그들이 사용하는 트레이닝 소스를 파악할 수 있다.

자동화된 테스트를 지원하는 ‘모델 검증’으로 AI 모델이 가진 수백 가지의 잠재적 안전 및 보안 문제를 점검하고, AI 기반 알고리듬 레드팀이 취약점을 식별해 적절한 가드레일을 추천한다.

또한 지속적인 검증을 하는 ‘런타임 보안’ 기능을 통해 프롬프트 인젝션(prompt injection), 서비스 거부, 민감한 데이터 유출 등 잠재적인 안전 및 보안 위협을 지속적으로 방어한다.

AI 애플리케이션 접근 보안 강화

한편, 생산성 향상을 위해 요약 툴과 같은 AI 애플리케이션을 빠르게 도입 후 사용함에 따라, 보안 팀은 데이터 유출과 기업 데이터 오염을 방지해야 한다.

이에 AI 디펜스는 ▲직원들이 사용하는 비인가 AI 지원 애플리케이션에 대한 데이터 시각화 ▲비인가 AI 도구에 직원의 접근을 제한하는 정책 구현 ▲위협 및 기밀 데이터 손상을 방지 및 규정 준수 등을 지원한다.

특히, 개별 AI 모델에 내장된 가드레일과는 달리, 시스코는 멀티모델 환경에서도 일관된 제어 기능을 제공한다. AI 디펜스는 시스코의 독자적인 ML 모델을 활용해 스플렁크와 시스코 탈로스의 위협 인텔리전스 데이터를 기반으로 매시각 업데이트되는 AI 안전 및 보안 문제를 탐지 및 대응한다.

AI 디펜스는 시스코의 통합 AI 기반 보안 플랫폼인 시스코 시큐리티 클라우드(Cisco Security Cloud)에 탑재되어 있으며, 여러 시행 지점(enforcement points)을 활용해 네트워크 단에서 AI 보안을 구현한다.

한편, 시스코는 미국 비영리 연구개발 단체 마이터(MITRE), 국제웹보안표준기구(OWASP), 미국 국립표준기술연구소(NIST)를 비롯한 글로벌 기관들과 협력해 AI 보안 산업 표준 개발에 참여해 왔다.

시스코 지투 파텔(Jeetu Patel) 부회장 겸 최고제품책임자는 “시스코 AI 디펜스는 네트워크 패브릭에 통합되어 있어 AI 애플리케이션을 개발하거나 접근하는 과정에서 발생하는 위협을 효과적으로 탐지하고 방어할 수 있다.”라고 설명했다.