AI 기술이 급속히 발전하면서, 단순한 이론적 논의 수준을 넘어서 기업 실무에 즉각적이고 실질적인 위협이 되고 있다. 취리히대학교 연구에 따르면 AI 관련 위험은 ‘자율성의 폭주’ 같은 가상의 미래보다, 현재 조직 내에서 발생 중인 AI 환각(hallucination), 민감 데이터 유출, 자율 에이전트의 오작동 등 실제 현상에 기반하고 있다. 문제는 많은 기업들이 이러한 위협을 충분히 인식하거나 통제할 준비가 돼 있지 않다는 데 있다.

기업이 직면한 주요 AI 리스크 유형

① AI 환각 및 조작된 출력

최신 대규모 언어 모델(LLM)은 외형상 신뢰할 수 있는 문장 구조와 근거를 갖춘 정보처럼 보이지만, 실제로는 잘못된 인용, 존재하지 않는 URL, 조작된 데이터 등을 포함해 허위 정보를 생성할 수 있다. 이는 단순 오류가 아니라, 복잡한 모델 구조에서 나타나는 구조적 환각이며, 숙련된 사용자도 오도될 수 있는 위험성이 있다.

② 기밀 데이터 유출

직원들이 업무 효율을 위해 AI 툴에 입력하는 재무 데이터, 고객 정보, 전략 문서, 코드 등은 외부 모델의 학습 자료로 사용될 수 있다. 이러한 무의식적 유출은 기업의 지식 자산 탈취는 물론, GDPR·HIPAA·국내 개인정보보호법 등 규정 위반 소지가 있으며, 벌금, 평판 손상, 경쟁력 약화로 이어질 수 있다.

③ 자율형 AI 에이전트의 통제 불능

구글의 A2A(Agent-to-Agent) 프레임워크, 모델 제어 프로토콜(MCP) 등으로 발전된 자율 에이전트는 독립적인 판단, 작업 자동 수행, 기억 기반 의사결정이 가능하다. 이는 사용자 개입 없이 시스템에 영향을 미칠 수 있으며, 명확한 통제·로깅 시스템이 없다면 운영 불투명성과 보안 위협을 초래한다.

위협 대응·규정 준수 기능 통합 AI 보안·거버넌스 플랫폼으로 대응

보안 플랫폼 전문 기업 제로트러스티드에이아이(ZeroTrusted.ai)가 AI 환각과 민감정보 유출, 자율형 AI 에이전트의 운영 리스크 등 현실화된 위협에 대응하는 AI 보안·거버넌스 플랫폼을 발표했다.

제로트러스티드에이아이의 보안 플랫폼은 ▲AI 방화벽 ▲실시간 모니터링  ▲폐쇄형 에이전트 거버넌스 ▲컴플라이언스 프로파일 ▲감사 로그 기능으로 기업 보안 위협 키우는 자율형 AI 리스크를 완화한다.

‘AI 방화벽’ 기능은 실행 중 민감 데이터 유출 차단하며 ‘실시간 모니터링’ 기능은 환각 현상, 편향, 데이터 드리프트, 정책 위반을 감시한다. ‘폐쇄형 에이전트 거버넌스’ 기능은 A2A(Agent-to-Agent), MCP(Model Control Protocol) 등 자율형 에이전트 활동에 대한 통제를 지원한다.

‘컴플라이언스 프로파일’ 기능은 GDPR, HIPAA, ISO 42001 등 규정 및 사내 정책과의 정합성을 확보하고 ‘감사 로그’로 모든 모델·에이전트 활동 기록을 통한 추적성·책임성을 확보할 수 있다.

이를 통해 대규모 언어 모델(LLM)의 환각 문제와 민감 데이터의 노출 리스크를 완화하고, 자율형 AI 에이전트의 통제를 강화할 수 있다.

제로트러스티드에이아이 측은 “AI는 더 이상 이론적 기술이 아닌 실제 운영 환경에서 작동하는 시스템으로 자리 잡고 있다.”라며, “이제 중요한 것은 신뢰가 아니라 검증이며, 지속적인 감시와 제어 체계를 통해 AI의 윤리성과 안정성을 확보해야 한다.”라고 말했다.