AI 시스템이 점차 기업 운영 전반에 통합되면서 모델의 보안, 투명성, 추적 가능성 확보는 필수 요건으로 떠오르고 있다. 특히, 상호 운용되는 에이전트 시스템과 오픈소스 기반 모델이 빠르게 확산되는 상황에서, AI 개발·운영 전주기에 걸친 위협 관리와 가시성 확보는 기업 보안팀의 가장 큰 과제가 되고 있다.

글로벌 보안 기업 히든레이어(HiddenLayer, CEO 크리스 세스티토)가 전체 개발 및 배포 라이프사이클 전반에서 AI 시스템 보안을 업데이트한 인텔리전스 플랫폼 ‘AISec 플랫폼 2.0’을 출시했다.

이번 업데이트로, ‘모델 계보(Model Genealogy)’ 및 ‘AI 부품 명세서(AI Bill of Materials, AIBOM)’를 추가로 제공하며, 플랫폼의 관찰 가능성 및 정책 기반 위협 관리 기능을 확장했다.

AI 보안 통제력을 확장하는 주요 기능

먼저, AI 모델의 계통 및 이력 정보인 모델 계보를 공개해 시간이 지남에 따라 모델이 어떻게 훈련, 미세 조정 및 수정되었는지 추적하며, 설명 가능성, 규정 준수 및 위협 식별 기능을 지원한다.

AIBOM은 모든 스캔된 모델에 대해 자동으로 생성되는 모델 구성 요소, 데이터 세트 및 종속성에 대한 감사 가능한 인벤토리를 제공한다. 산업 표준 형식으로 내보낼 수 있어 조직은 공급망 위험을 추적하고, 라이선스 정책을 시행하고, 규제 준수 요구 사항을 충족할 수 있다.

한편, 향상된 위협 인텔리전스 및 커뮤니티 인사이트로 허깅 페이스와 같은 오픈 소스의 데이터를 전문가 분석 및 커뮤니티 인사이트로 보강해 새로운 ML 보안 위험에 대한 실행 가능한 인텔리전스를 제공한다.

또한 업데이트된 대시보드는 레드 팀 운영 및 원격 제어 기능을 제공해 모델 환경 전반에서 더 심층적인 런타임 분석 및 사고 대응을 가능하게 하며, 프롬프트 주입 시도, 오용 패턴 및 에이전트 동작에 대한 가시성을 제공한다.

AI 보안 운영 자동화

AISec 플랫폼 2.0을 통해 실험에서 생산까지 걸리는 시간을 몇 달에서 몇 주로 단축해 모델 개발을 가속할 수 있으며, 보안팀은 AI 모델이 어떻게, 어디에서, 누가, 어떤 수준의 액세스 권한으로 사용되고 있는지에 대한 완전한 가시성을 확보할 수 있다.

또한 화이트 글러브 정책 권장 사항 및 원격 측정 기반 시행 도구를 통해 모델 거버넌스 및 시행을 자동화하며, AI를 고위험 이니셔티브에서 확장 가능하고 안전한 엔터프라이즈 기능으로 전환해 AI를 배포한다.

히든레이어 CEO 크리스 세스티토(Chris Sestito)는 “에이전트 시스템의 확산으로 인해 의미 있는 보안 결과를 도출하는 데 맥락이 핵심”이라며 “새로운 AISec 플랫폼은 엔터프라이즈 및 정부 환경 전반에서 보안을 보장하고 활성화하는 데 필요한 상호 운용 가능한 AI 시스템에 대한 가시성을 제공한다.”라고 말했다.