AI 기술이 기업 운영 전반에 도입되면서, AI가 실제 사용하는 데이터와  의사결정 과정을 투명하게 관리하는 일이 중요해졌다. 특히 독립적으로 동작하는 에이전트 기반 AI 시스템이 확산되면서, 기존 인간 사용자 대상의 IT 거버넌스 체계만으로는 AI의 오작동이나 민감 정보 접근을 제어하기 어려워졌다.

이에 따라 AI의 행위를 감시하고, 데이터 출처와 사용 이력을 추적하며, 인증되지 않은 데이터 사용을 제한하는 새로운 데이터 거버넌스 인프라의 필요성이 제기되고 있다. 유럽연합의 AI 법안(EU AI Act) 등 규제 도입이 본격화되는 가운데, AI의 데이터 사용을 실시간으로 감독하고 통제할 수 있는 구조적 대응이 요구되고 있다.

엔터프라이즈 데이터 옵저버빌리티 플랫폼 기업 빅아이(Bigeye)가 에이전트 기반 AI의 데이터 사용을 통제·관찰·강제하는 ‘AI 트러스트 플랫폼(AI Trust Platform)’을 발표했다.

에이전트 기반 AI 데이터 통제

AI 트러스트 플랫폼은 에이전트형 AI 시스템이 인증된 데이터만을 사용하고, 민감한 데이터에 부적절하게 접근하지 않도록 통제하는 데이터 거버넌스 플랫폼이다. AI가 사용하는 데이터의 품질, 민감도, 인증 여부라는 세 가지 핵심 요소를 기준으로 판단한다.

플랫폼의 핵심 구성은 ▲거버넌스(Governance) ▲옵저버빌리티(Observability) ▲강제성(Enforcement)으로 구성된다.

거버넌스 기능은 AI 에이전트가 고품질, 민감, 인증 데이터를 어떻게 접근하고 활용할 수 있는지에 대한 정책을 적용하고, 이 정책을 강제하는 기능을 제공한다. 옵저버빌리티 기능은 실시간 데이터 라인리지(lineage), 분류(classification), 이상 탐지(anomaly detection)를 통해 AI가 활용하는 데이터의 품질, 보안, 컴플라이언스 상태를 점검할 수 있도록 한다. 강제성 기능은 기업 정책에 따라 각 AI 에이전트의 데이터 접근을 감시하고 조정하는 역할을 수행한다.

이러한 구조는 AI가 데이터를 어떻게 사용하는지 전방위적으로 관찰하고, 신뢰할 수 있는 데이터만을 기반으로 작동하도록 설정할 수 있다. 이를 통해 컴플라이언스 위반, 비효율적 의사결정, 평판 리스크 등 다양한 위험을 사전에 차단할 수 있게 된다.

AI 트러스트 플랫폼은 별도의 인프라 전환 없이 기존 기업 데이터 환경 위에서 동작할 수 있다. 복잡한 구조 변경 없이도 에이전트형 AI의 데이터 거버넌스를 수월하게 적용할 수 있다. 첫 버전은 2025년 말에 출시될 예정이다.

빅아이 엘리너 트레언-존스(Eleanor Treharne-Jones) CEO는 “이제는 AI가 데이터를 기반으로 내리는 결정에도 그 신뢰를 확장해야 할 때”라며 “AI 트러스트 플랫폼은 신뢰할 수 있고 확장 가능한 AI를 실현하기 위한 산업 인프라이며, 우리는 이를 처음부터 새롭게 설계하고 있다.”라고 말했다.