공공 기관들의 인공지능(AI) 사용이 확대됨에 따라, 규제되지 않은 ‘섀도우 AI’ 사용이 데이터 프라이버시 문제와 운영상의 취약점을 포함한 심각한 위험을 초래하고 있다.

이에 인포테크 리서치 그룹이 ‘섀도우 AI 억제를 위한 거버넌스 및 이해관계자 참여 개선’에 대한 보고서를 발표했다. 이 보고서는 거버넌스 프레임워크 강화와 이해관계자 참여 확대를 위한 전략적 지침을 제공한다.

보고서는 공공 기관들이 AI 이점을 극대화하면서 위험을 완화하기 위해 해결해야 할 중요한 거버넌스 격차에 대해 설명한다. AI 역량이 기하급수적으로 발전함에 따라 IT 리더들은 데이터 생태계의 기밀성과 무결성을 유지하기 위해 더 강력한 데이터 보호 조치를 구현해야 한다. 무단 AI 사용이 이미 발생한 경우, 이러한 사용을 규제 준수 프레임워크 내로 가져오기 위한 소급적 통제를 구현할 것을 권장한다.

인포테크는 공공 기관의 섀도우 AI와 관련된 세 가지 주요 위험 유형을 분류했다.

① 거버넌스 및 규제 준수

섀도우 AI는 확립된 거버넌스 구조 외부에서 운영됨으로써 공공기관의 규제 프레임워크를 훼손한다. 승인되지 않은 AI 도구를 사용하는 직원들은 주요 승인 프로세스를 우회하여 데이터 보호법과 규정을 준수하지 않는다. 이러한 무단 사용은 부서들이 윤리적 AI 원칙 준수를 보장하고 의사결정 과정의 투명성을 유지하는 능력을 복잡하게 만들어, 공공기관 운영에 대한 대중의 신뢰가 훼손될 수 있다.

② 운영 보안 위험

승인되지 않은 AI 사용은 공공 기관의 IT 인프라에 중대한 취약점을 가져온다. 직원들이 승인되지 않은 AI 시스템에 민감한 데이터를 입력할 때, 사이버 공격과 데이터 유출을 위한 접근 지점이 생성될 수 있다. 이러한 섀도우 시스템은 적절한 보안 프로토콜이 부족하여 정부 네트워크를 맬웨어 혹은 다른 사이버 위협에 노출시킨다. 적절한 검증 없이 외부 AI 플랫폼을 사용하면 무단 데이터 접근과 공공 기관 정보의 잠재적 악용 위험이 증가한다.

③ 데이터 관리 및 데이터 무결성

섀도우 AI는 검증되지 않은 정보를 공식 기록에 도입함으로써 데이터 생태계의 신뢰성을 손상시킨다. AI가 생성한 데이터가 적절한 검토와 검증 없이 정부  문서에 통합될 경우, 부정확하고 편향되며 사실적으로 잘못된 정보가 부처와 기관 전체에 퍼질 수 있다. 시간이 지남에 따라 이러한 점진적인 데이터 무결성의 손상은 기록의 정확성, 의사결정 과정, 그리고 시민들에게 제공되는 정부 서비스의 전반적인 품질에 상당한 영향을 미칠 수 있다.

보고서는 이러한 과제들을 완화하기 위해 AI 도입 및 사용의 모든 측면을 감독하는 전담 AI 거버넌스 위원회 설립을 제안한다. IT, 법무, 운영 부문의 구성원들로 이루어진 이 교차기능팀은 AI 이니셔티브 승인, 관련 위험 관리, 정책 준수 강제를 담당해야 한다.

또한 공공 기관 내 모든 애플리케이션에 걸쳐 명확하게 정의된 허용 가능한 AI 관행, 조달 절차, 데이터 처리 요구사항이 수립되어야 한다. 발전하는 AI 기술과 새롭게 등장하는 위험에 대한 조정을 보장하기 위해서는 정기적인 정책 검토와 업데이트가 필수적이다.

인포테크 리서치 그룹의 연구 책임자인 폴 체르노우소프는 “섀도우 AI는 표준 IT 거버넌스 프로세스 외부에서 작동하는 AI 도구의 승인되지 않거나 통제되지 않은 사용을 의미한다. 이는 정부의 책임감 있는 AI 도입과 대중의 신뢰를 훼손할 수 있다.”고 지적하면서 “정부 부처와 기관들이 초기 ‘개념 증명’ 투자를 넘어 AI 범위를 확장함에 따라 섀도우 AI의 확산을 관리해야 하는 과제에 직면해 있다.”고 말했다.

[알림] ‘GTT KOREA’와 ‘전자신문인터넷’이 공동으로 주최하는 “NSWS(Next Smart Work Summit) 2024”에서는 글로벌 스마트워크 솔루션 선도 기업들이 참여하여 최신 기술과 시장 동향, 그리고 기업이 당면한 문제의 해결 방안을 심도 있게 다룰 예정이다. 이번 서밋에서는 AI와 스마트워크를 활용한 혁신적인 업무 환경 구축 및 활용 전략 공유와 함께 전시 부스를 통해 기업에 필요한 다양한 스마트워크 활용법을 구체적으로 체험해 볼 수 있는 장도 마련된다.