AI 기술이 공공·산업 전반으로 확장되면서 안전성 검증 체계의 필요성이 커지고 있다. 특히 데이터 품질, 모델 거동, 편향성 등 AI 전주기 검증 요구가 증가하며 이를 구조화해 표준화하려는 움직임이 세계적으로 확대되는 추세다.

한국전자통신연구원(ETRI)이 AI 시스템의 안전·신뢰성을 검증하는 테스트 절차 및 방법론을 정의한 ‘AI 시스템 테스팅 개요’ 표준이 국제표준화기구(ISO/IEC JTC1)에서 공식 제정됐다고 19일 밝혔다.

이번 성과는 5년여에 걸친 노력 끝에 이뤄낸 결과로, 우리나라가 ISO/IEC 인공지능 기술위원회(SC 42)에서 주도적으로 제정한 AI 테스팅 핵심 국제표준이다. 향후 국제 공인시험 및 국제 적합성 시험 평가 등에 활용될 예정이며 고위험 AI 검증을 요구하는 인공지능 기본법 및 EU AI ACT의 기준을 마련했다는 점에서 의미가 크다.

AI 특화 테스트 절차와 주요 검증 항목 정립

이번 표준은 기존 소프트웨어 테스트 표준을 AI 시스템에 맞게 확장했다. AI 특성에 맞춘 ▲데이터 품질 테스트 ▲모델 테스트 등 새로운 테스트 단계를 정의해 종합적으로 검증할 수 있는 기반을 마련했다. 

또한 AI의 잠재적 위험을 사전에 점검하기 위해 ‘위험 기반 테스트’ 개념도 도입했다.이를 바탕으로 ▲AI 편향성 검증을 위한 편향성 테스트 ▲입력값 변화를 이용한 적대적 테스트 ▲운영 중 성능 저하를 확인하는 드리프트 테스트 등 AI 특화 테스트 절차를 구체화했다.

레드팀·생성AI 테스팅까지 확장

이 표준은 앞으로 제정될 ▲AI 레드팀 테스팅 ▲생성형 AI 테스팅 등 후속 표준의 기반이 되는 총론격 표준으로, AI 신뢰성 검증 체계의 근간을 우리나라가 설계했다는 데 큰 의미가 있다.

이번 표준은 ETRI 지능정보표준연구실 전종홍 책임연구원이 제안했고, 소프트웨어 테스트 분야 세계적 권위자이자 소프트웨어 테스팅 전문기업 STA테스팅컨설팅의 기술이사 스튜어트 리드(Stuart Reid) 박사와 함께 공동 에디터로 활동해 완성했다. STA테스팅컨설팅은 ETRI 창업기업 중 하나다.

양 기관은 SC 42와 SW 테스팅 위원회(SC 7) 간의 합동작업반을 구성해 5년간 공동으로 개발을 추진했다. 이번 성과는 정부가 추진하는 소버린 AI(주권형 AI) 및 AI G3 도약 전략의 핵심 목표인 ‘안전하고 신뢰할 수 있는 AI 구현’을 뒷받침하는 기술적 근거가 된다.

ETRI는 이번 제정 표준을 기반으로 현재 개발 중인 후속 테스팅 시리즈 표준인 레드팀 테스팅 표준(ISO/IEC 42119-7)을 비롯해, 온톨로지 표준(ISO/IEC 42119-10), AI 벤치마크(ISO/IEC 42119-11) 등의 후속 시리지를 계속 이어 개발하며 AI 테스팅 국제 표준 시리즈 개발을 선도할 계획이다.

ETRI 방승찬 원장은 “AI의 안전성과 신뢰성을 확보하는 것은 인공지능 시대의 핵심 과제”라며 “이번 국제표준 제정은 대한민국이 AI 기술뿐 아니라 AI 테스팅과 평가 규범을 선도하는 분기점이 될 것”이라고 말했다.

전종홍 책임연구원은 “AI 공통 핵심 표준을 만드는 JTC 1/SC 42 표준화 활동이 강화되어야 한다.”라며 “AI 국가 표준화 전략을 만들고 AI 국제표준화에 보다 적극적이고 장기적인 투자를 해야할 시점”이라고 강조했다.