머신러닝(ML) 구성 요소를 포함한 소프트웨어 시스템은 종종 운영 환경에서 실패하는 경우가 많다. 그 이유 중 하나는 ML 모델이 종종 고립된 상태에서 개발되기 때문에 시스템 및 운영 요구 사항과 제약 조건에 따라 테스트 및 평가가 불가능하기 때문이다.

카네기 멜론 대학교(CMU)의 소프트웨어 엔지니어링 연구소(SEI)는 이 문제를 해결하기 위해 ML 기반 소프트웨어 시스템을 개발하는 팀을 지원하는 새로운 도구를 출시했다고 발표했다.

깃허브(GitHub)에서 다운로드할 수 있는 머신러닝 테스트 및 평가(MLTE)는 이해관계자들이 생성한 품질 속성 요구 사항을 기반으로 ML 모델을 테스트하기 위한 반자동화된 프로세스 및 인프라다.

ML 모델 개발자는 종종 고립된 환경에서 작업을 진행한다. 그들은 전체 시스템이나 운영 환경에 대한 지식이 부족하다. 이 맥락이 없으면 개발자는 모델의 정확도, 즉 출력의 예측 가능성만 평가할 수 있다. 모델이 전달된 후 소프트웨어 엔지니어와 품질 보증 팀은 이를 테스트할 명세서나 지식이 없는 경우가 많다. 이들 그룹은 모델이 실제 운영에서 얼마나 잘 작동할지를 평가할 수 없다.

SEI의 수석 연구원이자 전술 및 AI 기반 시스템 이니셔티브(Tactical and AI-Enabled Systems Initiative)를 이끄는 그레이스 루이스는 "핵심은 많은 모델이 적절한 테스트를 거치지 않았기 때문에 운영 환경에서 실패한다는 점이다."라며, "모델 문제로 인해 ML 기반 시스템이 운영 테스트에서 실패하면, 모델을 다시 훈련시키기 위해 새로운 데이터를 수집해야 할 경우 시스템 납품에 큰 지연이 발생한다."고 말했다.

ML 기반 소프트웨어 개발의 이러한 격차를 메우기 위해, 루이스와 SEI 팀은 미국 육군 인공지능 통합 센터(AI2C) 및 CMU 컴퓨터 과학부의 크리스찬 케스트너 부교수와 협력했다.

그들은 MLTE를 개발했으며, 이는 전통적인 소프트웨어 개발의 모범 사례를 ML 모델 테스트 및 평가(T&E)에 적용한다. 이 프로세스는 ML 개발자 뿐만 아니라 ML 기반 소프트웨어 프로젝트의 모든 이해관계자를 모아 시스템 요구 사항을 바탕으로 모델의 품질 속성 요구 사항을 협상하게 한다.

이러한 속성은 자동화된 내부 및 시스템 종속 테스트를 위한 명세서로 변환된다. 테스트 결과는 개발자 및 다른 이해관계자들이 모델이 운영 준비가 되었는지 여부를 결정할 수 있도록 보고서에 기록된다. 준비가 되지 않았다면, 해당 보고서는 추가 반복 및 테스트에 대한 정보를 제공할 수 있다. MLTE 인프라 내의 특수 라이브러리는 이 프로세스의 일부를 자동화한다.

루이스는 "MLTE는 ML 모델 개발자가 설계 및 개발에 대해 정보에 입각한 결정을 내릴 수 있도록 시스템 및 운영 맥락을 제공한다. 다른 이해관계자들은 모델 요구 사항이 현실적인지 더 잘 이해할 수 있어, 문제를 운영 테스트나 운영 환경에서 발견하기 전에, 초기 과정에서 감지하고 해결할 수 있다."고 말했다.

MLTE는 ML 모델 및 시스템 품질의 협상, 명세 및 테스트를 가능하게 하는 시스템 중심의 품질 속성 기반 반자동화 프로세스 및 인프라다. 이는 ML 구성 요소를 구축하는 팀 간의 기대치 불일치를 감지하는 이전 SEI 도구인 TEC를 통합한다. TEC와 MLTE는 모두 국방부 전반에 걸쳐 ML 기능의 통합된 테스트 및 평가(T&E)를 확립하려는 SEI의 노력의 일환이다.