AI 에이전트의 상용화 속도가 빨라지면서, 기업은 이제 단순 모델 정확도보다 자사 환경에서 얼마나 유효하게 작동하는가를 측정해야 하는 상황에 놓였다. 그러나 대부분의 공개 벤치마크는 범용적인 테스트 위주로 설계돼, 기업의 고유한 비즈니스 로직이나 내부 코드 구조를 반영하지 못한다.

특히 금융, 제조, 헬스케어처럼 규제와 데이터 복잡성이 높은 산업에서는 공공 벤치마크로는 실제 운영 환경의 신뢰성을 검증하기 어렵다. 이로 인해 기업 맞춤형 벤치마크에 대한 수요가 급격히 증가하고 있다.

AI 에이전트 인프라스트럭처 전문 기업 런루프AI(Runloop.ai)가 기업별 맞춤형 벤치마크를 구축할 수 있는 ‘커스텀 벤치마크(Custom Benchmarks)’ 제품을 공개했다고 밝혔다.

보안·정확성·확장성 갖춘 벤치마크 자동화 인프라

커스텀 벤치마크는 기업이 보유한 독자적 코드베이스와 업무 로직을 기준으로 AI 에이전트의 성능을 측정·개선할 수 있다.  기업 내부의 지식 자산을 안전하게 보호하면서도, 현실적인 테스트 환경을 재현할 수 있다.

첫째, 지적 재산을 외부에 노출하지 않고 자사 코드에 기반한 테스트를 수행한다. 둘째, 실제 운영 조건에서 AI 에이전트의 효율성과 대응력을 검증한다. 셋째, 수천 건의 테스트를 동시에 처리할 수 있는 독립적 실행 환경을 제공한다. 넷째, 업무별 미세조정(fine-tuning)을 위한 데이터 기반 개선 피드백을 제공한다.

도메인 전문성 기반 고정밀 벤치마크 구축

런루프AI는 이번 제품의 기술력을 검증하기 위해 데이터 생성 전문 기업 퍼마틱스AI(Fermatix.ai)와 전략적 파트너십을 맺고 첫 파일럿 프로젝트를 진행 중이다. 이번 협력에서 런루프AI의 인프라를 활용해 고객 맞춤형 검증 프레임워크를 구축한다. 멀티링구얼 환경에서도 정밀한 벤치마크를 구성할 수 있도록 설계됐으며, 실제 산업별 업무 시나리오를 반영한 테스트가 포함된다.

이번 파트너십은 단순한 데이터 품질 개선을 넘어, AI 에이전트의 성능을 평가하는 글로벌 표준의 변화를 예고한다. 기업은 커스텀 벤치마크를 통해 모델 신뢰도를 객관적으로 검증하고, 특정 업무나 산업별 요구사항에 맞게 지속적으로 개선할 수 있다. 

커스텀 벤치마크는 현재 런루프AI 프로(Pro) 구독 고객에게 제공되며, 퍼마틱스AI의 파일럿 결과는 향후 수개월 내 공개될 예정이다.

런루프AI 조너선 월(Jonathan Wall) CEO는 “AI 에이전트가 프로토타입 단계를 넘어 실제 운영으로 확장되는 지금, 평가 기준 역시 단순한 테스트가 아닌 전략 자산으로 진화해야 한다.”라며 “이번 커스텀 벤치마크는 기업이 좋은 성능의 기준을 스스로 정의하고, 이를 기반으로 실전 환경에서 AI 에이전트를 신뢰할 수 있도록 지원한다.”라고 말했다.