지능형 지속 위협(APT)은 탐지가 어렵고 치밀한 공격 단계로 구성돼 있어 기존 보안 솔루션의 실효성을 시험하는 과제로 부상하고 있다. 정적 지표나 단편적인 이벤트에 의존하는 기존 테스트는 복합 공격의 대응력을 정확히 판단하기 어려운 한계를 가진다.

사이버 보안 제품 테스트 기업 AV컴패러티브(AV-Comparatives, CEO 안드레아스 클레멘티)는 자사가 개발한 최초의 진정한 스텔스 기반 EDR 탐지 테스트를 공식 발표했다.

이 보고서는 2025년 하반기 출간 예정이며, 엠파이어(Empire) 프레임워크를 사용한 은닉 모드 고급 지속 위협(APT) 시뮬레이션을 기반으로 EDR 또는 XDR 솔루션이 원격 측정 분석, 위협 헌팅 및 관리 콘솔 알림을 활용해 복잡한 공격 시퀀스를 실시간으로 얼마나 잘 탐지하는지 평가한다.

탐지 전용 모드·APT 킬 체인 기반 다단계 공격 시나리오 재현

스크립트 기반의 제한적인 범위의 시나리오에 의존하거나 정적 지표를 기반으로 탐지를 가정하는 다른 평가와 달리 이 테스트는 가장 은밀한 실제 위협을 반영해 전체 공격 킬 체인을 복제한다. 특히, 단순히 지표의 존재 여부를 측정하는 것이 아니라 실행 가능한 경고가 트리거되는지, 그리고 원격 측정만으로 위협 헌팅을 통해 의미 있는 통찰력을 추출할 수 있는지를 검증한다.

주요 차별화 요소로 ▲탐지 전용 구성 ▲은닉 지향 실행 ▲전체 킬 체인 범위 ▲근거 기반 검증이 있다. 먼저, 탐지 전용 구성으로 모든 제품은 방지 기능을 비활성화한 상태에서 테스트되어 원격 측정 세분성, 경고 충실도 및 헌팅 가능성과 같은 탐지 메커니즘에만 초점을 맞춘다.

또한 실제 TTP를 사용해 공격 시나리오가 전개되어 도구의 기능을 명시적이거나 배치 스크립트 기반 위협 탐지 이상으로 확장하며, 초기 접근, 실행, 지속성, 수평 이동 및 데이터 유출과 같은 공격의 각 단계를 실행해 모든 공격 단계에서 탐지 범위를 완벽하게 파악할 수 있도록 한다.

마지막으로, 시각화된 원격 측정 추적, 콘솔 경고 및 위협 이벤트 상관 관계를 포함한 증거 기반 방법을 통해 탐지를 검증한다.

모든 보안 제품은 탐지 전용 모드(차단 기능 비활성화)로 설정되며, 핵심 평가지표는 ▲원격 측정 데이터의 세분성과 시각화 능력 ▲위협 이벤트에 대한 실시간 경고의 정확성 ▲콘솔 상의 상관관계 분석 결과의 신뢰도 등이다.

이러한 방식은 탐지 과정의 모든 증거를 추적·기록·분석함으로써, 경고가 실제 공격 맥락을 제대로 반영하고 있는지를 객관적으로 판단할 수 있게 한다.

높은 수준의 탐지 성능 검증

AV-컴패러티브스는 해당 테스트를 통해 탐지 중심의 벤치마크를 새롭게 정립하겠다는 목표를 밝혔다. 테스트 기준을 통과한 솔루션만이 보고서에 이름을 올리며, 기준 미달 솔루션은 공개되지 않지만 제품 개선을 위한 내부 피드백은 제공된다. CEO 안드레아스 클레멘티(Andreas Clementi)는 “업계는 탐지에 대해 말하지만, 우리는 탐지를 직접 측정한다”며, “이번 테스트는 CISO, SOC 팀, 보안 제품 공급업체에 구체적인 인사이트를 제공할 것”이라고 말했다.

테스트에 사용되는 공격 시나리오는 AV-컴패러티브스가 2025년 2월 사이버 보안 서밋에서 공개한 프레임워크에 기반하며, 공급업체의 마케팅 자료가 아닌 실전 데이터를 기준으로 설계된다. 이 테스트는 단순 위협 존재 여부가 아닌, 실행 가능한 경보 발생 여부와 위협 상황 대응 인사이트 제공 여부를 핵심 평가 항목으로 삼는다.

보고서에 포함될 수 있는 테스트 대상은 감지 전용 모드에서 작동 가능한 EDR 또는 XDR 솔루션에 한정된다. 현재 AV-컴패러티브스는 개별 평가 참여 업체를 모집하고 있으며, 보고서에 대한 무료 접근 권한도 제공하고 있다. 

이번 테스트는 APT 대응에 있어 탐지의 정밀도, 경보의 신뢰성, 원격 측정의 분석 역량이 얼마나 중요한지를 입증하며, 전통적인 평가 방식에서 벗어나 실전 중심의 평가 기준을 확립했다. AV-컴패러티브스는 이를 통해 글로벌 보안 제품의 성능 비교에서 새로운 기준을 제시하고 있다.

AV컴패러티브(AV-Comparatives)의 설립자 겸 CEO 안드레아스 클레멘티(Andreas Clementi)는 “업계의 많은 부분이 탐지에 대해 이야기하지만, 우리는 그것을 측정한다.”라며 “이 보고서는 CISO, SOC 팀 및 제품 공급업체에 현실적인 다단계 공격 시나리오에서 도구가 얼마나 잘 작동하는지에 대한 실질적인 통찰력을 제공할 것이다.”라고 전했다.