오탐(false positives)은 탐지 시스템이 무해한 이벤트를 위험으로 잘못 식별할 때 발생한다. 이는 비밀을 포함한 대부분의 보안 취약점에서 흔히 발생하는 문제인데, 시간과 자원의 낭비일 뿐만 아니라 불필요한 스트레스를 유발하고 팀을 지치게 한다. 결국 너무 많은 오탐지로 인해 실제 위협이 발생했을 때 팀이 이를 무시할 위험이 있다.

그러나 어떤 감지기도 완벽할 수는 없다. 일부 오탐은 항상 발생할 수밖에 없다. 그렇지 않다면 탐지 범위가 너무 좁아서 많은 진탐(true positive)을 놓치게 되어 크고 작은 보안 침해로 이어질 수 있다. 여기서의 과제는 올바른 균형을 찾는 것이다. 진탐을 놓치지 않으면서 사용자에게 가능한 한 적은 오탐을 표시하는 것이다.

자동화된 비밀 탐지 및 해결 전문 기업인 깃가디언(GitGuardian)은 자체 개발한 머신러닝 기반의 ‘FP 리무버(FP Remover)’가 최첨단 비밀 탐지 엔진의 정밀도를 새로운 수준으로 끌어올려 최대 50%의 오탐을 제거할 수 있다고 발표했다.

FP 리무버는 개발자처럼 코드를 이해하고 오탐을 식별할 수 있다. 코드 특정 구문이나 맥락 이해를 바탕으로 실제로는 비밀이 아닌 잠재적 비밀을 인식한다. 자체 개발한 머신러닝으로 구동되며, 대량의 코드 데이터로 학습된 트랜스포머 아키텍처를 기반으로 하고 깃가디언의 비밀 탐지 데이터세트로 미세 조정되었다. FP 리무버는 사용자의 보안과 개인정보 보호를 보장한다. 사용자 데이터는 절대로 깃가디언의 인프라를 벗어나지 않는다.

일반적인 비밀의 경우 FP 리무버는 비밀로 잘못 식별된 10%의 오탐지 중 절반을 제거하지만, 0.3%의 진탐도 제거한다. 이러한 절충은 깃가디언의 비밀 감지가 매우 낮은 진양성 누락률을 가질 만큼 포괄적이기 때문에 수용 가능한 것으로 간주된다.

FP 리무버는 실제 사건 감지에 영향을 주지 않으면서 보안 및 엔지니어링 팀의 효율성을 크게 향상시킬 수 있다.

깃가디언의 CEO 에릭 푸리에(Eric Fourrier)는 “깃가디언의 머신러닝 전문가와 비밀탐지팀이 힘을 합쳐 비밀 탐지를 위해 뛰어난 신호 대 잡음 비율을 제공하는 ML 모델 ‘FP 리무버’ 만들었다. 이 모델은 사용자가 해결해야 하는 사건의 수를 줄여 실제로 노출된 비밀에 집중할 수 있게 해준다.”라고 설명했다.