보안에 관한 한 인간은 기업에서 가장 약한 고리로 간주된다.  사이버 보안 사고의 95% 이상이 인간의 실수로 인해 발생하는 것을 보면 당연한 일이다. 인간은 변덕스럽고 오류가 많으며 예측할 수 없기 때문에 조직의 시스템에 침입하려는 사이버 범죄자들의 쉬운 표적이 된다.

그렇기 때문에 기계에 대한 의존도가 더욱 중요하다. 지금까지 우리는 코드를 사용해 작동하는 기계를 신뢰할 수 있었다. 코드의 취약점이나 인간 운영자의 사회적 결함으로 인해 손상될 수 있지만, 일반적으로 문제는 명확한 솔루션으로 해결된다.

그러나 생성AI와 대형 언어 모델 (LLM)의 등장으로 이제 AI를 속여 의도하지 않은 작업을 수행하도록 하는 사회공학 공격에 직면해 있다.

이 복잡하고 진화하는 AI 보안 환경을 탐색하는 것은 역시 인간의 몫이다. 이를 위해서는 CISO가 AI의 장점과 단점을 명확하게 전달하고 AI 기반 제품 및 기능과 관련된 보안 고려 사항을 인식해야 한다.

생성AI의 급격한 구현으로 새로운 사이버 보안 문제 발생

생성AI와 LLM에 관련된 일반적인 문제는 AI 생성 콘텐츠에 대한 과도한 의존이다. 인간의 입력이나 감독 없이 오해의 소지가 있거나 잘못된 정보를 확인하거나 확인하지 않고 AI 생성 콘텐츠를 신뢰하면 잘못된 의사결정과 잘못된 데이터가 전파될 수 있다. LLM은 환각을 일으키는 것으로 알려져 있으므로 일부 허위 정보는 악의적인 의도에서 비롯되지 않을 수도 있다.

같은 맥락에서, 생성AI의 발전에 따라 도입되는 안전하지 않은 코드의 양 역시 사전에 예상하지 못하더라도 CISO에게 중요한 과제가 될 것이다. AI 엔진은 보안 취약점이 있는 버그 코드를 작성하는 것으로 알려져 있다. 인간의 적절한 감독 없이 생성AI는 적절한 기술 기반이 없는 사람들에게 코드를 전송할 수 있는 권한을 부여한다. 이는 이러한 도구를 부적절하게 사용하는 조직의 소프트웨어 개발 수명주기 전반에 걸쳐 보안 위험을 증가시킨다.

데이터 유출은 또 다른 일반적인 문제다. 경우에 따라 공격자들은 AI 모델이 다른 사용자로부터 학습한 민감한 정보를 추출하는 데 프롬프트 주입을 사용할 수 있다. 이는 대부분 무해하지만 악의적인 사용이 확실히 배제되는 것은 아니다.

AI는 격차를 해소할 상당한 잠재력 보유

생성AI와 LLM의 확산은 몇 가지 이유로 인해 보안상 위험할 수 있다.

첫째, 생성AI로 코드를 생성하는 기능은 소프트웨어 엔지니어에 대한 기준을 낮춰 결과적으로 코드가 약해지고 보안 표준도 더욱 약해진다.

둘째, 생성AI에는 방대한 양의 데이터가 필요하다. 이는 데이터 침해의 규모와 영향이 기하급수적으로 증가한다는 것을 의미한다.

셋째, 새로운 기술과 마찬가지로 개발자는 구현이 악용되거나 남용될 수 있는 방식을 완전히 인식하지 못할 수 있다.

그럼에도 불구하고 균형 잡힌 관점을 채택하는 것은 중요하다. 생성AI의 코드 생성 촉진은 우려를 불러일으킬 수 있지만 사이버 보안 환경에 긍정적인 영향도 미친다. 예를 들어, XSS(Cross-Site Scripting) 또는 SQL 삽입과 같은 보안 취약점을 효과적으로 파악할 수 있다.

따라서 AI를 단지 해로운 것으로만 볼 것이 아니라, AI와 사이버 보안에 대한 인간의 개입 사이의 보완적인 관계를 형성해야 한다.

인간은 AI가 남긴 것을 주워 온다

CISO는 생성AI의 복잡성을 해결하는 데에 그쳐서는 안 된다. 생성AI가 지배하는 세계에서 조직이 어떻게 계속 성공할 수 있는지 보여주어야 한다.

잘 훈련되고 보안에 관심이 있는 인간보다 사이버 범죄를 더 잘 방어할 수 있는 방법은 없다. 조직이 어떤 위협 탐지 도구를 보유하고 있더라도 소프트웨어 테스트 이면의 인간을 대체할 수는 없다.

조직들은 윤리적 해킹의 힘을 사용해 사이버 범죄자를 능가할 수 있다. 일부는 선입견 때문에 해커를 네트워크로 초대하는 것을 주저하지만, 법을 준수하는 사이버 보안 전문가들은 AI와 달리 사이버 공격자들의 머릿속으로 들어갈 수 있기 때문에 악의적인 행위자를 처리하는 데 가장 적합하다.

실제로 해커들은 이미 사이버 범죄자와의 싸움에서 자동화된 도구를 보완하고 있으며, 윤리적 해커의 92%는 스캐너가 찾을 수 없는 취약점을 찾을 수 있다는 보고가 있다. 비즈니스 리더들은 윤리적 해킹과 인간 지원을 수용해 현대 사이버 범죄에 맞서 싸울 때 AI와 인간 전문가 사이에 효과적인 균형을 유지할 수 있다.

고도로 숙련된 해커 네트워크와 자동화를 결합함으로써 심각한 애플리케이션 결함이 악용되기 전에 정확히 찾아낼 수 있다. 자동화된 보안 도구와 윤리적 해킹을 효과적으로 결합하면 끊임없이 진화하는 디지털 공격 표면의 격차를 줄일 수 있다. 이는 인간과 AI가 협력해 보안의 생산성을 향상할 수 있기 때문이다

ⓛ 공격 표면 정찰

현대 조직은 다양한 승인/비승인 하드웨어와 소프트웨어로 구성된 광범위하고 복잡한 IT 인프라를 구축할 수 있다. 소프트웨어와 하드웨어 같은 IT 자산의 종합적인 인덱스를 개발하는 것은 취약성을 줄이고 패치 관리를 간소화하며 업계 요구 사항 준수를 지원하는 데 중요하다. 또한 공격자가 조직을 표적으로 삼을 수 있는 지점을 식별하고 분석하는 데도 도움이 된다.

② 지속적인 평가

조직은 특정 시점 보안을 넘어 인간 보안 전문가의 독창성과 실시간 공격 표면 통찰력을 결합해 디지털 환경에 대한 지속적인 테스트를 수행할 수 있다. 지속적인 침투 테스트를 통해 현재 환경과 잠재적인 약점을 보여주는 시뮬레이션 결과를 확인할 수 있다.

③ 프로세스 향상

신뢰할 수 있는 해커는 보안팀에 취약성과 자산에 대한 정보를 전달해 프로세스 향상을 지원할 수 있다.

생성AI가 계속해서 빠른 속도로 발전함에 따라 CISO는 인간이 어떻게 협력해 AI 보안을 강화하고 경영진의 지원을 얻을 수 있는지에 대해 이해해야 한다. 그리고 이러한 과제를 효과적으로 해결하기 위한 적절한 인력과 자원을 확보해야 한다. 윤리적인 해커와의 협력을 통해 신속한 AI 구현과 포괄적인 보안 사이의 적절한 균형은 적절한 AI 기반 솔루션에 투자해야 한다는 주장을 뒷받침한다.

필자 미키엘 프린스는 공격 저항 전문 업체인 해커원의 공동 창립자이자 전문 서비스 수석 이사다. 정보보안 전문가이자 연구원, 해커, 개발자인 그는 10년 넘게 기술 분야의 중요한 소프트웨어 취약점을 찾아왔다. 미키엘은 보안 관리, 개인정보 보호 및 웹 애플리케이션 인프라에 관한 취약성 공개와 보안 연구 프로젝트에 대해 정기적으로 발표하고 있다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)