딥페이크는 딥러닝의 '딥'과 가짜를 의미하는 '페이크'의 합성어로, 인공지능 기술을 이용해 진짜와 구별하기 어려운 가짜 이미지나 영상을 만드는 기술을 뜻한다.

딥페이크라는 용어는 2017년 미국의 온라인 커뮤니티 레딧에서 처음 등장했다. 당시 "deepfakes"라는 사용자가 유명 배우의 얼굴을 조작한 음란 영상을 게시하면서 알려지기 시작했다. 이후 딥페이크는 다양한 분야에서 많이 사용되고 있지만, 현재까지 딥페이크 영상의 96%가 불법 음란물로 시작 자체가 부정적인 측면이 크다.

진짜보다 신뢰 높은 딥페이크의 심각성

특히 올해 들어 7월까지 우리나라에서 297건의 딥페이크 성범죄가 보고되었는데, 이는 지난해 180건에서 크게 증가한 수치다. 2021년과 비교하면 약 2배 가까이 늘어난 셈이며, 실제 피해 규모는 공식 통계보다 더 클 것으로 추정된다. 이 문제는 BBC, 가디언 등 외신에서도 보도되었고, 월스트리트 저널에서는 딥페이크 피해자의 53%가 한국인이라는 분석 기사를 내기도 했다. 최근 3년간 딥페이크 성범죄 피의자의 60%가 미성년자였으며, 10대 피해자는 241.5% 급증하여 심각성을 더한다.

2022년 영국 랭카스터대와 미국 캘리포니아 공대 연구팀이 315명을 대상으로 진짜와 가짜가 반반인 800장의 사진 중 12장을 골라 사진이 진짜인지 구별하는 실험을 진행했는데, 참가자들의 정확도는 48.2%에 불과했다. 특히 참가자들은 진짜보다 가짜 얼굴에 평균 8% 더 높은 신뢰 점수를 주었다. 가장 신뢰할 수 없다고 본 얼굴 4명은 모두 진짜 사람이었고, 가장 신뢰할 만하다고 생각한 4명 중 3명은 가짜 얼굴이었다. 이는 딥페이크가 진짜보다 더 믿음을 줄 수 있음을 시사한다.

딥페이크 생성 기술

딥페이크는 인공지능 기술을 이용한 것으로 그 중에서도 적대적 관계 생성 신경망이라는 머신러닝 기술을 이용한다. 영어로는 Generative Adversarial Networks 이고 이것을 줄여서 GAN이라고 부른다. 예를 들면 위조 지폐를 만들어내는 위조 지폐범을 생성자라고 하고 위조 지폐를 간별하는 경찰을 구분자라고 할 때 위조지폐범은 경찰을 속이기 위해 더욱 진짜 같은 위조 지폐를 만들어내고 경찰은 위조 지폐를 어떻게 하든 찾아내기 위해 가짜를 찾아내는 기술을 점점 발전시키게 된다.

이 과정을 반복하면서 서로의 능력이 발전하게 되며 이 과정이 계속 반복될수록 진짜 지폐와 위조 지폐를 구별할 수 없을 정도로 발전하게 되는 것이 GAN의 원리이다. 인공지능끼리 누가 더 똑똑한 지를 겨루게 시켜서 더 나은 쪽으로 성능을 개선시키는 것이라 할 수 있다. 이것을 딥페이크에 적용하게 되면 A라는 인물이 등장하고 있는 동영상에 B의 사진을 합성하도록 프로그램을 계속해서 돌리고 또 이 차이를 계속해서 좁히도록 만들게 되면 결국 합성된 동영상이 진짜인지 가짜인지 쉽게 구분할 수 없는 영상이 만들어지는 것이다.

딥페이크의 다양한 피해 사례

딥페이크는 포르노 말고도 다른 피해 사례도 많다. 가짜 뉴스나 날조, 집단 따돌림, 금융사기에 악용되어 논란이 되기도 한다. 2021년 UAE의 한 은행이 딥페이크로 대기업 임원을 사칭한 전화를 받아 3500만 달러, 한화로 약 480억 원을 송금한 사건은 이미 유명한 사례다.

이처럼 딥페이크 사기가 만연하면서 경계 수위도 높아져 그 수법은 더욱 교묘해지고 있다. 지난 2월에는 영국 엔지니어링 기업이 딥페이크로 꾸며진 화상회의에 속아서 약 2억 홍콩달러, 한화로 340억 원에 달하는 피해를 입었다. 홍콩 지사에서 일하던 직원은 영국에 있는 본사의 CFO로부터 거액의 돈을 비밀리에 송금할 것을 요구하는 메일을 받았다. 대개 이 정도로 속지는 않는다. 직원도 역시 내용이 수상해서 처음에는 피싱 메일이라고 의심을 했다. 그러자 회사 동료 여러 명이 함께 참여한 화상회의에서 같은 지시를 반복했다. 그래서 의심을 거두고 2억 홍콩달러를 송금한 것이었다. 직원은 화상회의에 참석했을 때 모든 사람의 외모와 목소리가 자신이 아는 동료들과 똑같았기 때문에 의심하지 못했다고 한다.

최근 일본에서도 딥페이크 금융사기가 기승을 부리고 있다고 한다. 영국의 신원 확인 보안업체인 썸 서브의 자료에 의하면 2023년 일본의 딥페이크 사기가 전년 대비 28배나 늘었다. 2023년 1년 동안 아시아 태평양 지역에서 발생한 딥페이크 사기 중 베트남이 25.3%로 1위를 차지했으며, 일본이 23.4%로 2위를 차지해 두 나라에서 발생하는 딥페이크 사기가 절반을 차지하고 있다.

범위를 아시아 태평양 지역에서 전 세계 조사 대상 224개구로 확대하면 딥페이크 사기의 증가율은 필리핀이 4500%, 베트남이 3050%, 캐나다가 3000%, 벨기에는 2950%, 일본은 2800% 순이다. 한국은 전년 대비 1000% 즉 10배나 증가해 순위로는 낮지만 엄청 높은 증가율을 보이고 있다. 그래서 국내에서도 최근 투자사 대표나 연예인, 방송인 등 유명인을 사칭한 딥페이크 투자 사기가 극성이라고 한다.

오는 11월 대통령 선거를 앞둔 미국에서는 딥페이크를 동원한 선거전이 기승을 부리고 있다. 공화당 대선주자인 도널드 트럼프 전 대통령의 열렬한 지지자로 3만 명의 X 팔로워를 보유한 32살의 루나는 딥페이크로 만들어진 가상의 인물로 밝혀졌다. 앞서 지난 1월에는 민주당의 예비선거가 치러진 뉴햄프셔 주에서 경선 전날에 투표에 참여하지 말라는 바이든 대통령의 녹음된 음성을 받았다는 유권자들의 증언이 쏟아졌다. 백악관은 즉각 해당 로보콜이 바이든 대통령의 녹음본이 아니며 AI로 가짜 이미지와 음성을 합성한 딥페이크라고 해명했다.

딥페이크 탐지 기술

누구나 쉽게 딥페이크 영상을 제작할 수 있다는 점이 가장 큰 문제이다. 인공지능이 발달하면서 누구나 클릭 몇 번으로 손쉽게 가짜 영상을 만들 수 있으니 이를 악용하는 사례도 점점 더 많아지게 되었다. 그래서 딥페이크를 탐지 기술에도 관심이 높다.

이동통신사 중에서는 LG 유플러스가 자체 개발한 인공지능 ‘익시’를 활용해 만든 화자 음성 인식 기술로 보이스피싱 피해 예방에 나섰다. 딥페이크 합성 기술로 생성된 음원을 탐지하고 딥페이크 음성으로 인증이나 대화를 시도할 때 경고하는 등 솔루션을 개발하고 있다고 한다.

자체 초거대 인공지능 모델을 보유한 네이버는 대화형 AI 서비스인 클로버X의 이미지 편집 기능을 이용할 때 사람 얼굴이 포함된 사진은 업로드 자체가 불가능하도록 강하게 조치하고 있다. 사람 얼굴로 합성해 달라는 명령어가 입력되어도 결과물 자체가 나오지 않도록 해서 음란물이나 성착취물이 생성되는 것 자체를 불가능하도록 했다. NHN는 머신러닝 기술로 개발한 얼굴 인식 기술을 상용화했다. 고객이 특정 얼굴 이미지의 진위 여부를 확인하고 싶을 때 얼굴 도용 여부를 확인할 수 있는 서비스로 이 얼굴 인식 기술은 올해 초 열린 세계에서 가장 권위 있는 얼굴 인식 기술 대회에서 국내 최상위권의 성적을 거두었다.

딥 브레인 AI는 AI 아바타를 만드는 기업으로 아바타를 제작하는 기술을 활용해 영상 뿐 아니라 이미지 음성 조작 여부까지 판별하는 딥페이크 탐지 솔루션을 개발했다. 이 기술은 한국의 경찰청에도 납품했는데요. 해외에서 제작되어 서양인 위주의 데이터로 구성된 시스템은 한국인을 대상으로 합성된 영상에 대해서는 탐지율이 떨어지는 문제점을 해결했다고 한다. 한국인과 관련된 인물 5400명의 520만 점의 데이터를 학습했는데 영상의 진위 여부 탐지율은 약 80%에 달한다고 한다.

해외에서도 많은 연구 사례들이 있다. 인텔이 개발한 탐지 프로그램 ‘페이스 페이크 캐처’는 사람 얼굴의 혈류 변화를 추적해 예상되는 얼굴 색과 실제 영상을 비교해가며 실시간으로 딥페이크 유무를 분석한다. 영상을 픽셀 단위로 분석해 96%의 정확도로 영상의 진위 여부를 즉각 판단해 낸다고 한다.

유럽에서는 ‘센티널’이라는 딥페이크 방지 인공지능을 이용하는데 에스토니아의 기업이 만들었다. MIT AI 랩에서는 AI로 특정인의 사진을 도용해 가짜 영상을 만드는 것을 방지하기 위한 ‘포토 가드’라는 시스템을 개발해 무료로 배포하기도 했다.

미군 국방 고독 연구계획국 DARPA는 온라인의 딥페이크를 자동 감지하는 포렌식 알고리듬 ‘세마포‘ 프로그램을 진행하고 있다. 시멘틱 포렌식의 줄인 말로 딥페이크를 생성할 때 만들어지는 인공지능의 실수를 단서로 딥페이크를 찾아낸다고 한다. 특정 알고리듬으로 생성된 얼굴에는 양쪽 귀의 귀걸이가 서로 다르게 나타나는 등 딥페이크가 가진 공통적인 특징을 찾는 식이죠. DARPA는 딥페이크를 쉽게 감지할 수 있게 하면서 결국 딥페이크 콘텐츠 생성 비용이 증가해 관련 영상이 줄어들 것으로 보고 있다.

딥페이크 막는 워터마크

딥페이크 탐지를 넘어 위조 불가한 워터마크를 이미지에 삽입하여 딥페이크 이미지를 구별하는 방법도 개발하고 있다. 구글 딥마인드가 작년 8월에 선보인 AI 합성 이미지용 워터마크 ’SynthID’가 대표적이다. SynthID는 이미지의 픽셀에 워터마크를 직접 추가하여 인간의 눈으로는 관찰할 수 없지만 전문 AI 식별 알고리듬으로는 감지할 수 있도록 하였다. 2개의 AI 모델을 사용하여 하나는 눈에 띄지 않는 워터마크를 추가하는 데 사용하고 다른 하나는 이를 식별하는 데 사용한다. 구글 외에도 메타와 오픈AI 등 주요 기업들은 대선을 앞두고 딥페이크 이미지 생성에 워터마크를 심겠다고 밝혔다.

이미지의 메타 데이터를 토대로 진위 여부를 구분하는 방식도 연구되고 있다. 사진을 찍은 뒤 생성되는 GPS와 타임 스구글탬프가 합법적인 방법으로 설정된 것인지를 확인하는 방식이다. 보험회사들은 이러한 방식으로 사고 사진의 진위를 평가하고 로이터 통신은 우크라이나 전쟁 사진의 출처를 확인하기 위해 해당 기술을 사용하기도 했다.

그러나 딥페이크 탐지 기술이 발전할수록 안타깝게도 이를 우회하는 딥페이크 생성 기술도 함께 발전하고 있다.

딥페이크의 긍정적 활용

딥페이크 기술이 항상 나쁘게 사용되는 것은 아니다. 영국의 축구 선수였던 데이비드 베컴의 경우 말라리아 퇴치 캠페인 홍보 영상에서 9개의 언어를 구사했다. 그런데 실제로 9개 언어를 배워서 한 것이 아니고요. 영어로 만든 원본 영상을 딥페이크 기반의 더빙 기술로 다른 9개 언어의 영상을 만든 것이다. 실제로 영상을 보면 해당 언어의 발음에 맞추어서 정확한 입모양이 나오는 것을 볼 수 있다.

이는 영화에도 종종 활용이 되고 있다. 특히 스타워스 시리즈에서 가장 활발하게 사용하고 있다. 그래서 심지어 딥페이크 영상 전문인 유튜버를 정직원으로 고용하기도 했다고 한다. 이미 사망한 레아 공주, 젊은 시절의 한솔로와 루크 스카이워커, “I’m your father!”로 유명한 다스 베이더의 목소리까지 만들어 이제 시리즈를 무궁무진하게 이어갈 수 있다고 한다.

2019년 작인 아이리시맨이라는 영화에서도 주연 배우인 로버트 드 니로의 현재와 과거를 담아 내기 위해 딥페이크 기술을 활용했다. 당시 76세인 로버트 드 니로는 이 영화에서 20세부터 80세까지를 혼자 연기했다고 한다. 한국 드라마에서도 출연자의 어린 시절이나 이미 사망한 사람의 얼굴이 딥페이크 기술로 재현되기도 한다.

얼굴을 보지 못하는 그리운 사람의 모습을 똑같이 재현하고 더 나아가 그 사람이 생전에 경험했던 여러 모습을 학습시켜서 그 사람과 대화할 수 있는, 영원히 그 사람을 보존할 수 있는 기술도 개발되고 있다. 최근 박보검과 수지가 출연한 원더랜드도 이런 이야기를 담고 있다.

앞으로 딥페이크 기술은 점점 더 발전할 것이다. 더욱 정교해질 것이고 제작도 더 쉬워질 것인데요. 그래서 진실과 거짓을 구별하는 게 더 어려워질 수도 있다. 하지만 동시에 딥페이크 탐지 기술도 같이 발전할 것이다.

세상에 나쁜 과학기술은 없다. 특히 최근 이슈가 되고 있는 딥페이크 포르노 영상은 재미로 만들고 돌려 보는 사람들이 있기 때문에 피해자가 생기고 점점 더 널리 퍼지는 것이다. 다른 사람에게 피해를 주는 행위는 재미로 했더라도 엄격한 법의 잣대로 심판을 해야 근절될 수 있을 것이다. 수요가 사라져야 공급도 멈출 것이다. 결국 우리가 과학기술을 어떻게 활용하는 지가 좋음과 나쁨을 만들어내는 갈림길이 될 것이다.

* 필자 한선화 박사는 한국과학기술정보연구원(KISTI) 원장을 역임하였고, 국가과학기술연구회 정책본부장을 역임하였다. 현재는 24년간 몸담은 KISTI에서 전문위원과 AI 데이터 진단 및 치료 벤처기업 페블러스의 수석 데이터 커뮤이케이터로 근무하고 있다. KTV 과학톡의 고정 패널, TJB 대전방송의 과학 해설 프로그램 곽마더, 미래 핵심기술을 소개하는 미래설계소 등 다양한 과학 관련 방송에 출연하였으며, 현재는 TJB 대전방송의 생방송투데이에서 최신 과학기술 이슈를 알기 쉽게 전달하며 과학 대중화에 기여하고 있다.

(* 이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)