20일 만에 129건 잡았다... 총선 앞두고 '딥페이크' 활개

전담팀, 최신 탐지 기술 활용할 수 없어…책정된 별도 사업비 없어

4월 10일 제22대 국회의원 총선거가 50여 일 앞으로 다가온 가운데, 법으로 금지된 딥페이크(Deepfake·AI로 만든 영상·이미지 합성 조작물) 게시물이 연이어 올라오고 있습니다.

오늘(19일) 중앙선거관리위원회(선관위)에 따르면 지난달 29일부터 지난 16일까지 19일간 유권자를 상대로 딥페이크를 이용한 선거 운동 행위로 공직선거법을 위반한 게시물은 129건에 달했습니다.

선관위 측은 "모두 자체 모니터링을 통해 인지한 사례"라면서 "대부분 삭제가 완료됐으나 현재 조치가 진행 중인 건도 있다"고 설명했습니다.

딥페이크는 세계적으로 악용 사례가 크게 늘고 있으며 무엇보다도 가짜 뉴스로 둔갑해 여론을 호도하는 민주주의 최대 위협 요소라는 위기의식이 높아지고 있습니다.

최근 팝스타 테일러 스위프트가 딥페이크 음란물 피해를 입은 것을 비롯해, 교묘하고 감쪽같은 딥페이크 영상에 속아 사기를 당하는 사건이 국내외에서 연이어 발생했습니다.

2022년에는 지방선거를 앞두고 윤석열 대통령이 당시 국민의힘 박영일 남해군수 후보를 지지하는 가짜 영상이 사회관계망서비스(SNS)를 통해 확산하면서 정치적 논란이 되기도 했습니다.

이에 국회는 작년 12월 본회의에서 선거일 90일 전부터 유권자를 겨냥해 딥페이크를 활용한 선거 운동을 원천 금지하는 것을 골자로 한 공직선거법 개정안을 의결했습니다.

개정된 공직선거법에 따라 딥페이크를 활용한 선거 운동을 하면 7년 이하의 징역이나 최고 5000만 원의 벌금에 처해집니다.

이번 총선의 경우에는 선거일 90일 전인 지난달 11일이 아니라 법 공포 후 한 달이 지난 29일부터 적용됐으나 전담팀 가동 20일도 안 돼 100건을 훌쩍 넘는 법 위반 사례가 적발된 것입니다.

그러나 더욱 큰 문제는 전담팀 인력이 수십 명 수준에 불과한 데다, 3단계에 걸친 딥페이크 선별 작업을 하느라 총선이 다가올수록 딥페이크가 선거판을 흔들 개연성이 크다는 점입니다.

현재 전담팀 인력은 모니터링반, 인공지능(AI) 감별반, 분석·삭제반, 조사·조치반, 검토 자문단을 포함해 72명입니다.

AI 감별반은 선관위에서 구축한 AI 기반의 '지능형 사이버 선거범죄 대응 시스템'에서 자동 수집된 게시물을 모니터링해 '범용 프로그램'으로 딥페이크 여부를 확인합니다.

프로그램으로도 감별하기 어려울 만큼의 정교한 딥페이크일 경우 전문 자문위원에게 자문하는 과정을 거칩니다.

반면 모바일 앱스토어에서 소액으로 워터마크 없이 딥페이크를 만들 수 있는 애플리케이션(앱)은 수두룩하며 앱을 통한 제작 속도 또한 10분이 채 걸리지 않습니다.

서울여대 정보보호학과 김명주 교수(바른AI연구센터장)는 "딥페이크를 이용한 가짜를 생성하는 확산 속도는 3단계 검증시스템이 제공하는 검증 속도에 비해 너무 빠르다"며 "한마디로 게임이 되지 않는 대응"이라고 지적했습니다.

딥페이크는 나날이 교묘하고 정교해지는데, 전담팀은 일반적으로 접근이 가능한 범용 프로그램으로 대응하는 것도 현실에 뒤떨어진다는 비판이 제기됩니다.

지난 대통령 선거에서 'AI 윤석열'을 제작해 화제를 모은 국내 스타트업 딥브레인AI는 딥페이크 영상을 탐지하는 서비스형소프트웨어(SaaS) 기반의 설루션을 지난달 국내 최초로 출시한 데 이어, 이달에는 딥보이스(음성 합성물) 탐지 기술에 대한 특허를 출원했습니다.

이 업체는 지난달 한동훈 국민의힘 비상대책위원장이 "조폭들이나 할 법한 짓을 벌인 범죄자 뒤에 누가 있겠느냐"고 발언하는 기자회견 유튜브 영상에 대해 '66.84% 조작된 영상'이라는 탐지 결과를 내놨습니다.

1분 분량의 영상 파일이 가짜로 판명되는 데는 약 5분이 소요됐습니다.

그러나 전담팀은 이런 최신 탐지 기술을 활용할 수 없는 처지입니다.

급하게 법이 개정되고 전담팀이 꾸려지느라 별도의 사업비가 예산으로 책정되지 못했기 때문입니다.

선관위 관계자는 "전담팀의 딥페이크 관련 단속에 편성된 별도 예산은 없다"면서도 "딥페이크 생성 기술도 계속 발전하고 있기 때문에 특정 회사의 프로그램을 쓰는 방법보다 단계별 검증 과정을 거쳐 위법성을 검토·조사·조치하고 있다"고 말했습니다.

[장나영 디지털뉴스부 인턴기자 jangnayoungny@gmail.com]