연재(2-2) ‘악마’들의 노리개…AI 딥페이크 성범죄

[애플경제 김홍기 기자] 디지털 성범죄가 더욱 기승을 떨게 한 것은 AI 이미지 생성기의 출현이다. 과거 불법 카메라 촬영물 유포와 같은 ‘고전적’ 방법이 이젠 생성AI 기술에 업혀 한층 진화한 결과다. 그래서 익을 추구하는 소셜미디어 플랫폼 회사의 정책과, 성범죄를 막아야 한다는 도덕적 요구가 충돌하고 있다는게 문제다.

수익 추구 플랫폼 vs 성범죄 차단 요구 ‘충돌’

광범위한 딥페이크 성범죄가 문제가 되면서, 이에 대한 한국 경찰의 실태 조회 요구가 있었다. 그러나 텔레그램측은 “사용자들의 제보를 참고해서, 매일 플랫폼에서 수백만 개의 유해한 콘텐츠를 삭제하고 있다”고 해명하는 것으로 대신했다. 그 동안 주로 중․고교생과 20대 대학생들이 주축이 된 한국의 성범죄자들은 텔레그램을 사용해 수많은 여성들의 사진을 딥페이킹한 수천 개의 음란한 동영상을 만들었다.

딥페이크 차단을 전문으로 하는 회사인 ‘시큐리티 히어로’(Security Hero)사에 따르면 2023년 온라인에 게시된 딥페이크 포르노에 등장하는 인물의 약 절반이 한국 가수나 여배우였다. 100개 이상의 웹사이트에서 약 10만 개의 동영상을 분석한 결과가 그렇다는 얘기다.

하지만 딥페이크에 대한 사회적 파장이 커지고, 대중적 비난이 들끓으면서, 뒤늦게 조사에 나선 한국 경찰은 처음엔 “텔레그램 서버가 해외에 있어 단속이 어렵다”는 변명으로 일관했다는 비판이다. 여성에 대한 폭력 피해자를 위한 비영리 단체인 ‘한국여성핫라인’의 대표인 송란희 씨는 “이 사건에 대한 경찰의 대응이 지나칠 정도로 소극적이고 느리다”며 ‘월스트리트저널’을 통해 한국 경찰의 안이한 초기 대응을 비판했다.

한국, 10대와 20대 중심, 세계 최다 온라인 포르노 생성

월스트리트저널의 티모시 마틴 기자는 “올해 6,000명이 넘는 한국인이, ‘동의 없이 만들어진 가짜 음란물 이미지를 삭제해 달라’고 요청했다는, 국가 미디어 규제 기관의 7월까지의 수치가 나와 있다”면서 “이런 수치는 이미 작년의 약 7,000건에 근접하고 있다”고 한국의 심각한 디지털 성범죄 실태를 꼬집었다.

실제로 경찰청에 따르면 2023년 초부터 가짜 누드 사진을 만들고 배포한 혐의로 기소된 약 300명 중 약 70%가 10대 청소년이었다. 이에 한국교사노조는 최근 성명을 통해 “가짜 누드 사건을 보고하고 조사할 책임은 주로 학교에 있다”면서도 “가해자를 추적하는 데 도움이 되는 국가 차원의 메커니즘이 필요하다”고 권고했다. 노조는 또 “적절한 처벌이나, 가해자가 처벌받는 사례가 드물다보니, 학생들은 서슴없이 이런 범죄를 저지르고 있다”면서 “단속의 징후가 있으면, 계정을 비공개로 전환하거나 온라인에 게시한 사진을 삭제하는 식으로 빠져나가고 있다”고 지적했다.

그런 가운데 시민사회에선 “플랫폼과 기술은 결코 ‘무죄’가 아니다”는 주장이 나오고 있다. 각종 소셜미디어 플랫폼이 문제라는 지적이다. 성범죄에 대응하는 활동가들은 다들 “플랫폼이야말로 유죄”라고 성토하고 있다. 즉, 성착취물 유통을 방관하고 조장하는 소셜미디어 플랫폼이나 커뮤니티가 이번 사태의 근본이란 비판이다.

특히 문제가 된 텔레그램은 물론, 다른 빅테크 소유의 X, 인스타그램 등도 정도의 차이는 있지만, 책임에서 자유로울 수 없다는 지적이다. 이에 시민활동가들은 “문제가 된 플랫폼 폐쇄와 운영자에 대한 엄벌이 답이다. 돈이 되니까 이런 짓들을 조장하고 방관하는 것”이라고 비난했다.

이에 따르면 텔레그램은 지난 4월 ‘광고 수익화 기능’을 도입, 1000명 이상의 구독자가 있는 ‘채널’에 대해선 광고 수익의 50%를 배분했고, 이를 노린 ‘딥페이크봇 채널’들이 홍수를 이루고 있다. 여성들의 사진을 음란물로 조작하는 딥페이킹 범죄자들이 떼를 지어 몰려들고 있다.

그래서 이번과 같은 딥페이크 등 디지털 성범죄를 막기 위해선 “플랫폼 규제가 필수”라는 주장이다. 특히 성착취물 업로드를 막을 수 있는 기술이 개발돼 있음에도 플랫폼들이 이를 방기하고 있다는 것이 더욱 문제다.

반면에 카카오톡의 경우, 불법 촬영물로 신고가 된 영상에 대해선 자동으로 AI 봇이 감지를 한 후서 업로드를 차단한다. “텔레그램 역시 그 정도는 충분히 할 수 있음에도 고의로 기피하고 있다. 높은 조회수의 ‘채널’이 많을수록 광고수익도 늘어나기 때문이다.”는 비판이다. 이에 디지털 성범죄를 원천적으로 봉쇄하는 기술을 도입하도록 강제할 수 있는 국제사회 공통의 규제가 따라야 한다는 주문이다.

생성AI, AI 챗봇 등으로 ‘딥페이크 제작 대중화’

그래선지 머스크의 xAI나, X 등은 딥페이크 범죄가 난무하는 상황에 대한 언론의 코멘트 요청에 묵묵부답으로 일관하고 있다. 다만 X는 “사용자가 사람들을 혼란스럽게 하거나 속여 해를 끼칠 수 있는 조작된 미디어를 공유하는 것을 금지한다”는 정도의 선언을 하고 있을 뿐이다.

특히 문제의 ‘AI 이미지 생성기’를 만든 회사들은 이를 훈련하기 위해 무단으로 갖다 쓴 이미지로 인해 저작권법 논란에 휘말려있다. 스태빌리티AI와 미드저니는 ‘저작권 침해’를 주장하는 아티스트들에 의해 법정에 서게 되었다.

그런 가운데 이미지를 생성하는 디지털 기술이 발달하면서 성 착취나 성범죄도 함께 진화하고 있다는 전문가들의 진단이다. 최근 1~2년 사이 생성 AI, AI챗봇 기술 등이 비약적으로 발달하면서 아예 ‘딥페이크 제작 대중화’를 불러왔다는 것이다.

특히 디지털 성범죄는 국경이 없고, 당국의 수사망을 피하기 위해 VPN이나 서버를 우회하는 방식을 많이 쓴다. 그야말로 “누구나 혼자서 어디서든 손쉽게 1분 안에 ‘포주’가 될 수 있는 세상이 된 것”이란 자조섞인 한탄이 나올 정도다. 그래서 “디지털 성범죄를 뿌리뽑기 위한 국제법을 도입하기 위한 국제적 공조가 필요하다”는 주장이 설득력을 얻고 있다.