연재(2-1) ‘악마’들의 노리개…AI 딥페이크 성범죄

[애플경제 김홍기 기자] “누구나 피해자가 될 수 있어…AI 가짜 누드 사태, 한국을 강타”(‘Anyone Can Be a Victim’: Sprawling AI Fake Nudes Crisis Hits South Korea)-.

최근 월스트리트저널(WSJ)은 이같은 제목으로 한국의 딥페이크 성범죄 사건을 크게 보도했다. 이 신문은 또 2일엔 AI이미지 기법에 의한 딥페이크의 폐해를 다룬 장문의 분석 기사를 게재, 눈길을 끌었다. 한국의 가짜 딥페이크 성범죄 사건 보도에 이어, 이날 좀더 깊이있는 분석기사를 내보낸 것이다.

한국의 이번 딥페이크 성범죄는 WSJ뿐 아니라, 다른 유력 해외 언론들도 주목하고 있다. 뉴욕타임스, 워싱턴포스트, 가디언, CNBC 등은 물론, 이 사건이 ‘달리2’나 미드저니, ‘Grok-2’ 등 AI 이미지 기법의 변종인 딥페이크에 의한 것이란 점 때문에 IT계통의 기술매체들도 이를 비중있게 다루고 있다. 그야말로 지구촌 차원의 이슈가 되고 있는 셈이다.

WSJ, “한국이 세계적 문제 ‘딥페이크 사건’의 진원지”

특히 월스트리트저널(WSJ)은 “가짜 포르노 이미지를 만드는 텔레그램 기반 네트워크가 발견되면서 한국이 새로운 ‘세계적 문제의 진원지’가 되었다”면서 딥페이크 성범죄 사건을 전지구적 차원에서 척결해야 할 계기로 이번 한국의 사례를 주목했다.

국내 딥페이크 사건의 피해자는 교사, 군 장교, 대학생, 초등학생 등을 망라한다. 텔레그램 그룹 채팅을 통해 익명의 사용자가 허락 없이 어린 소녀나 여성의 사진을 올리면, 이를 노골적인 성적 이미지로 딥페이킹, 수십만 명이 공유하도록 하고 있다. 이는 비단 한국 뿐 아니라 세계 주요 국가들이 모두 젊은 여성과 어린 소녀를 표적으로 삼은 AI 생성 가짜 누드 범죄가 증가하면서 이에 대응하기 위해 부심하고 있다. 그러나 WSJ는 “한 글로벌 통계조사에 의하면 전 세계적으로 확산되는 ‘딥페이크’ 포르노 비디오의 약 절반이 한국에서 발생하는 것으로 알려질 정도”라고 지적했다.

이런 범죄의 대부분은 이른바 형사처벌에서 제외되는 ‘촉법소년’ 나이의 중학생 등 10대들의 소행으로 알려졌다. 이에 국회에선 ‘촉법’ 연령을 더 낮추기 위한 법률 개정 움직임도 일고 있다. 결코 ‘단순한 장난’이 아닌, ‘심각한 범죄’임을 각인시켜야 한다는 목소리도 높다.

특히 범죄자들은 텔레그램상의 ‘채팅’에 참여하기 위해선 여성 사진을 제공하도록 유도하고 있다. 그렇다보니 종종 같은 학교 여학생이나 친구의 소셜 미디어 계정에서 퍼온 사진도 많다. 이런 사진들을 AI이미지 툴로 합성, 매우 노골적인 성적 이미지로 조작하는 것이다.

AI 이미지 생성 툴 악용 ‘가짜 영상’ 지구촌 휩쓸어

이에 WSJ는 미국 등지에서 요즘 수많은 조회수를 기록하고 있는 충격적인 딥페이크 영상을 공개, 경각심을 불러일으키고 있다. 그 중엔 트럼프가 해리스 부통령을 안고 키스하는 장면처럼 보기에도 민망한 장면도 떠돌고 있다. 이는 대통령 선거 자체를 희화화하는 것을 넘어, 정치 혐오증과 정치인 모두에 대한 경멸과 증오를 유발하려는 범죄적 행동이란 비판이다.

또한 ‘미키 마우스’가 맥주잔을 들고 담배를 피는 모습의 영상도 인터넷 공간에 널리 퍼지고 있다. 미키마우스의 파격적인 일탈과 왜곡된 모습을 통해 동심에 상처를 내며, 기존의 사회적 통념과 상식을 능멸하는 것이란 비난을 사고 있다.

더욱 충격적인 것은 이런 영상들이 구글 제미니 챗봇이나, 오픈AI의 달리, 미드저니, 일론 머스크의 xAI에서 나온 새로운 이미지 도구(Grok-2)로 만들어졌다는 사실이다. 이처럼 기괴하고, 보는 이를 민망하거나 불안하게 만드는 영상을 글로벌 빅테크가 출시한 기술로 만들어낸다는 사실이 새삼 논란과 비난을 불러 일으키고 있다.

구글은 지난주 제미니 챗봇이 나치 독일군의 이미지를 다양한 인종으로 묘사한 이미지를 제작했다는 이유로 온라인에서 집중 포화를 받았다. 이에 서비스를 중지한 후 6개월 만에 다시 “사람에 관한 이미지를 생성할 수 있도록 허용한다”고 밝혔다.

특히 일론 머스크의 xAI 역시 새롭게 출시한 AI 이미지 생성기 ‘Grok-2’로 구설수에 오르고 있다. 이는 앞서와 같이 카말라 해리스 부통령과 도널드 트럼프 전 대통령을 매우 민망한 모습으로 묘사한 영상을 생성하기도 했다. 또 X플랫폼에서 아돌프 히틀러에게 경례하는 것과 같은 모욕적인 행동을 하는 미키 마우스의 모습도 그렸다. 이는 저작권침해의 소지도 크다는 지적이다.

X에 ‘해리스=공산주의자’ 시사한 이미지도

그렇다보니 이런 영상과 이미지들이 선거 국면에서 악용되기도 한다. 실제로 8월 민주당 전당대회가 시작되기 하루 전, 트럼프 진영은 전당대회가 열린 시카고에서 연설하는 해리스의 AI 생성 이미지를 게시했다. X에 떠돈 문제의 사진은 낫과 망치가 있는 붉은 깃발을 배경으로 하고 있어, 마치 해리스가 공산주의자인양 왜곡하기도 했다.

X플랫폼의 소유주인 머스크는 최근 해리스에 관해 조작된 가짜 캠페인 광고를 다시 게시하기도 해 비판의 대상이 되었다. 앞서 머스크는 스스로 “언론의 자유를 절대적으로 지지하는 사람”이라면서도 구글의 AI 도구가 만들어낸 왜곡된 이미지에 대해 비난을 퍼부은 적이 있다. 그런 그가 정작 딥페이크에 악용된 자사의 이미지 생성기에 대해선 함구하고 있다. 현재 이같은 이미지들은 더 이상 X에서 찾을 수 없지만 ‘Grok-2’를 사용하면 얼마든지 만들 수가 있다.

이런 첨단의 AI이미지 생성기가 쏟아지다보니, 국내에서도 초중고생과 대학가에 이르기까지 광범위한 ‘딥페이크’ 문화가 형성되고 있다. 특히 ‘텔레그램’이라는 국제적 치외법권과도 같은 소셜미디어가 그 유력한 매개체이자, ‘장터’가 되고 있다.

“문제는 ‘텔레그램’이란 치외법권의 무대”

경찰 수사가 진행되면서, 한 대학에 초점을 맞춘 텔레그램 그룹 채팅이 공개된 후 그 끔찍한 실태가 널리 알려지기 시작했다. 텔레그램을 이용한 이들 범죄자들의 ‘채팅’은 2020년부터 시작되었고, 그 숫자가 약 1,200명에 달하는 것으로 파악되고 있다. 이들은 컴퓨터로 생성된 성적 이미지뿐만 아니라, 특정 피해자들의 전화번호, 주소, 학생 ID 번호와 같은 다른 개인 정보를 공유했다. 이들 수많은 피해자들에 대한 현재 및 과거의 얼굴 사진이나 프로필을 AI 이미지 생성기로 조작한 가짜 음란 영상이나 사진이 널리 공유되었다.

이에 분개한 일부 민간 자원봉사자들과 시민단체가 이들 그룹 채팅을 면밀히 조사한 바에 따르면, 대학에서 초등학교까지 약 500개 학교에서 이런 일이 일어났다. 이들 피해 학교 목록이 있는 웹사이트가 공개되자마자 약 300만 페이지 뷰를 기록하기도 했다. 한국 사회의집단적인 ‘관음증’의 일단을 엿보게 하는 장면이다.

특히 문제는 텔레그램이다. 마침 프랑스 당국에 의해 텔레그램의 창립자이자 최고 경영자인 파벨 두로프가 체포된지 며칠 후에 기소가 이루어진 상태다. 프랑스 검찰은 “두로프의 체포가 아동 음란물 공유 등을 포함, 텔레그램이 온라인 범죄를 조장하는지에 대한 조사와 관련이 있다”고 밝혔다. 이번 두로프의 체포를 둘러싸고, 특히 “최근 일어난 한국의 대규모 딥페이크 사건이 직접적인 계기가 될 수도 있다”는 해석도 나오고 있다.

콘텐츠 검열 전문가인 미국 UCLA의 사라 T. 로버츠 교수는 “AI 이미지 생성기를 이용해 딥페이크를 만들고 잘못된 정보를 퍼뜨리면서, 기존 소셜 미디어가 안고 있는 취약점이 한꺼번에 노출되고 있다”고 WSJ를 통해 지적했다. 그는 “또 다른 문제는 사람들이 특정 콘텐츠를 플랫폼에서 차단하기 위해 금지된 키워드를 우회하는 방법을 빠르게 익힌다는 것”이라며 “악의적인 사용자들은 콘텐츠를 조작하고, 왜곡하는 방법에 대해 점점 더 똑똑해지고 있다”고 우려했다.