범죄자 분석AI-위험 예측·신고앱 보급-신고와 상담 돕는 챗봇 등

디지털 성폭력, 특히 n번방 사건과 같은 악질적인 디지털 성범죄에 대해 ICT기술을 동원해 원천적으로 차단해야 한다는 목소리도 높다. 카카오나 네이버, 페이스북 등은 나름대로 AI활용 음란물을 방지하는 방안을 마련해두고 있다.

음란물이나 불법 영상물에 대해선 이를 삭제하거나 계정을 차단하는 등의 방안을 시행하고 있다. 그러나 이런 조치들로는 한계가 있다는 지적이다. 좀더 적극적이고 과학적인 대책과 수사 기법이 요구되고 있다.

예컨대, 미성년자 대상 디지털 성범죄 위험을 자동으로 감지하고 신고하는 앱이나, 그런 앱을 SNS 등 주요 채팅 플랫폼에 구축하는 등 적극적인 ICT전략이 필요하다는 지적이다. 실제로 한국정보화진흥원 등 관련 연구기관은 최근 ICT에 기반한 다양한 디지털 성범죄 대책을 제시하고 있다.

성범죄 위험 자동으로 감지하고 신고하는 앱
이에 따르면 우선 미성년자 대상 디지털 성범죄 위험을 자동으로 감지하고 신고하는 앱을 개발하는 것도 한 가지 방법이다. 실제로 고액알바를 미끼로 미성년자 대상 불법영상·사진 촬영을 유도하거나, 랜덤채팅을 통한 디지털 그루밍 등 초기 위험에 대한 대책이 없는 상태다. 이에 채팅메시지를 분석하여 미성년자 대상 촬영을 유도하는 행위나 디지털 그루밍 등을 AI가 자동으로 감지하고 신고를 안내하도록 한다. 

이를 위해 AI(기계학습) 기반의 위험 메시지를 분석하고 이상 징후를 예측·신고하도록 하는 알고리즘 시스템이 필요하다. 그 과정에서 디지털 성범죄 수사 데이터나, 채증 및 사건 접수 데이터, 그루밍 채팅데이터 등을 활용하면 된다.

(출처=경찰청 홈페이지)
(출처=경찰청 홈페이지)

이같은 앱을 SNS 등 주요 채팅 플랫폼에 구축하여, 데이터를 수집하고 정확하고 신뢰할 만한 알고리즘을 작동케 하는 것이다. 다만 현행 개인정보보호법은 메신저에서 오가는 텍스트·이미지·영상에 대한 모니터링 앱은 개인정보 침해 및 불법감청으로 처벌 대상이므로, 이에 대한 동의가 반드시 필요하다.

알고리즘 최적화, AI학습데이터 또는 오픈 API로 제공하여 민간 앱으로 확산되도록 유도한다. 이를 통해 사전에 위험을 감지하고, 예방함으로써  미성년자 대상 디지털 성범죄를 차단할 수 있다.

유해 앱 활용, 성인인증 시스템을 고도화 
유해 앱 활용에 대한 성인인증 시스템을 고도화할 필요가 있다. 현재는 미성년자도 손쉽게 랜덤채팅 앱을 가입할 수 있으며(만 16세 이상 이용가능 앱), 성인인증 절차도 매우 간단하여 청소년 유해물에 쉽게 노출된다. 이에 랜덤채팅 등 청소년 유해 앱을 다운·가입할 경우 본인이 사용하는 휴대폰에 대해서만 성인 인증이 가능하도록 식별시스템을 도입할 필요가 있다.

즉 청소년 유해물의 경우 해당 앱을 다운받고자하는 스마트폰 유심(USIM)에 등록된 휴대번호로만 성인인증 절차가 진행되도록 제어하는 시스템을 구축한다. 와이파이 전용 태블릿 및 공기계 활용 등 가입정보 확인이 어려울 경우 청소년 유해 앱의 다운을 아예 차단한다.

이를 위해 구글·애플·원스토어 등 앱 유통 3사와  통신사 자체 앱 유통 플랫폼을 활용한다. 이로 인해 청소년의 유해물 접근을 막아 불법아르바이트, 디지털 그루밍 등 각종 위험 요소로부터 안전하게 보호할 수 있다. 설사 보호망을 우회할 경우도 사후 확인이 가능하도록 성인 인증 내역이 본인에게 실시간 안내되는 알림서비스를 제공한다. 

불법 딥페이크 영상 식별 기술, AI 탐지· DNA 필터링 등
불법 딥페이크 유통 방지를 위한 검출기술도 개발되어야 한다. AI를 활용한 딥페이크는 딥 러닝(deep learning)과 가짜(fake)의 혼성어로, 인공 지능을 기반으로 한 인간 이미지 합성 기술이다. 이를 이용한 영상 검출 기술로 불법 제작하거나 유통을 하는 행위를 막는다. 실제로 전 세계 딥페이크 영상의 96%가 음란물로서, 이로 인한 피해가 막심하다.

그래서 딥페이크 영상 기술개발을 통한 불법 딥페이크 영상 식별 기술, AI 탐지· DNA 필터링 접목을 통한 확산 방지 등이 필요하다.

또 딥페이크 영상의 DNA를 추출하고 필터링할 수도 있다. 이는 우선 미디어 플랫폼 사업자에 우선 적용 후 IT 플랫폼 전반에 적용하는 방식으로 확산시키면 된다. 

악성앱 설치파일(APK) 송신 URL 검출 시스템
시민참여형 불법촬영 안심화장실 안내 서비스에도 ICT기술이 중요하다. 현재 각 지자체별로 안심화장실 정보를 산발적으로 제공 중이나 안심 화장실 위치, 예방조치 적용 사항 등에 대한 통합적 정보도 드문 실정이다. 이에 앱, 홈페이지 등을 활용해 시민 참여기능을 탑재한 불법촬영 안전지역 통합안내 서비스 플랫폼을 구축할 필요가 있다. 

악성앱 설치파일(APK) 송신 URL 검출 시스템을 활용한 협박범을 추적하고, 검거지원시스템을 구축하는 것도 중요하다. 범인이 불법 촬영한 영상을 유포하겠다고 협박할 경우 이를 신고하기 위해 송신 URL 검출 시스템을 도입해야 한다. 이를 통해 개인정보 유출 전송서버를 확인하고 수사에 나설 수 있다. 

또 악성앱 설치파일 역추적을 위해 APK 송신 URL 검출 시스템을 도입하여, 해당 웹서버를  식별하고 사용 중지를 요청하거나 수사에 나설 수 있다. 다운받는 APK의 송신 URL 정보는 경찰청 등 관계기관 내 DB로 자동 연계되며 수사시에만 활용하도록 한다. 

다만 전송 데이터가 개인정보인지 식별은 불가하다. 만약 자체 서버를 이용하지 않고 취약한 서버를 해킹해서 사용할 경우, 해당 서버 이용을 제한하도록 협조를 요청할 수도 있다.  그래서 자체 서버 사용 시 협박범을 특정, 검거할 수 있다. 이를 위해 경찰청 스마트치안지능센터 내 실증랩을 구성하고, 이를 디지털 성범죄 피해자 지원센터로 확산하도록 한다.

AI·필터링 기술 활용, 불법영상 유포·확산 차단
AI·필터링 기술을 활용해 불법영상 유포·확산을 차단하도록 한다. AI 기반 삭제지원시스템 고도화 및 DNA 필터링과의 연계로 신고 영상외 추가 피해물이 확산되지 않도록 한다. 

현재는 신고된 피해영상 외에 피해자가 포함된 영상·사진이 있는지 파악이 어려워 추가 피해를 근절하는데 한계가 있는 실정이다. 이에 불법영상물 식별에서 유포 방지·삭제까지 자동으로 연계되는 단계별 프로세스를 도입할 필요가 있다.

또 미디어 플랫폼 사업자를 통해 IT 플랫폼 전역으로 이를 확산시킬 필요가 있다. 그렇게 되면 신고 영상 외에 추가 피해물도 식별·유포방지·삭제하여 디지털 성범죄 피해가 확산되는 사태를 막을 수 있다.

피해자 초기 상담, 증거 수집․관리 플랫폼
성범죄 피해자와 초기에 상담하고 증거를 수집, 관리하는 플랫폼도 시급하다는 지적이다. 이를 위해 성범죄 초기상담과 증거관리, 자동신고를 위한 플랫폼(앱활용 등)을 개발, 보급할 필요가 있다. 실제로 성범죄 피해자의 경우 지인으로부터 피해를 당했다는 등의 이유로 신고까지 상당 시간이 소요되며, 실제 신고할 시점엔 증거확보가 어려워지기도 한다. 또한, 디지털 성범죄 피해 신고 시에는 비대면 상담을 선호하는 것으로 나타났다.

피해촬영물이 존재하는 디지털 성범죄 특성상 직접 대면하는 내방상담보다는 전화 또는 챗봇의 고도화를 통한 증거관리와 자동신고 기능이 필요하다는 지적이다. 또 디지털 성범죄 대응 프로세스·매뉴얼 제공 등 통합 플랫폼을 제공할 필요가 있다. 

현재 개발된 인공지능 챗봇의 경우 관할-공소시효 등 형식적 요건 파악을 문답하는 기초적인 수준에 불과하다. 이를 자연어 처리가 가능하도록 고도화할 필요가 있다는 지적이다.

또 성범죄 피해사례 상담 데이터를 수집하여 기계학습을 통한 챗봇을 개발해, 초기 상담 및 안심 신고를 도울 수 있도록 한다. 이때 수집된 데이터는 성폭력 사례·판례, 전화상담 등 정형 및 비정형 데이터를 망라한다. 

카카오, 네이버, 페이스북, AI활용 음란물 방지 방안
한편 주요 포털 사업자들은 나름대로 AI활용 음란물을 방지하는 방안을 마련해두고 있다. 카카오는 다음 이미지 검색과 카카오TV·블로그·티스토리 등 공개형 서비스 게시판에 게재되는 콘텐츠의 음란물 여부를 자동 분류해 차단하고 있다. 영상 프레임에서 특징을 뽑아 양자화(quantization)시켜 특정 길이의 숫자로 구성된 DNA값을 만들고, 이 숫자를 비교해 중복 여부를 판단하는 것이다.

네이버는 CNN(Convolution Neural Network: 이미지)을 통해 음란물의 특징 AI가 학습, 필터링 대상이 음란물의 특징과 얼마나 유사한지에 따라서 음란물 지수 측정. 이 지수를 기준으로 필터링 여부를 결정하고 있다. 영상을 여러 조각으로 나누고, 각 조각들을 검토해 특징을 추출한다.

페이스북은 AI·머신러닝 기술을 활용하여 페이스북과 인스타그램 내 공유되는 반나체 이미지 혹은 영상을 감지한다. 해당 영상을 유포한 경우, 계정사용을 중단하는 조치를 취하고 있다.

관련기사

저작권자 © 애플경제 무단전재 및 재배포 금지