전체메뉴

[애플경제 이윤순 기자] 29일자 AP통신이 헤드라인으로 게재한 가지 지구의 황폐화된 거리 사진이 눈길을 끈다. 극도의 공포가 감돌며, 피투성이가 되고 버려진 유아들과 잿더미가 된 건물들이다. 이 사진은 전쟁이 시작된 이후 온라인에서 수백만 번 조회되며 이-팔 분쟁의 처참한 현실을 알리는 시그널이 되기도 했다.

그러나 이날 AP는 이 사진을 다시 게재하며, “실제로는 인공 지능을 사용하여 만들어진 딥페이크”임을 알려 놀라움을 안겨주고 있다.

“사진 자세히 분석, 디지털 속임수 판정”

AP는 가자 지구의 폭격으로 파괴된 집과 황폐화된 거리의 사진을 자세히 살펴보면 “이상하게 구부러진 손가락이나 부자연스러운 빛으로 반짝이는 눈과 같은 흔적을 볼 수 있다는 단서를 볼 수 있다.”면서 “모두 디지털 속임수의 명백한 징후”라고 했다.

이 매체는 “그러나 딥페이크 이미지가 도발하기 위해 만들어진 분노는 너무 현실적”이라면서 그 폐해를 강조했다.

즉, “이스라엘-하마스 전쟁의 딥페이크 사진은 실제 대학살 이미지를 만드는 데 사용되는 선전 도구로서 AI의 잠재력을 생생하고 고통스럽게 보여준다”면서 “지난 달 전쟁이 시작된 이후, 소셜 미디어에 퍼진 디지털 방식으로 변형된 것들이 사상자 책임에 대한 허위 주장을 하거나, 결코 일어나지 않은 잔혹 행위에 대해 사람들을 속이는 데 사용되었다”고 돌이켰다.

이에 따르면 생성AI가 등장하면서, 이는 또 다른 형태의 무기가 될 수 있는 잠재력이 더욱 노골적으로 드러났다. 앞으로 모든 분쟁이나, 선거, 대규모 이벤트와 관련해서도 이런 생성AI에 의한 ‘가짜’가 판을 칠 것이란 지적이다.

모든 분쟁, 선거, 대규모 이벤트에 ‘가짜’ 판칠 것

실제로 AI를 사용하여 온라인 이미지나 텍스트를 분석하는 ‘CREOpoint’의 CEO 장 클로드 골든스타인은 “가자지구에서 가장 많이 발생하는 딥페이크의 데이터베이스를 만들었다”면서 “사진이나, 비디오, 오디오를 막론하고 생성 AI를 사용하면 지금까지 본 적 없는 기상천외한 새로운 ‘작품’이 생성된다”고 AP통신에 밝혔다.

심지어는 다른 분쟁이나 재난을 담은 사진이 용도가 변경되어 새로운 것처럼 전달되기도 한다. 이-팔 분쟁 초기에 폭탄 잔해 속에서 우는 아기의 이미지가 전세계에 충격을 던진 바 있다. 그러나 생성 AI 프로그램을 사용하면, 해당 사진을 마치 처음 일어난 사간을 담은 사진으로 둔갑, 다른 분쟁의 자료로 악용할 수도 있다.

이 회사에 따르면 AI가 생성한 가짜 이미지 중에선 이스라엘의 미사일 공격으로 추정되는 동영상이나, 폐허가 된 동네를 굴러다니는 탱크, 생존자를 위해 잔해를 뒤지고 있는 가족 등의 모습도 있다.

그 중엔 아기나, 어린이 또는 가족의 훼손된 신체가 포함된 잔인한 장면으로 충격을 던져주는 것들도 많다. 실제로 이-팔 전쟁 초기에 이스라엘과 하마스의 지지자들은 서로 “상대방이 어린이와 아기들을 희생시켰다”고 주장했다. 특히 울부짓는 유아의 딥페이크 이미지가 마치 진짜 사진인양 증거로 제시되기도 했다.

비영리 단체인 디지털 증오 대응 센터의 CEO 임란 아메드는 “그러한 이미지를 만드는 선전․선동가들은 사람들에게 큰 충동과 불안을 주기 위해 이런 ‘가짜’를 이용하는데 능숙하다”고 했다.

생성AI 기반, 실제같은 마타도어 이미지로 선거 판세 영향

그에 따르면 이런 기만적인 AI 생성 콘텐츠는 2022년 러시아가 우크라이나를 침공한 이후 확산되기 시작했다. 조작된 영상 중 하나는 우크라이나 대통령 볼로디미르 젤렌스키가 우크라이나인들에게 항복을 명령하는 모습을 보여주기도 해 화제가 되었다.

이런 가짜 조작은 전쟁 외에도 갈등 국면이나 선거 시즌에 더욱 극성을 부린다. 이에 많은 AI 전문가와 정치학자들은 “미국, 인도, 파키스탄, 우크라이나, 대만, 인도네시아, 멕시코 등 여러 국가에서 주요 선거가 열리는 내년에 생성AI에 의한 위험이 더욱 커질 것”이라고 경고했다.

특히 내년 4월에 총선이 예정된 한국도 예외는 아닐 듯해 우려를 사고 있다. 상대방 후보에 대한 가짜 이미지나 마타도어에 악용될 가능성이 크다. 더욱이 실제보다 더 실제같은 생성AI 기술을 접목할 경우, 이는 선거판세에 영향을 줄 만큼 충격적일 수도 있다.

이처럼 문제가 커지면서 이에 대한 대응 방안을 모색하는 움직임도 활발히 일고 있다. 세계 각국의 수많은 스타트업 기술 회사가 딥페이크를 찾아내고, 이미지에 워터마크를 부착하여 출처를 정확히 규명하고 있다. 또 텍스트를 스캔하여 AI가 개입해 그럴듯한 표현을 담은 것인지를 확인할 수 있는 새로운 프로그램도 개발하고 있다.

AI 미래의 가장 큰 과제 ‘가짜 식별 기술’

그래서 “AI의 다음 물결은 무엇보다 세상에 있는 콘텐츠(의 진실 여부)를 어떻게 확인할 수 있는가”라는 주장도 나오고 있다. AI프로그램을 분석하는 노르웨이 기업인 팩티버스(Factiverse)의 CEO 마리아 아멜리에는 “잘못된 정보를 어떻게 감지할 수 있고, 텍스트를 분석하여 신뢰할 수 있는지 판단할 수 있는 방법을 개발하는게 가장 중요하다”고 AP통신에 밝혔다.

이 회사는 현재 교육자, 언론인, 재무 분석가를 비롯해, 허위, 표절, 사기를 근절하는 데 관심있는 사용자들과 함께 조작된 사진이나 비디오를 찾아내기 위해 유사한 프로그램을 설계하고 있는 것으로 전해졌다.

그럼에도 이들 AI ‘페이커’ 기술은 늘 한 발 앞서 가고 있다는 지적이다. AP 통신이 인용한 컴퓨터 과학자이자 버펄로 대학교수인 데이비드 도어만은 “AI 허위 정보로 인한 정치적, 사회적 과제에 효과적으로 대응하려면 더 나은 기술과 더 나은 규제, 자발적인 산업 표준, 인터넷 사용자의 이해를 돕기 위한 디지털 리터러시 프로그램에 대한 광범위한 투자가 필요하다”고 했다.

도어만 교수는 “AI ‘페이크’ 기술을 탐지하는 도구를 출시할 때마다 범죄자들은 AI를 사용하여 추적 증거를 은폐할 수 있다.”면서 “이를 탐지하고 끌어내리는 것은 더 이상 해결책이 아니다. 훨씬 더 큰 대응 솔루션이 필요다.”고 강조했다.