방대한 콘텐츠, Q&A 정보, 프롬프트 등 전리품 탈취 시도
다크웹에선 ‘챗GPT’ 공격 위한 AI도구 활발하게 거래
수 개월 사이, 각국에서 10만개 이상 챗GPT 계정, 자격증명 도난

챗GPT 화면.
챗GPT 화면.

[애플경제 김향자 기자] 챗GPT는 허위 정보나 오류 외에도 이를 악용하는 악성코드, 자격증명 절취 등 사이버 보안상의 취약점도 많다. 전문가들은 “챗GPT와 같은 AI기술이 계속해서 발전, 개선될수록, 사이버 범죄자들 역시 이를 악용할 가능성이 커진다”며 주의를 당부하고 있다.

이런 현상은 최근 글로벌 시장조사업체인 ‘블랙베리 글로벌 리서치(BlackBerry Global Research)의 조사에서도 여실히 드러났다. IT업체 의사 결정자의 74%가 “챗GPT가 사이버 보안에 취약하다”고 인정했고, 그 중 절반은 “2023년 중에 챗GPT로 인한 사이버 공격 피해를 입을 것”을 우려하고 있다.

보안업체 ‘블랙베리 리서치’, “챗GPT, 보안 취약”

‘그룹-IB’ 사이버 보안 업체도 지난 6월에 다크 웹에서 도둑맞은 챗GPT 자격 증명에 대한 조사 결과를 발표했다.

이 회사에 따르면 2022년 6월부터 2023년 3월 사이에 10만개 이상의 챗GPT 계정이 도난당했다. 그 중 4만개 이상이 아시아 태평양 지역에서 도난당했고, 중동 및 아프리카(24,925개), 유럽(16,951개), 라틴 아메리카(12,314개), 북미(4,169개)가 그 뒤를 이었다.

사이버 범죄자들이 이처럼 챗GPT 계정에 접근하고자 하는 건 두 가지 주요한 이유가 있다. 우선은 무료 버전에 비해 제한이 없는 유료 계정을 손에 넣기 위한 것이다. 그러나 그 보다 더 중요한 것은 챗GPT에 담긴 다양한 민감 정보다. 즉 모든 프롬프트와 질문, 답변에 대한 상세한 기록들은 사기꾼들로선 탐이 날 수 밖에 없다.

‘그룹-IB’의 사이버 위협 대응 책임자인 드미트리 셰스타코프는 “많은 기업들은 챗GPT를 업무나 비즈니스 과정에 적극 도입, 활용하고 있다.”고 우려했다.

실제로 많은 기업체에선 직원들이 챗GPT를 활용해 각종 서류를 분류하거나, 입력하고, 코드를 최적화한다. 또 챗GPT의 구성이 모든 업무용 대화를 포함하고 있기 때문에 만약 사이버 범죄자들이 계정과 자격 증명을 손에 넣을 경우 이는 해당 기업에게 치명적일 수 밖에 없다.

챗GPT 악용하는 다크웹의 ‘탈옥 프롬프트’ 인기

클라우드 이메일 보안 회사인 ‘슬래쉬 넥스트’는 기술매체 ‘테크리퍼블릭’과의 인터뷰에서 “사이버 범죄자들 간의 ‘지하 포럼’에서 소위 ‘탈옥 프롬프트’(Jailbreak prompts) 거래 수법이 활발히 공유되고 있다”고 우려했다. 즉, 챗GPT의 가드레일을 우회하고, 이를 악용해 악의적인 콘텐츠를 만들 수 있도록 하는 비정상적 프롬프터를 뜻한다.

범죄자들은 또 챗GPT를 잠재적 무기로 써먹는다. 이를 이용해 정교한 피싱 공격이나, 스팸을 일삼고, 각종 가짜 콘텐츠를 쉽게 만들 수 있다. 챗GPT 자체가 개인이나 신뢰할 수 있는 조직, 기업 등을 설득력 있게 대변할 수 있다는 점을 악용한 것이다. 그래서 “순진한 사용자들을 속여서 민감한 정보를 유출하거나, 가짜의 희생양이 될 가능성이 높아진다”는 것이다.

범죄자들은 또 챗GPT를 악용, 이른바 사회공학적 공격을 감행한다. 즉, 챗GPT를 활용한 이메일, 인스턴트 메시징, 소셜 미디어 플랫폼을 통해, 정보를 수집하고, 신뢰를 쌓고, 결국 개인을 속여서 민감한 데이터를 공개하거나 유해한 행동을 하도록 유도할 수 있다.

챗GPT 자체를 해킹 무기로 악용

특히 허위 정보와 가짜 뉴스의 확산은 가장 심각한 문제다. 챗GPT를 활용해 범죄자들은 오해의 소지가 있거나, 유해한 콘텐츠를 대규모로 생성, 빠르게 유포할 수도 있다. 그래서 “사회적 불안, 정치적 불안정성, 신뢰할 수 있는 정보 원천에 대한 대중의 불신을 높이는 결과를 초래할 수 있다”는게 앞서 ‘블랙베리 리서치’의 우려다.

챗GPT는 본래 악성코드와 관련된 프롬프트 생성을 막고, 유해하거나 불법적이거나 비윤리적인 활동을 방지하는 여러 프로토콜을 가지고 있다. 그러나 현실은 그렇게 녹록하지만은 않다. “낮은 수준의 프로그래밍 기술을 가진 공격자도 여전히 프로토콜을 무시하고, 악성코드를 작성할 수 있다”는 지적이다.

또 다른 사이버 보안 회사 ‘HYAS’가 규명한 악성 프로그램 ‘블략 맘바’도 그런 사례 중 하나다. 즉 이 회사는 사이버 범죄자들이 챗GPT를 악용해, 개념 증명 악성 프로그램인 ‘블랙 맘바’를 어떤 방식으로 작성했는지에 대한 연구를 발표했다.

‘블랙 맘바’는 일종의 키 로거(Key Logger)로서, 키보드 입력 데이터를 중간에 가로채는 것이다.

다크웹의 사이버 공격용 AI로 개발된 '웜 GPT'.(출처=보안업체 '슬래시 넥스트')
다크웹의 사이버 공격용 AI로 개발된 '웜 GPT'.(출처=보안업체 '슬래시 넥스트')

사이버 범죄 전용 AI ‘WormGPT’ 극성

앞서 보안업체 ‘슬래시 넥스트’사는 또 사이버 범죄자들을 위해 개발된 인공지능으로 다크웹(Dark Web)이 판매하는 ‘웜GPT(WormGPT)’를 주의할 것을 당부했다.

이는 악의적인 콘텐츠를 제작하지 못하도록 하는 챗GPT 본연의 기능과는 정반대 역할을 한다. 즉, 윤리적으로 어떤 제한도 없이 프롬프트에 대한 답변을 하도록 하는 것이다. 즉, “유해하고 불법적인 콘텐츠를 무제한으로 제공하게 하는 것이 ‘웜GPT’”이다.

현재로선 이처럼 유해한 인공지능 ‘웜GPT’를 누가 어떻게 언제, 그리고 어떤 학습과정과 어떠한 데이터를 기반으로 개발했는지에 대해 알려진 바가 없다.

그렇다면 챗GPT를 악용한 사이버 위협을 어떻게 예방하거나 최소화할 수 있을까. 전문가들대부분은 “현재로선 획기적인 대응책이 없다”고 한다.

앞서 ‘블랙베리 리서치’는 다만 “조직 구성원들이 평소 피싱 이메일이나 이메일, 인스턴트 메시징 또는 소셜 미디어 등 각종 사회 공학적인 시도를 감지하도록 훈련받아야 한다”면서 “특히 기밀 데이터는 언제든 유출될 수 있기 때문에, 이를 챗GPT로 보내는 것은 바람직한 보안 관행이 아니라는 점을 기억할 필요가 있다”고 경고했다.

저작권자 © 애플경제 무단전재 및 재배포 금지