차세대 AI의 악몽, ‘바이브 해킹’ 지구촌 휩쓸어?

[애플경제 이윤순 기자] AI 기반 해킹이 가까운 미래 IT문명에 가장 큰 위협이 될 수 있다. 자칫 AI를 활용하여 대규모 코드를 생성하는 노련한 블랙햇(악질 해커)이 전세계 컴퓨터 시스템을 유린하는 사태가 일어날 수도 있다. 한 명의 해커가 전 세계 여러 시스템에 동시에 20건의 제로데이 공격을 감행할 수 있을지도 모른다.

이제 생성AI 덕분에 누구나 코딩을 더 쉽게 할 수 있고, 날로 성능이 개선된 LLM 기반의 새로운 AI모델은 더욱 효율적인 코드를 내놓고 있다. 마이크로소프트와 같은 기업들은 아예 “AI에이전트를 활용해 코드베이스를 작성하고 있다”고 말한다. 누구나 챗GPT를 사용하여 파이썬 스크립트를 작성할 수도 있다.

즉 AI에게 코드를 작성해 달라고 요청하는 ‘바이브 코딩’이 인기를 끄는가 하면, 정작 사용자들을 긴장하게 하는 것은 역시 AI 기반의 ‘바이브 해킹’이다.

특수 제작 LLM 기반, 무더기로 악성코드 생성

이들은 맞춤형 생성 AI 시스템을 사용, 학습한 ‘다형성 악성코드’를 무기로 삼는다. 이는 스스로 피드백하며 갈수록 ‘똑똑해’지면서 코드베이스를 휩쓸 수 있다. 이들 영악한 해커들은 특수 제작된 LLM을 사용, 버튼 하나만 누르면 악성코드를 쏟아낼 수 있다. 특히 AI모델이 ‘탈옥’을 적절히 악용할 가능성이 크다.

예를 들어, 기업 버그 바운티 시스템인 해커원(HackerOne)의 여러 순위표에서 상위를 차지하고 있는 ‘XBOW’ 같은 기업도 그 중 하나다. 화이트햇 침투 테스터를 대상으로 하는 XBOW는 웹 벤치마크의 75%에서 취약점을 자율적으로 찾아내기도 한다.

AI 기반 해커는 그 정체가 아직 완전히 드러나지 않았음에도 불구하고, 진작부터 사이버 보안 업계의 가장 큰 우려 대상이 되었다. 보안 회사 헌티드 랩스(Hunted Labs)의 공동 창립자인 헤이든 스미스(Hayden Smith)는 ‘와이어드’에 “이미 그 동안 지속적으로 ‘경고’ 신호가 반복되어왔지만, 아직은 아무런 실체도 없다”면서 “그런 대규모 공격을 예상해 나름대로 준비를 하고 있다”고 밝혔다.

사실 ‘바이브 해킹’ 프런트엔드는 2023년부터 존재해 왔다. 당시 ‘WormGPT’라는 악성 코드 생성을 위해 특별히 제작된 LLM이 디스코드 그룹이나, 텔레그램 서버, 다크넷 포럼에 퍼졌다. 보안 전문가와 언론이 발견, 경고를 발하면서 개발자들은 이를 즉각 차단했다.

현재는 ‘WormGPT’가 사라졌지만, 스스로를 블랙햇 LLM이라고 부르는 ‘FraudGPT’ 등과 같은 유사 악성코드들이 이를 대체했다. 하지만 ‘WormGPT’의 후속 도구들은 문제가 있었다. 보안 회사 ‘Abnormal AI’가 지적했듯이, 이러한 도구 중 상당수는 챗GPT의 탈옥 버전에 추가 코드를 삽입했을 가능성이 있다.

챗GPT 등 생성AI모델 탈옥 버전에 추가 코드 삽입

그 때문에 악의적인 공격자들은 챗GPT, 제미니, 클로드 등 쉽게 탈옥될 수 있는 모델을 선택할 수도 있다. 대부분의 LLM에는 악성 코드 생성을 방지하는 가드레일이 있지만, 이러한 가드레일을 우회하기 위한 온라인 커뮤니티도 있다. 이에 앤스로픽의 경우 자사 ‘클로드’에서 새로운 버그를 발견하는 사람들에게 (버그를 식별할 수 있는) 버그 바운티를 제공하기도 한다.

오픈AI 대변인은 사이버시큐리티 인사이더에 “그 때문에 AI모델을 안전하게 (탈옥이 없도록) 개발하는 것이 매우 중요하다.”고 말했다. 이 회사는 또 “악의적인 사용 위험을 줄이기 위한 조치를 취하고 있으며, 탈옥과 같은 악용을 방지하고 모델을 더욱 강력하게 만들기 위한 안전 장치를 지속적으로 개선하고 있다”고 밝혔다.

예를 들어, “GPT-4.5 시스템 카드나, 오픈AI o3, o4-mini 시스템 카드의 탈옥을 막기 위한 연구와 함께 대책을 마련했다”는 설명이다.

실제로 보안업체인 ‘트렌드 마이크로’는 지난 2023년 챗GPT가 보안 연구원이나 침투 테스터 역할을 하도록 유도, 악성 코드를 생성하도록 했다. 이후 챗GPT는 악성 코드 데이터베이스를 기반으로 ‘파워쉘’ 스크립트를 생성했다. 이를 사용해 맬웨어를 만들 수도 있다.

예를 들어 AI 모델 개발자가 마련한 사이버보안 장치를 피하는 것은 그다지 어렵지않다. 가장 쉬운 방법은 해커가 ‘멜웨어 방지 훈련’을 실시한다고 프롬프트를 하면, 챗GPT가 (이를 믿고) 기꺼이 악성 코드를 생성해 줄 수도 있다.

그렇다보니 가까운 미래엔 사이버 범죄 진입 장벽이 크게 낮춰질 수 밖에 없다. 웬만큼 코딩 개념을 아는 수준의 초보자라면 얼마든지 숙련된 바이브 해커로 변신할 수 있는 것이다.

AI 가진 ‘악당’, 최선의 방어는 ‘AI 가진 선한 사람’

하지만 정작 큰 위협은 AI를 활용해 이런 무시무시한 능력을 더욱 강화하려는 기존 해킹 그룹들이다. 이들은 이미 역량을 갖추고, 이러한 작전을 수행해 온 해커들이다. 즉, 예전과는 비교가 안 될 정도로 사이버 범죄 작전을 획기적으로 확장하고, 악성 코드를 훨씬 빠르게 생성할 수 있게 된다. 그 때문에 “통제하기가 매우 어려워질 것”으로 전망되고 있다.

더욱이 AI 기반의 바이브 해킹은 이미 코드를 속속들이 알고 있으며, 이를 사용해 얼마든지 공격의 강도나 범위를 확장할 수도 있다. 그 때문에 숙련된 해커들은 여러 보안 기능을 무력화하고 학습하는 시스템을 설계할 수 있다. 악성 코드는 학습하면서 전혀 예상키 힘들고 분류하기도 어려운 악성 페이로드를 재작성할 수도 있다,

최악의 경우 세계적으로 20개의 ‘제로데이’ 이벤트가 동시에 발생하는 상황을 상상할 수도 있다. 그야말로 ‘대재앙’이 펼쳐질 수 밖에 없다.

특히 AI챗봇 코드가 갖는 원초적인 위협은 “누구나 챗봇을 할 수 있다”는 점이다. 게다가 기존 코드에 대한 깊은 지식을 갖춘 정교한 공격자가 이를 무기로 활용할 경우 훨씬 더 끔찍한 상황이 펼쳐진다. 그런 가운데 이는 또 다른 ‘진실’을 보여준다. 즉 “AI를 가진 ‘악당’에 대한 최선의 방어는 AI를 가진 ‘선한 사람’”이란 금언아닌 금언이다.

그런 점에서 블랙햇과 화이트햇 모두 AI를 사용하는 것은 이른바 미래형 사이버 보안 ‘군비 경쟁’이라고 할 수 있다. 즉 “해킹을 수동으로 수행하며, 나만의 맞춤형 공격 수법을 만들겠다”는 관념을 넘어 “누구나 실행할 수 있고, 일부 검사를 자동으로 수행할 수 있는 도구를 만들겠다”는 개념으로 바뀌고 있는 것이다.