전체메뉴

[애플경제 전윤미 기자]생성AI가 대중화되면서 이를 악용한 사이버 공격에 대한 우려도 커지고 있다. 해커들은 생성AI를 활용, 더욱 정교하게 표적을 겨냥하거나, 한층 사실감있는 피싱 이메일을 작성할 수 있으며, 거의 식별하기 힘든 딥페이크를 만들기도 한다.

특히 챗GPT나 구글 ‘바드’ 등 생성AI가 빠르게 보급되며, 이를 활용한 AI솔루션도 날로 확장되고 있는 국내에서도 이는 매우 심각한 징조로 받아들여질만 하다. 지난 5월의 ‘AI엑스포코리아 2023’에서도 챗GPT기술을 접목한 AI플랫폼이나 솔루션이 대거 출시된 것도 이를 뒷받침하고 있다.

그런 가운데, 사이버보안 연구소인 ‘쓰렛스파이크 랩스’(ThreatSpike Labs)는 비디오나, 텍스트, 코드, 이미지 등을 기반으로 한 몇 가지 유형의 생성AI 버전의 사이버 공격 수법을 공개해 관심을 끈다. 기술매체 ‘IT프로포탈’에 의해 소개된 바에 따르면 또 ‘쓰렛스파이크 랩스’는 이를 방어 내지 예방하기 위한 대처법도 나름대로 제시했다.

식별 불가능한 ‘텍스트 기반 생성 AI 해킹’

이에 따르면 챗GPT 등 텍스트 기반 생성AI는 훨씬 정교한 피싱 공격을 통해 피해자가 사전에 탐지하기 어렵게 한다. 보안업체인 ‘해커원(HackerOne)’의 솔루션 설계자인 데인 쉬레츠는 “(해커들은) 생성 AI를 통해 고도로 개인화된 이메일을 생성하여 대규모 스피어 피싱을 지원할 수 있다”고 ‘IT프로포탈’에 전했다.

전문가들은 이같은 텍스트 기반 생AI 모델이 현재 가장 널리 대중화되어 있기 때문에 이를 악용한 공격이 가까운 미래에 가장 큰 영향을 미칠 것이라고 우려한다. 컨설팅 기업인 ‘앨드먼 솔론’은 “개인화된 피싱 이메일이나 조직, 또는 개인에 대한 허위 정보 캠페인을 생성하는 데 사용될 수 있을 것”이라고 예상하기도 했다.

또 다른 보안업체인 ‘오픈텍스트’의 관계자도 “텍스트 기반 생성 AI를 사용하여 향후 대화형 채팅 기능을 연마함으로써 웹 채팅 서비스를 악용해 피해기업을 공격할 수도 있다”고 ‘IT프로포탈’에 밝혔다.

영상과 음성 기반 생성AI 도구로 “금전 갈취, 협박”

나아가서 최근 ‘런웨이’가 개발한 생성AI인 ‘Gen-1’과 같은 비디오 기반 생성 AI도 악용될 소지가 크다. 특정 기업으로 하여금 범죄자들에게 거액의 현금을 송금하도록 유도하는 속임수를 쓸 수 있기 때문이다. 또한 회사 임원의 약점이나 허위 정보를 담은 가짜 영상을 만들어 널리 퍼뜨릴 수도 있는 것이다.

비디오 생성 모델을 사용하여 CEO가 직원들에게 송금을 지시하거나 민감한 정보를 공개하는 가짜 영상도 만들 수 있다. ‘오픈텍스트’에 따르면 또 얼굴 인식 보안 조치를 우회하거나, 스푸핑 공격을 가할 때 가짜 영상을 통해 회사 직원인양 가장할 수도 있다.

‘DALL·E2’와 같은 AI생성한 이미지 기술이 발전하면서, 회사 임원이 부적절하거나 불법적인 행동을 하는 것으로 보이는 가짜 이미지 또는 비디오를 만들 수도 있다. 이를 통해 피해자들을 협박하거나 허위 정보를 퍼뜨리는 데 사용될 수도 있다는 얘기다.

음성 복제도 생성AI를 악용한 사이버 공격 수단으로 동원될 수 있다. 생성AI의 음성 기반 시스템을 사용, 은행이나 신용 카드 회사 등 신뢰할 만한 곳으로 가장한 보이스 피싱 전화를 걸 수도 있다. 이때 공격자는 ‘오디오 생성 모델’을 악용, CEO가 직원들에게 특정 조치를 취하도록 지시하는 가짜 오디오 클립을 만들 수도 있다.

마이크로소프트의 새로운 신경 변환 언어 모델인 ‘VAL-E’와 같은 텍스트 음성 변환 생성 AI도 악용될 가능성이 크다. 이는 텍스트 프롬프트와 실제 스피커의 짧은 클립을 결합하여 사람의 음성을 정확하게 복제할 수 있다. ‘VAL-E’는 톤과 억양을 복제하고 감정을 전달할 수 있기 때문에 듣는 이들은 깜빡 속아넘어갈 수 밖에 없다.

그 때문에 전문가들은 “오디오 기반 생성 AI가 급속히 발전하고 있다”면서 “‘오디오 페이크’는 이제 현실이 되고 있으며 이를 가능하게 하는 기술은 빠르게 발전하고 있다. 최근 몇 년 동안 컴퓨터가 스스로 대화를 만들어내는 등 엄청난 발전을 거듭하고 있다”고 우려한다.

코드 기반 생성AI 해킹, 다양한 AI모델 결합 수법 등

생성AI는 초보 해커들도 고급 멀웨어를 만들 수 있을 뿐만 아니라, 자동 코드를 생성함으로써 기존 보안 시스템을 우회할 수 있다.

현재 대표적인 코드 기반 생성AI 도구는 ‘탭나인(Tabnine)’과 깃허브 코파일럿이 있다. 앞서 ‘오픈텍스트’ 관계자는 “예를 들어, ‘트로이 목마’처럼, 악의적인 의도를 보이지 않는 애플리케이션 내에 깊이 멀웨어를 숨겨 공격할 수도 있다”면서 “이는 ‘스테가노그래피’를 사용하여 이미지 내에 정보를 숨길 수 있는 방법과 유사하다”고 ‘IT프로포탈’에 밝혔다.

또한 해커들은 다양한 유형의 생성 AI 모델을 결합해, 한층 복잡한 공격을 가하기도 한다. 예를 들어, 피해자가 특정 작업을 수행하기를 원하는 점을 파악하고, 이에 맞는 텍스트 생성 모델을 사용하여 설득력 있는 전자 메일을 작성한다. 또 비디오 생성 모델을 사용하여 가짜 비디오를 작성하고, 오디오 생성 모델을 사용하여 가짜 오디오 클립도 만들 수 있다.

이처럼 결합된 공격은 다양한 형태의 미디어를 활용하여, 한층 투명하고 설득력 있어보이는 메시지를 만들기 때문에 특히 효과적일 수 있다.

생성AI로 해커들의 ‘사이버 공격’ 장벽 크게 낮아져

그러면 이같은 사이버공격에 어떻게 대응할 것인가. 현재의 보안 기술로는 완벽하게 이 모든 수법을 탐지하고 차단할 수는 없다는게 전문가들의 지적이다.

북아일랜드 얼스터 대학의 사이버 보안 교수인 케빈 쿠란은 “현재로서는 생성 AI에서 파생된 공격을 ‘"인간처럼 보이는 모드’로 식별할 수 있는 도구가 없기 때문에, 실제와 분간할 수 없는 가짜 영상들이 특히 걱정스럽다”며 이같이 우려했다.

그럼에도 불구하고, 기업들은 사이버 보안 전문가나 기술 공급업체와 긴밀히 협력하고, 새로운 위협에 대해 경계를 늦추지 않아야 한다는 조언이다. IT프로포탈이 인용한 보안업체인 고 캐스퍼스키의 한 관계자는 “무단 액세스를 방지하기 위해 다중 요소 인증(MFA)과 같은 엄격한 인증 방법이 필수”라면서 “이같은 안전 및 보안조치를 고려하지 않을 경우 사내에 AI 기술을 도입하는 것은 역효과를 낳을 수 있다”는 지적이다.

한편 이미 지난 2020년에 연구자들은 딥로커(DeepLocker)라는 새로운 유형의 악성 프로그램을 발견했는데, 이는 생성AI를 사용한 난독(難讀) 기술로서, 이를 보안 시스템이 읽어내어 탐지하거나 차단할 수 없게 한 것이다.

‘쓰렛스파이크 랩스’는 또 “해커들은 텐서플로우나, 파이토치와 같은 머신 러닝 라이브러리 및 프레임워크를 사용하여 생성 모델을 생성하기도 한다”면서 “이런 도구를 악용한 수법은이미 널리 확산되고 있고, 사용하기도 쉬워서 사이버 공격의 장벽을 크게 낮추는 역할을 하고 있다”고 경고했다.