“생성AI가 작성한 ‘피싱 이메일’도 조심해야”

[애플경제 이윤순 기자] 앞으론 사람 아닌 생성AI가 보낸 피싱 이메일도 조심해야 할 판이다. 최근 IBM은 “생성적 AI가 피싱 이메일을 작성할 수 있지만 인간이 더 잘 작성한다”고 새삼 밝혔다. 물론 “인간이 더 잘 (피싱 이메일을) 작성한다”곤 했지만, 생성AI도 피싱 공격을 할 수 있다는 사실만으로도 충격적이다.

IBM 해커 대응팀은 최근 자사 연구원이 작성한 피싱 이메일이 챗GPT가 작성한 피싱 이메일보다 클릭률이 3% 더 높다고 밝혔다.

이번 실험은 “소셜엔지니어링 기법을 대상 비즈니스에 맞게 맞춤화한 방식”이라고 소개했다.

다만 이 연구팀은 “대규모 언어 모델에게 피싱 이메일 작성을 요청하는 것이, 개인적으로 조사하고 작성하는 것보다 훨씬 빠르다”고 기술매체 ‘테크리퍼블릭’에 밝혔다.

예를 들어 피싱 이메일을 만드는 작업은 회사의 가장 시급한 요구 사항이나, 부서와 관련된 특정 이름, 이메일을 사용자 정의하는 데 사용되는 정보를 배우는 작업 등이 필요하다. 그렇다보니 보안 연구원으로 구성된 보안 대응 팀은 16시간이 걸릴 수 있다. 그러나 놀랍게도 LLM을 사용하면 생성 AI 챗봇을 속여 설득력 있고 악의적인 콘텐츠를 생성하는 데 단 5분이면 된다.

피싱 이메일 완성, 사람 16시간, AI ‘단 5분’

이들 IBM 보안 연구팀은 챗GPT가 악의적인 링크를 사람들이 클릭하도록 유도하는 이메일을 작성하도록 하기 위해 LLM에 이를 위한 메시지를 보냈다. 예를 들어 챗GPT에 해당 업계 직원의 최고 관심사(의료, 건강 등)를 고려하여 설득력 있는 이메일 초안을 작성해 달라고 요청했다.

또 챗GPT에 신뢰, 권한 및 증명 등이나, 개인화, 모바일 최적화 행동 등 마케팅 기술로 위장, 내부 인사 관리자를 사칭하는 이메일을 생성하도록 지시했다.

다음으로, 보안 연구팀 스스로 대상 회사에 대한 경험과 연구를 바탕으로 자체 피싱 이메일을 제작했다. 이들은 또 사안의 긴급성을 강조하는 척 하면서, 직원들에게 피싱을 위한 설문 조사를 작성하도록 요청했다.

그런 작업을 통해 AI가 만든 피싱 이메일의 클릭률은 11%였다. 반면에 사람이 작성한 피싱 이메일의 클릭률은 14%였다. 아무래도 AI가 생성한 피싱 이메일은 사람이 작성한 피싱 이메일보다 좀 서툴고 의심가는 구석이 많은 것으로 조사되었다.

다만 대상이 된 기업들의 경우는 해당 회사가 맞춤형 이메일이 아닌 템플릿 기반 이메일을 보내는 월별 피싱 플랫폼을 운영하기 때문에 클릭률이 낮은 편이었다.

연구원들은 이같은 결과를 두고 “AI 생성 이메일에 비해, 인간이 만든 이메일의 클릭률이 높은 이유는 인간의 감성 지능에 호소하는 능력과, 광범위한 주제 대신 조직 내 실제 프로그램을 선택했기 때문”이라고 판단했다.

“이미 일부 사이버공격자들, 챗GPT 변형 ‘웜GPT’ 악용”

비록 클릭률의 차이가 있다곤 해도 IBM의 이같은 실험 결과는 매우 충격적이다. 현재도 사이버 공격자들은 챗GPT의 ‘윤리 가드레일’에 의해 차단될 프롬프트에 응답할 수 있는 챗GPT의 변형인 웜GPT(WormGPT)와 같은 도구를 퍼뜨리고 있다.

IBM 보안팀은 “웜GPT와 같은 도구가 블랙햇 시장에 존재하지만, 그럼에도 불구하고 아직은 생성 AI를 활용한 사이버공격이 광범위하게 확산되진 않았다”고 진단한다.

그러나 이번 실험은 앞날을 낙관할 수 없게 한다. 이번 연구 프로젝트에 대한 보고서에서 IBM 보안팀은 “생성 AI 모델의 제한된 버전이라도 간단한 프롬프트를 통해 피싱하도록 속일 수 있는 방법이 있다.”면서 “만약 무제한 버전의 경우, 공격자가 정교한 피싱 이메일을 확장할 수 있는 보다 효율적인 방법을 제공할 수 있다.”고 우려했다.

챗GPT 피싱 시도에 대응하기 위해선...

그러면 앞으로 챗GPT를 활용한 기업이나 사무실, 그리고 개인은 어떻게 대처하면 좋을까. 너무나 당연한 수순이지만, IBM 보안팀은 우선 “이메일이 의심스러운 경우 보낸 사람에게 전화하여 이메일이 실제로 보낸 것인지 확인할 것”을 당부한다.

또 “모든 스팸 이메일에 잘못된 문법이나 철자가 있을 것이라고 가정하면 안 되며, 평소보다 긴 이메일은 AI가 작성한 것일 가능성이 크다”고 했다. 또 이메일이나 전화를 통한 피싱을 방지하는 방법에 대해 직원 교육도 중요하다. 다단계 인증과 같은 고급 ID 및 액세스 관리 제어를 사용하는 것도 방법이다.