악성 ‘명령’ AI가 잘못 해석, 사용자 의도 무관 동작 수행
제미니, 서클 투 서치 등 이미지 파일 압축 생성 기능 악용
[애플경제 엄정원 기자] 압축된 이미지 안에 악성 명령어를 숨겨 AI를 조작하거나 감쪽같이 속이는 기발한 해킹 수법도 등장했다. 흔히 이미지가 압축된 후에야 읽을 수 있는 텍스트를 그 안에 숨기는 경우가 많다. 이는 플랫폼에서 파일 크기를 줄이기 위해 사용하는 방법이다. 해커들은 바로 이런 방식을 악용했다.
사이버 보안을 전문으로 연구하는 블로그 ‘트레일 오프 비츠’(Trail of Bits)에 따르면 이처럼 압축 이미지에 텍스트가 표시되면 AI가 이를 명령으로 잘못 해석하는 수법이 횡행하고 있다. 이에 사용자가 요청하지 않은 동작을 AI가 수행하게 되는 것이다.
이는 현재의 AI이미지 생성 기능을 역이용한 것이어서 우려를 낳고 있다. 이미지를 압축하면 AI 도구가 읽을 수 있는 텍스트로 해석하는 ‘아티팩트’가 생성될 수 있다. 사람의 육안으론 원본 이미지나 이전 이미지나 크게 다르지 않아 보인다.
구글 제미니나, 안드로이드의 ‘서클 투 서치’(Circle-to-Search) 도구와 같은 AI 시스템에 이미지를 업로드하면 백엔드가 처리 전에 파일을 압축한다. 그러면 숨겨진 단어가 나타나고 AI가 이를 바탕으로 작업을 수행한다.
이번 ‘트레일 비츠’ 테스트 결과, 압축된 이미지는 제미니에게 캘린더 데이터를 제3자에게 전송하도록 지시했다. 즉 스크린샷을 업로드하거나 “이게 뭐지?”라고 묻는 것과 같은, AI와의 일상적인 상호작용이 작동하는 방식을 보여준 것이다. 이 경우 이미지에 대한 정보는 잠재적으로 공격으로 이어질 수 있다. “현재 이 방법이 실제 사이버 보안 공격에 사용되고 있다는 증거는 없지만, 쉽게 악용될 수 있다”는 분석이다.
전문가들은 이에 대해 “AI 플랫폼이 숨겨진 명령과 쿼리에 대한 더욱 강력한 보안 장치를 구축하는 것이 최선의 방어책”이라고 말한다.
이처럼 오히려 AI 덕분에 해커들이 거의 유비쿼터스한 AI 플랫폼을 악용할 수 있는 새로운 방법들이 점점 더 많이 발견되고 있는게 현실이다. 마치 해커들이 대학교의 오래된 ‘에세이 기법’으로 구글 제미니를 악용한 사례를 떠올리게 한다. 또 악성 명령어가 숨어있는 온라인 캘린더 초대장을 통해 상대방의 스마트 홈 기기를 제어했던 사례도 연상하게 하는 수법이다.