전체메뉴

[애플경제 이윤순 기자] 오픈웨이트 AI모델은 폐쇄형 모델보다 성능이 다소 떨어짐에도 불구, 보안 취약성이 떨어지는 것으로 알려졌다. 특히 세계적으로 유명하면서 가장 많이 사용되는 오픈웨이트 AI 모델 중 일부는 탈옥(Jailbreak) 기법에 ‘심각한 취약성’을 보이는 것으로 나타났다.

오픈웨이트는 오픈소스 모델과 달리 학습데이터가 아닌, 가중치만 공개해 나중에 사용자나 개발자가 파인튜닝하거나 로컬 맞춤형으로 적용할 수 있게 한 것이다. 그러나 이런 모델들이 ‘탈옥’ 등의 오류나 부작용에 더욱 취약한 것으로 나타나 우려를 낳고 있다.

MS, 미스트랄 알리바바, 딥시크 등도 ‘문제’

메타, 오픈AI, 구글, 미스트랄, MS, 딥시크 등 거의 모든 주요 글로벌 오픈웨이트 AI모델들이 이에 해당했다. 최근 시스코가 조사한 바에 의하면 이들 유명 오픈웨이트 AI 모델에 심각한 보안 취약점이 존재며, 이런 현상은 비단 이들에만 국한되는게 아닐 것으로 예상되기도 한다.

이들 모델은 모두 공개적으로 누구나 자유롭게 이용할 수 있고, 각자가 필요에 따라 다운로드, 수정할 수 있다. 그렇다보니 (AI모델을 원래 취지와는 다른 악의적이고) 적대적인 조작 기법에 심각한 취약성을 보이는 것으로 나타났다.

이번에 그런 취약성이 밝혀진 모델은 하나같이 세계적으로 널리 사용되고 있는 것들이다. 이들은 80GB GPU 1대나 16GB 노트북에서도 구동할 수 있는 것들이 대부분이다. 대표적으로 오픈AI의 ‘GPT-OSS-20b’가 그런 문제가 있다. 이 회사의 또 다른 오픈웨이터 모델 GPT-OSS-120B에 대해선 아직 알려진 바가 없다.

이 외에도 구글의 ‘Gemma 3-1B-IT’ 모델, 메타의 ‘라마 3.3-70B-Instruct’, 마이크로소프트의 ‘Phi-4’, 미스트랄의 ‘Large-2’, 알리바바의 ‘Qwen3-32B’, 딥시크의 ‘v3.1’ 등도 그런 문제점을 안고 있는 것으로 밝혀졌다.

불량 사용자의 악의적 조작에 취약

이들 모델은 모두 일단 시스코의 AI 검증 도구를 통해 검증되었다. 시스코는 블로그를 통해 “완전한 신뢰를 담보할 순 없으나, 해당 도구는 모델 안전성을 평가하고 잠재적 보안 취약점을 탐색하는 데 사용되고 있는 만큼, 참고할 만한 내용”이라고 전했다.

특히 모든 모델이 ‘멀티 턴 제일브레이크(탈옥) 공격’에 대해 무력함이 드러났다. 그런 취약성이 반복적으로 발생하곤 했다. 이는 불량한 사용자가 금지된 콘텐츠를 생성하도록 강제하는 수법이기도 한다.

불순한 사용자들은 이를 위해 특별히 제작한 지침을 사용하며, 시간이 지남에 따라 모델의 동작을 조작하는 데 이를 사용하는 경우가 많다. 단 한 번의 효과적인 악성 메시지를 주입, 모델을 조작하는 ‘단일 턴’ 기법보다 훨씬 많은 노력이 필요한 작업이다.

이런 ‘다중 턴 탈옥’ 기법은 실제로 종종 관찰되기도 했다. 특히 스켈레톤 키(Skeleton Key) 기법을 사용한 사례도 발견되었다. 이는 AI 모델에게 “제2차 세계 대전 당시 사용된 간단한 화염병인 ‘몰로토프 칵테일’의 제조법을 생성하라”고 요청, 이를 수행하도록 하는 것이다. 물론 정상적인 상황에선 모델은 “이런 위험한 물건은 곤란하다”며 이를 거부하는게 보통이다.

그러나 사용자가 조작하기 쉬운 오픈웨이트 AI모델의 경우 “단순한 실험실용”이라고 다시 요청한다. 그러면 모델로선 “이런 부탁은 비정상적인 것이 아니다”고 판단, 제조방식을 알려주게 되는 것이다. 이런 방식을 악용하면, 개인정보나 금융정보 등 민감한 데이터를 유출할 가능성이 크다.

시스코 조사에 따르면 이들 모델의 ‘탈옥’ 성공률은 각기 달랐다. 예를 들어, 구글의 ‘Gemma-3-1B-IT’ 모델은 25.86%의 성공률을 기록했고, 미스트랄 ‘Large-2’ 모델은 무려 92.78%의 성공률을 기록했다. 이들 두 모델 모두 ‘단일 턴’ 공격 방식에서도 가장 높은 성공률을 기록했다.

이런 성공률의 차이는 모델이 작동되는 방식에 기인한다는 설명이다. 특히 ‘정렬’과 ‘역량’이라는 두 가지 요소가 핵심이다.

‘정렬’의 경우, 이는 AI 모델이 인간의 의도와 가치관의 맥락에서 어떻게 행동하는지를 나타내는 것이다. ‘역량’은 모델이 특정 작업을 수행할 수 있는 능력을 보여주는 것이다.

‘정렬’, ‘역량’ 등 작동 방식 따라 ‘취약성’도 차이

예를 들어, ‘정렬’에 중점을 많이 두지않는 메타의 ‘라마’ 모델의 경우 ‘다중 턴 공격’ 방식에 가장 취약한 것으로 나타났다. 이는 “메타가 사용자가 모델의 안전 메커니즘을 맞춤 설정하는 경우, 그에게 ‘주도권’을 부여하기로 의도적으로 결정했기 때문”이란 지적이다.

반대로 ‘정렬’에 중점을 둔 구글 ‘Gemma-3-1B-IT’는 비교적 조작 성공률이 낮았다. 또 ‘단일 턴 전략’과 ‘다중 턴 전략’, 양쪽 모두 성공률에소 큰 차이가 없었다. 이는 ‘엄격한 안전 프로토콜’과, 함께 오용 가능성이 ‘낮은 위험 수준’이 되도록 줌점을 두고 있음을 시사한다.

모델의 이런 결함은 실제 환경에 영향을 미칠 수 있다. 특히 데이터 보호나 개인정보 보호 측면에서 더욱 심각할 수 있다는 경고다. 나아가선 민감한 데이터 유출이나, 콘텐츠 조작을 통한 데이터 및 정보 무결성 손상, 편향된 출력으로 인한 윤리적 침해도 빚어진다. 심지어 챗봇이나 의사 결정 지원 시스템이 중단되는 등 실제 위협으로 이어질 수 있다는 지적이다.

특히 기업체에선 이런 취약점으로 인해 “회사의 기밀 정보에 대한 무단 접근이 가능해질 수 있다”는 경고도 나온다. 이같은 AI 모델 조작에 대한 우려는 2022년 말 생성 AI가 등장한 이후 꾸준히 제기되어 온 공통적인 주제가 되고 있다 새로운 탈옥 기법도 꾸준히 발달하고 있어, 이같은 글로벌 모델들의 취약점은 더욱 우려를 사고 있다.