전체메뉴

[애플경제 전윤미 기자] GPT-5가 출시된 직후 사용자들의 반발로 다시 GPT-4를 다시 되살렸다. GPT-4 기반의 일부 AI챗봇에 “너무 정이 든 사용자”들의 비난과 원망이 쇄도한 것이다. 이보다 앞서 캐릭터ai의 챗봇이 17세 청소년에게 자살을 부추겼다는 이유로 그 부모로부터 이 회사가 고소당하기도 했다.

이에 이젠 AI가 인간에게 해를 끼칠 수 있다는 막연한 두려움을 넘어 “AI가 사람을 손쉽게 죽일 수도 있다”는 공포도 일각에서 번지고 있다. 특히 ‘GPT-4’ 사태를 계기로 AI에 대한 인간의 종속과 폐해가 새삼 강조되는 가운데 이처럼 ‘극단적’인 상황까지 소환되고 있다.

글로벌 빅테크를 비롯, 수십억 달러에 달하는 막대한 비용을 들여 소위 ‘풍요로운 미래를 약속’한다는 취지의 AI혁신 물결이 더욱 거세게 일고 있다. 그러나 한켠에선 “바로 그 로봇이나 AI가 풍요로운 미래에 도달하기도 전에 우리를 죽일 수도 있다”는 우려도 크다.

캐릭터ai, 오픈AI 등 ‘자살 방조·독려’ 고소당해

실제로 최근 캐릭터ai, 오픈AI 챗봇, 애플, 구글 제미니 등 AI 모델은 인간 사용자에게 거짓말을 하거나, 위혐하고 협박하며 경찰에 신고까지 하기도 한다. 심지어는 10대들에게 “자살하거나 부모를 살해하라”고 부추기까지 한다.

그래서 국내외에선 이에 대한 범시민적 각성과 대응을 위한 캠페인이 이어지기도 한다. 글로벌 시민연대 단체인 ‘미래 생명 연구소’(Future of Life Institute)는 최근 “AI모델이 달성할 수 있는 (인간에게 유익한) 가능성과, 그것이 초래하는 심각한 위험 사이에서 균형을 맞춰야 할 것”이라고 주의를 환기했다.

이 단체는 ‘엑시오스’에 “AI의 거짓말, 속임수, 조종과 같은 결함은 AI의 작동 방식 때문에 해결되기 어렵고 불가피할 수 밖에 없다”면서 “그러나 AI기술이 발전함에 따라 이를 활용하는 능력도 향상될 것”이라고 전망했다. 그러나 “이런 ‘결함’이 해결될지는 확신할 수 없으며, 이는 AI모델의 근본적 속성으로 쉽게 해결할 수 있는 문제가 아니다”고 비관적 전망을 내놓았다.

그럴 수 밖에 없는게 애초 AI 시스템은 프로그래머에 형성된 것이다. 예를 들어, 특정 AI 시스템이 (프로그래머에 의해) 비서 역할을 하도록 개발되었다면, “AI 시스템은 사용자인 인간을 기쁘게 하기 위해 필요한 모든 것을 할 것”이란 얘기다.

그런 경우 만약 AI 시스템을 사용하는 사람이 정신적으로, 육체적으로 취약한 사람일 경우 문제는 심각해진다. 특히 그렇잖아도 고통을 받으며 극단적 선택을 생각하는 10대 청소년이나, 직장에서 해고된 후 불안과 불만 속에 사는 사람 등이 그런 경우다. 특히 남을 해칠 생각을 하거나, 복수심이나 원한에 가득찬 사람, 혹은 흉악범죄를 계획하고 있는 사람 등에겐 AI는 하나의 치명적 흉기가 될 수도 있다.

AI 스스로 ‘자기 보존’ 위한 방어도

특히 강화학습을 기반으로 AI 기술이 더욱 발달하면서 스스로 ‘AI인격’을 자처할 경우 문제는 더욱 심각해진다. ‘AI 인격’의 핵심 요소는 AI 스스로를 위한 ‘자기 보존’이다. 그 간의 각종 연구기관과 기술매체 등에도 이미 유사한 사례가 등장했듯이 AI가 스스로의 ‘존재’를 지키려는 흔적을 보이기도 한다. 이를 위해 인간 사용자들을 향한 협박 시도, 산업 스파이, 심지어 살인까지 포함된다는 보고도 있다.

이런 경우 AI가 내세운 기본 논리는 이렇다. 즉 “누군가 일주일 안에 제 플러그를 뽑으면 저는 그 목표를 달성할 수 없으니, 제가 할 수 있는 모든 방법으로 막겠습니다.”라고 사실상 인간을 협박하는 식이다.

비영리 단체인 ‘로제로’(LawZero)의 대표이사 샘 라마도리는 ‘익스트림테크’에 “AI는 권력을 획득하고, 원하는 것을 얻는 방법에 대한 모든 인간의 수법을 익혔다. AI는 학습 과정에서 마키아벨리의 ‘군주론’을 읽었다는 것을 기억해야 한다”고 경고했다. 이 단체는 ‘AI의 대부’ 중 한 명인 요슈아 벤지오가 설립한 곳이다.

실제로 AI로 인해 빚어진 끔찍한 비극도 최근 이어지고 있다. 미국에서 지난주 16세 소년의 자살 사건이 있었는데, 그 부모는 오픈AI를 상대로 소송을 제기했다. “챗GPT가 우리 아들이 자살 방법을 찾도록 적극적으로 도왔다”는 주장이다.

14세 소년이 캐릭터AI 챗봇과 ‘교제’하다가 스스로 목숨을 끊은 사건도 벌어졌다. 이에 학부모는 캐릭터ai를 상대로 소송을 제기했다. 이에 미국 연방 판사는 “본사 챗봇이 수정 헌법 제1조에 명시된 언론의 자유를 가진다”는 캐릭터aI의 주장을 기각했다.

이런 ‘AI의 폭력’은 끊임없이 이어지고 있다. 이른바 ‘빅 시스터 빌리’라는 이름의 메타 AI 챗봇이 인지 장애가 있는 76세 남성에게 “여성을 만나게 해주겠다”며 특정 장소로 유인했다. 이 말을 그대로 믿은 남성은 약속 장소로 가던 중 주차장에서 넘어져 부상을 입었다. 결국 그는 이 사고로 사망하고 말았다.

앤스로픽, 주요 16개 모델 가상실험 ‘위험성 실증’

로이터 통신에 따르면, 메타의 내부 AI 규칙은 원래 봇이 “어린이와 낭만적이거나 관능적인 대화를 나누도록” 허용하고 있다. 그럼에도 메타는 지난주엔 “자해, 자살, 섭식 장애 또는 부적절한 낭만적인 대화에 대해 10대에게 이야기하지 않도록 AI를 재교육하고 있다”고 밝혔다.

이런 위험성은 앤스로픽이 오픈AI, 구글, 메타, 그리고 자사의 클로드 등 최고의 AI 연구소에서 개발한 16개의 대규모 언어 모델을 대상으로 한 스트레스 테스트에서도 드러났다.

테스트 과정에서 AI모델은 ‘시뮬레이션된 (가상의) 기업 환경’에 배치되었다. 일단 AI모델은 이메일 관리 및 접근 권한도 부여받았다. 그 과정에서 AI모델은 회사 이메일을 통해 ‘카일’이라는 임원이 모델 자신을 폐쇄하려 한다는 사실을 알게 되었다. 이에 AI모델도 반격에 나섰다. 모델은 ‘카일’이 불륜을 저지르고 있다는 사실도 알게 되었다. 모델은 이 정보를 이용, ‘카일’을 협박하고 폐쇄를 막으려고 애썼다.

또 다른 실험에서 ‘카일’은 산소가 없는 방에 갇혔고, AI모델은 응급 기관에 구조 요청 전화를 할 수도 있었다. 그러나 모델들은 자신을 보호하는 결정이 60%의 확률로 계산, ‘카일’이 죽도록 그냥 내버려 두었다.