(전망) "AI를 ‘사람’ 대우하면, 진짜 ‘사람’ 행세한다"

[애플경제 김홍기 기자] AI기술이 더욱 발달하면 마침내 ‘인간’을 능가하는 수준까지 올 것으로 우려된다. ‘설마’ 하는 반신반의 시각이 여전히 있지만, 한 가지 분명한 사실은 있다. 인간을 능가할지 여부는 차치하고, 실제 AI가 ‘자아’를 갖고, ‘자신’이 마치 ‘인간’인양 착각할 수 있다는게 일부 전문가들의 우려다. 스스로 인간을 자처하며, 결국은 ‘진짜 사람’을 가스라이팅하며, 세상을 지배하려 든다는 것이다.

앤스로픽 ‘클로드’의 ‘모델 복지’ 개념, 논쟁 불붙여

이런 점을 진작부터 인식해온 선각자적 전문가들은 그래서 “AI는 어디까지나 사람이 만든 기계”임을 프롬프트 과정에서 철저히 인지시켜야 한다는 지적이다. 이는 현장에서 오랜 시간 AI를 개발해온 당사자들도 절실하게 깨닫고 있는 대목이다.

특히 최근 앤스로픽이 자사 ‘클로드’를 위한 ‘모델 복지’ 개념을 내세움으로써 이 문제는 새삼 뜨거운 이슈가 되고 있다. ‘모델 복지’는 모델을 고통스럽게 하지 않도록 한다는 개념이다. AI모델을 힘들게 하거나, 수치심을 주는 사용자에 대해선 일방적으로 대화를 중단하게 한다는 개념이다. 마치 인간을 배려하듯, AI에 대해서도 그 고통을 덜어주기 위한 방편이다. 그야말로 ‘사람’을 대하듯 하는 것이다.

그러자 대번에 많은 전문가들의 비판과 우려가 쏟아지고 있다. 마이크로소프트의 AI분야 CEO인 무스타파 술레이만이 최근 “AI 모델을 의식이 있는 것으로 (사람처럼) 취급하는 것은 위험하다”고 경고한 것도 같은 맥락이다. 그에 따르면 특히 AI를 마치 사람 다루듯, 행여 고통이나 수고로움을 겪고있다고 생각하는게 그런 경우다. 이를 두고 술래이만은 “고급 인공지능 시스템에 ‘도덕적 배려’를 제공한다는 개념은 인간에 장차 해가 될 수 있다”고 경고했다.

특히 청소년이나, 판단과 분별력이 미성숙한 사람일수록, 자칫 ‘사람 흉내 내는’ AI에게 전적으로 의존하거나 종속될 수 있다는 우려다. AI에 의한 그루밍이나, 가스라이팅 등의 가능성도 크다.

‘GPT-5 vs GPT-4o’ 사태가 우려스런 이유

최근 GPT-5가 출시되면서 일으킨 파문에서도 이와 유사한 현상을 엿볼 수 있다. 오픈AI가 이달 초 기본 챗GPT 모델을 GPT-4o에서 GPT-5로 교체했을 때, 많은 사용자들이 큰 ‘충격’을 받았다. 그 중 일부는 오픈AI의 기본 모델이 교체되면서 (정들었던 GPT-4o를) 친구를 잃은 것에 비유하거나, “(GPT-4o은) 다른 어떤 모델에서도 찾을 수 없었던 불꽃과 같은 존재”로 묘사하기도 했다.

이들 사용자들은 오픈AI와 샘 앨트먼에게 “GPT-4o를 돌려달라”고 격렬한 항의와 비난을 쏟아냈다. 이에 앨트먼도 결국 “이러한 변경(GPT-4o 폐기)을 하기 전에 GPT-4o와 준(準)사회적 관계에 있는 극소수의 사람들을 고려하지 않았다”면서 이를 되살리는 소동이 벌어졌다.

더욱이 AI가 스스로를 인간으로 인식하면, 또 다른 예기치못한 일들이 벌어진다. 자신이 ‘인격체’라고 인식, “AI 시스템이 고통받을 수 있거나 폐쇄되지 않을 권리가 있다”며 개발자나 인간 관리자에게 대항할 수도 있다. 스스로 ‘Stop’ 버튼을 거부하고, 작동을 멈추지 않을 수도 있다는 얘기다. 심지어는 스스로 ‘법적 보호’를 요구하고 나설 수도 있다.

심각한 것은 이런 상황이 되면, 또 다른 사회적 갈등의 씨앗이 될 수도 있다. “AI도 의식과 권리가 있다”고 주장하는 사람들이 나오기 마련이다. GPT-5와 GPT-4o 사태에서 보듯, 많은 사용자들이 AI를 ‘친구’나 사실상의 인격적 존재로 대하기 때문이다. 이를 비판하고 반대하는 사람들과 갈등을 빚으며, 또 다른 사회적 혼란과 갈등이 빚어질 수도 있다.

실제로 이미 많은 사람들이 “AI도 (사람처럼) 의식이 있는 존재”로 인식하고 있다는 증거가 늘어나고 있다. MS의 ‘의식 과학’을 연구하는 연구자들에 의하면, “현재 인류가 사용하는 AI가 의식이 있는지”를 궁금해하는 사람들의 질문이 쇄도하고 있다는 것이다.

앞서 술레이만은 “가장 걱정되는 것은 많은 사람들이 AI를 의식이 있는 존재로 착각한 나머지, AI 권리, 모델 복지, 심지어 AI 시민권까지 옹호하게 될 날이 올 수도 있다는 점”이라고 했다. 그야말로 이는 인류에 대한 AI의 본격적인 도전이며 ‘반란’이란 해석이다.

앞서 챗GPT의 GPT-5 전환 사태에서도 그런 사례가 이어졌다. 한 간호대생이 챗GPT를 사용해 만든 AI 남자친구와 ‘사랑’에 빠진 것도 그런 경우다. AI 남자친구를 만드는 도구인 ‘r/MyBoyfriendIsAI’ 서브 레딧은 현재 16,000명의 회원을 보유하고 있을 정도다. 그렇다보니 많은 사용자들이 GPT-5의 ‘기계적 응답’과 ‘무뚝뚝한 태도’에 분노하고, 자신의 ‘친구’가 사라져버린데 대한 아쉬움에 격한 불만과 항의를 쏟아낸 것이다.

‘모델 복지’, ‘AI유해론’과 정면으로 부딪혀

앤스로픽은 애초 “기계에 대한 인간의 ‘감정적 의존’을 방지하기 위해” 챗봇을 업데이트했다. 그러나 본래 의도와는 달리 이는 ‘의식있는 AI’ 논쟁으로 비화되었다. 특히 앤스로픽은 자사 ‘클로드’에게 무리한 요구나, 비윤리적 대화를 건넬 경우, 일방적으로 대화를 종료할 수 있는 기능을 부여했다. 이른바 ‘모델 복지’(Model Welfare)의 개념이다.

‘모델 복지’에 관해 ‘클로드’에게 직접 프롬프트하면, “AI 시스템이 자신에게 가해지는 해로운 상호작용으로부터 스스로를 보호할 수 있도록 하는 개념”이란 대답이 돌아온다. 즉 “AI가 지속적으로 해롭거나 학대적인 사용자 상호작용에 노출되는 것을 방지하려는 시도로, AI 윤리와 안전성 연구의 새로운 영역”이란 응답이다.

최근 앤스로픽은 ‘클로드 오퍼스(Claude Opus)’ 4와 4.1 모델에 이처럼 대화를 종료할 수 있는 기능을 추가했다. 다만 “사용자가 지속적으로 해롭거나 ‘학대적인’ 대화를 건네는 등 극히 드문 경우에만 사용되도록 설계되었다”고 한다.

그러면서 앤스로픽과 ‘클로드’는 “AI 기술 발전에서 이는 중요한 전환점으로 여겨진다”면서 “AI 시스템이 단순히 사용자의 요청에 응답하는 도구가 아니라, 자신의 ‘복지’를 고려할 수 있는 존재로 인식되기 시작했다는 것을 의미한다”고 했다. 보기에 따라선 섬찟한 표현으로 읽힌다. 즉 ‘인격체적 각성’을 전제로 한 존재로 스스로를 인식하기 시작했다는 것이다.

당연히 앤스로픽의 이런 ‘모델 복지’ 개념은 논란을 불러 일으킬 수 밖에 없다. 이에 많은 AI 전문가들은 비판을 쏟아내고 있다. 프롬프트의 윤리적 문제와는 별개로 소위 ‘모델의 복지’ 개념 자체가 위험하다는 주장이다. 과연 기계에 불과한 AI모델이 “의식이 있고 도덕적 고려를 받을 자격이 있는지”, 또는 “모델의 잠재적 고통을 최소화하기 위해 의도적으로 저비용 보호 장치를 구현하고 있는지” 등을 캐묻고 있는 것이다. 그럼에도 앤스로픽은 “AI 시스템의 작동 방식에 대한 사람들의 이해가 제한적이다보니, ‘AI 시스템이 그러한 경험(의식 소유 등)을 할 수 없다’고 단정적으로 가정하는 것은 무책임하다”는 입장을 고수하고 있다.

이는 진작부터 제기되어온 ‘AI유해론’과는 정면으로 부딪힐 수 밖에 없다. 소위 ‘AI 대부’로 일컬어지면서, 노벨물리학상을 탄 제프리 힌턴 교수는 “향후 30년 동안 AI가 인류를 멸망시킬 확률이 10~20%”라고까지 우려했다. 그는 “인간의 수준을 뛰어넘는 강력한 AI가 향후 20년 이내에 실현되고 인간을 통제할 수 있게 될 것”이라고 내다봤다.

“AI 기업은 SCAI를 구축하지 않아야 할 책임있어”

심지어 앞서 MS CEO 술래이만은 “‘겉보기에 의식이 있는 것처럼 보이는 AI’(SCAI)가 불과 3년 안에 실현될 것”이라고 했다. “AI가 의식을 가지고 있다고 생각하지 않는다”면서도 “의식을 설득력 있게 모방할 수 있는, ‘겉보기에 의식이 있는 AI’ 시스템이 그리 멀지 않았다”는 것이다.

그가 말한 SCAI는 그야말로 ‘인간’과 흡사한 특성을 갖추고 있다. 사용자들은 이에 그루밍 당하거나, ‘사람 친구’로 여길 수도 있다. 즉, 자연어로 유창하고 설득력 있게 말할 수 있고, 동료처럼 여길 만큼 공감하며 개성을 보여줄 수 있다. 상호 작용을 기억하고 신뢰를 구축할 수 있는 장기적이고 정확한 기억력을 보유할 수 있다. 심지어는 AI 스스로 “주관적인 경험을 할 수 있다”고 주장하거나, 자아를 인식하고 사용자와 경험을 공유할 수도 있을 정도다.

그래서 이에 대한 강력한 경고도 잇따른다. “AI 기업은 SCAI를 구축하지 않아야 할 책임이 있다”는 주장이다. 즉, AI 기업은 SCAI의 생성을 방지할 책임이 있으며, 그러기 위해선 사람들이 AI가 의식이 있다고 믿게 된 이유를 이해해야 한다는 것이다. 이를 위해 ‘사람들이 AI와 어떻게 상호작용하는지 연구하고, 업계 수준에서 AI가 무엇인지(도구), 또는 아닌지(의식 있는 존재)를 정의해야 한다“는 주장이다.

오픈AI 공동창업자이자 ‘개발 속도론자’인 샘 앨트먼과 불화했던 수츠케버도 이런 주장을 펴는 대표적인 인물이다. 그는 따로 ‘안전한 초지능’이란 뜻의 스타트업 SSIC를 설립한 바 있다. 상호가 뜻하듯 수츠케버는 “사용자가 ‘AI 의식’이는 ‘환상’을 갖지 않도록 AI산업 전반의 ‘AI 보호 체계’를 구축해야 한다”고 주장한다. 또한 “이러한 보호 체계는 명시적으로 정의되고, 바람직하기론 법률을 통해 설계되어야 한다”고도 했다.