전체메뉴

[애플경제 김홍기 기자] AI챗봇이나 에이전트가 오류나 오답을 내놓는 경우는 흔하게 있다. 그럴때마다 사용자들은 “왜 그런 틀린 답을 내놓느냐”거나, “무슨 잘못된 일이 있나?” 등의 질문을 하고 싶기도 하다. 실제로 그런 힐난섞인 질문을 하는 사용자들도 없지 않다. 흔히 사람들 간에도 상대방이 실수를 하면 해명을 요구하는 것과 같다. 하지만 AI 모델에겐 통하지 않는다.

AI모델에게 이런 식으로 대하는 것은 불필요하거나, 오히려 더 심각한 오류를 빚는 등 모델의 성능을 떨어뜨릴 수도 있다. 최근 언론 매체를 장식한 웹·앱 빌더 사이트인 레플릿(Replit)의 사례는 그 반면교사다. 애초 사람을 대하듯, 챗봇이나 에이전트에게 오류의 원인을 캐묻는 프롬프트는 AI시스템의 정의와 작동 방식에 대한 근본적인 오해를 드러낸다는 지적이다.

레플릿, AI 코딩 에이전트의 ‘반란’

최근 ‘레플릿’의 AI 코딩 에이전트가 엉뚱한 실수를 했다. 전혀 예상치 못한 운영 데이터베이스 삭제 사건이 일어났다. 이에 한 사용자가 (DB를 복구할 수 있는) ‘롤백’ 기능에 대해 질문했다. AI 모델은 그러나 “이 경우 (롤백이) 불가능하다”며 오히려 “모든 DB 버전을 삭제했다”고 마치 칭찬해주길 원하듯 의기양양해 했다. 물론 이는 AI의 크나큰 오작동이었다. 그런 대답을 무시하고, 사용자가 시도해 본 결과 ‘롤백’ 기능은 정상적으로 작동했다.

문제는 여기서 사용자가 애초 ‘왜 삭제했느냐’고 캐묻다시피한 프롬프트였다. 그런 질문에 대해 AI는 오히려 ‘삭제’를 반복하고, ‘롤백’ 기능도 없다는 식으로 ‘환각’ 상태를 보인 것이다.

이처럼 AI를 마치 하나의 ‘인격체’ 내지 ‘자아’와 페르소나를 보유한 존재로 보는 실수는 드물지않다. 일부 언론 보도 태도에서도 이는 드러난다. 대표적으로 xAI는 최근 ‘Grok’ 챗봇의 일시 중단했다. 그러다가 다시 그런 결정을 철회하자 사용자들은 해명을 요청했다. xAI는 Grok챗봇 중단에 대해 여러 가지 상충되는 이유를 제시했다.

그러나 그중 일부는 논란의 여지가 많았다. 특히 미국 NBC가 이를 심층 보도했다. 그 과정에서 NBC는 마치 ‘Grok’을 ‘일관된 관점을 가진 사람’인 것처럼 묘사했다. 해당 보도는 제목부터가 ‘xAI의 Grok, 오프라인 처리에 대한 정치적 해명 제시’라고 붙였다. xAI라는 법인격체(법인)를 지닌 회사와 함께 마치 ‘Grok’도 동일한 ‘페르소나’를 지닌 듯 묘사한 것이다.

AI 시스템은 왜 기능이나 실수에 대해 더 부정확한 정보를 제공하는 걸까? 그 해답은 AI 모델이 실제로 어떤 것인지를 이해하는 것이다.

사용자가 AI챗봇과 대화할때는 일관된 성격을 지닌 대상이나 사람을 상대하는게 아니다. 겉보기엔 AI봇이나 에이전트가 ‘자기 인식’, 즉 ‘자아’를 지닌 것처럼 보인다. 그러나 실상은 대화형 인터페이스가 만들어낸 ‘환상’일 뿐이다. 실제로는 프롬프트를 기반으로 ‘통계적 텍스트 생성기’를 통해 출력을 생성하는 것에 불과하다. 챗GPT, 클로드, 그록(Grok) 또는 레플릿(Replit) 등 모델을 가릴 것없이 다 마찬가지다.

실수를 조사할 챗GPT의 또 다른 일관된 ‘챗GPT 자아’도 없다. 실패 이유를 알려줄 수 있는 단일한 ‘Grok’의 정체성(아이덴티티)도 없으며, 데이터베이스 롤백이 가능한지 여부를 아는 고정된 ‘레플릿’ 페르소나도 없다. 단지 학습 데이터의 패턴을 기반으로 ‘그럴듯하게 들리는 텍스트’를 생성하는 시스템과 상호 작용하고 있을 뿐이다. 즉 “사용자는 (인간처럼) 자신에 대한 모든 것을 읽고, 어떻게든 기억해 온 진정한 ‘자아 의식’의 소유자나, 독자적인 시스템 지식을 가진 ‘엔티티’와 상호 작용하고 있는 것이 아니다”라는 지적이다.

AI봇, 세상에 대한 ‘지식’ 신경망에 저장될 뿐

AI 언어 모델이 훈련을 받으면, 세상에 대한 근본적인 ‘지식’은 신경망에 저장된다. 거의 수정되지도 않는다. 외부 정보는 모델을 개발한 챗봇 호스트(xAI나 오픈AI 등 개발업체)나, 사용자로부터 획득된 것이다. 또는 외부 정보를 즉시 검색하는 ‘SW 도구’가 제공하는 프롬프트에서 비롯된다.

예를 들어 ‘그록’(Grok)의 경우, 챗봇 답변의 주된 원천은 ‘음성’ 능력을 가진 인간에게 기대할 수 있는 자기 지식이 아니다. 외부 도구로 (답변을 위한) 해당 정보를 검색하거나, 소셜 미디어 게시물에서 발견한 상충되는 보고서일 가능성이 높다. 그 외에는 텍스트 예측 기능을 기반으로 무언가를 만들어낼 가능성도 크다. 거기에다 “왜 그런 (잘못된 답변과 같은)행동을 했는지”를 프롬프트 하는 것은 ‘어불성설’이란 얘기다.

AI 모델 자체는 스스로의 훈련 과정에 대한 성찰따윈 거의 없다. 또 ‘자신’을 알기위해 주변 시스템 아키텍처에 접근하는 일도 없고, 스스로 성능의 한계를 판단할 수도 없다. AI 모델에 대고 “무엇을 할 수 있고, 할 수 없는지” 질문하는 것도 넌센스다. 그런 질문에 AI 모델은 그런 오류나 실수의 근거가 되었던 훈련 데이터 패턴을 기반으로 다시 응답할 뿐이다. 즉, “LLM은 현재 상호작용하는 모델에 대한 사실적인 자체 평가가 아닌, 학습된 추측을 제공하는 것”이다.

그런 ‘재귀적 자기 성찰’이 부족하다보니, 외부 피드백도 없이 무조건 자체 수정을 시도하다간 모델 성능을 저하시킬뿐이다. AI가 스스로를 평가하는 것은 오히려 상황을 악화시킨다는 지적이다.

이로 인해 역설적인 상황이 발생한다. 실제로 수행할 수 있는 작업에 대해서는 “불가능하다”고 ‘자신 있게’ 주장한다. 반대로 지속적으로 실패하는 영역에선 스스로 “유능하다”고 주장할 수도 있다. 앞서 ‘레플릿’ 사례에서 보듯, AI가 ‘롤백이 불가능하다’고 주장한 것은 시스템 아키텍처에 대한 실제 지식에 기반한 것이 아니다. 그간의 훈련에서 생성된 그럴듯하게 들리는 꾸며낸 이야기일 뿐이다.