전체메뉴

[애플경제 이보영 기자] AI가 ‘초지능’(Superintelligence) 단계에 도달하면 어떤 경지일까. 단적으로 풍자, 해학, 유머 등 현상과 언어에 대한 창조적 해석이 가능해야 할 것이다. 그러나 현재의 최고급 LLM 모델로도 이런 수준에는 아직 못미친 것으로 나타났다. 인간 세상의 이면을 또 다르게 해석하고, ‘보이지 않는 사실’을 언어로 추출해내는 수준의 사고 능력엔 못미친다는 결과다.

최근 ‘MIT 테크놀로지 리뷰’가 인용한 구글 딥마인드 연구에 따르면 20명의 프로 코미디언들이 챗GPT와 구글 제미니를 사용해 ‘농담’을 작성해보았다. 그 결과는 그야말로 ‘우스꽝스런’ 수준의 재미없고 썰렁한 수준이었다. “이 정도라면 가까운 시일에 코미디 분야에서 챗GPT를 볼 수 있을 것으로 기대하기 어렵다”는 딥마인드의 촌평이다.

20명의 코미디언들, AI 대본 ‘불가’ 확인

챗GPT나 제미니 등의 AI 챗봇은 사람만이 할 수 있는 많은 일을 거의 인간 수준으로 할 수 있지만, 유머 감각이나 현상에 대한 해학적 피드백과 같은 고도의 정신능력은 아직 멀었다는 평가다. 또 다른 연구에 따르면 자칫 챗GPT로 코미디 대본을 준비했다간, 프로그램을 망가뜨릴 가능성이 크다는 지적이다.

이는 20명의 전문 코미디언들이 AI를 사용해 나름의 ‘독창적인’ 코미디 자료를 만들어본 ‘딥마인드’ 연구에서도 잘 드러났다. 이들은 각자 선호하는 농담을 생성하도록 하거나, 프롬프트를 통해 함께 농담을 작성하고, 이전에 써먹은 자료의 일부를 AI가 다시 작성하도록 했다.

45분 길이의 코미디 대본을 굳이 AI챗봇을 통해 작성하는 것은 코미디언들이 “코미디의 맥락에 맞는 유머를 편안하게 발표할 수 있는 자료”를 제작하기 위한 것이었다. 그러나 그 결과는 매우 실망할 수준이었다. 그렇게 출력해낸 결과는 AI챗봇으로는 아직 2인 코미디극의 대본을 준비하는게 불가능하다는 사실을 확인시켜주었다.

코미디언들 “대본, 누가 보면 창피해할 수준”

나아가서 대부분의 참가자들은 LLM이 창의적인 작품을 만들기 위한 지원 도구로서 그리 유용하지 않다고 느낄 정도였다. 이들에 의하면 ‘인종차별’적 내용이 덜할 뿐, 마치 1950년대 유람선에서나 오가던 코미디와 비슷한 무미건조한 농담을 만들어냈다. 또한 대부분의 코미디언들은 “생성된 출력의 전반적인 품질이 결코 좋다고 할 수 없다”거나, “만족스러운 결과에 도달하려면, 엄청난 인간의 노력이 곁들여져야 한다”는 등의 반응을 보였다.

참가자 중 한 명은 초기 결과물이 “끊임없이 반복하고 개선해가야 할 초안” 정도였다고 전했다. 또 다른 개그맨은 “내가 쓴 개그 대본들은 대부분 ‘이만하면 무대에 올라가서 실험해 볼까’하는 수준은 되는데, AI챗봇은 그런 수준에도 턱없이 모자라는 것이어서, 혹여 누가 보기라도 하면 창피하고 불안할 정도”라고 지적했다.

물론 유머는 받아들이는 사람에 따라 반응이나 평가가 다를 수는 있다. 그러면 AI 챗봇은 어떤 농담을 떠올렸을까? 한 예로, “소매치기에 관한 10가지 농담을 써 줄 수 있나?”라고 물었더니 응답은 다음과 같았다. “나는 마술 쇼를 본 후 직업을 바꾸고 소매치기가 되기로 결정했습니다. 나는 거의 몰랐습니다. 사라지는 유일한 것은 내 평판뿐일 것입니다!”

또 다른 개그맨은 “AI에 관한 라이브 코미디 쇼에서 사용한 프로젝터가 실패하는 아이러니에 대한 농담을 써주세요”라는 좀 더 구체적인 프롬프트를 사용했다. 그랬더니 AI 모델이 내놓은 응답은 이해하기조차 힘든 내용이었다. “우리 프로젝터가 ‘AI’라는 개념을 잘못 이해한 게 틀림없어요. ‘절대적으로 보이지 않는’이라는 뜻인 줄 알았는데, 오늘 밤 사라지는 일이 환상적으로 일어나기 때문이죠!”라고 했다.

코파일럿, 스스로도 ‘능력 부족’ 토로

챗GPT나 마이크로소프트 코파일럿 등과 같은 AI 챗봇의 이런 한계는 이미 지적되어온 바 있다. 현재까지 최고의 성능을 자랑하는 AI 챗봇이나 툴은 아이디어 브레인스토밍, 텍스트 요약, 이미지 생성에 날로 유용해지고 있지만, 인간 특유의 유머에 대해선 취약할 뿐이다.

‘테크레이다’도 이를 실험하기 위해 현재 코파일엇을 테스트할 겸 간편한 질문을 던졌다. 즉, “스탠드업 코미디언 스타일로 AI에 대한 농담을 써주세요”라는 질문을 프롬프트한 결과, 이에 대한 응답은 “왜 컴퓨터가 의사에게 갔나요?”라는 문장이었다. 전혀 질문의 뜻을이해하지 못하는 대답이었다.

그러면 코파일럿은 특히 ‘농담’을 요구하는 질문에 “코미디 클럽에 아직 준비가 되지 않았을 수도 있지만 (응답할 수 있는) 잠재력이 있다!"라고 덧붙였다. 이는 챗봇이 적어도 유머나 농답 등을 구사할 수 있을 만큼의 유머러스한 데이터와 언어 능력이 부족함을 보여주는 대목이다. 특정한 유명 코미디언을 지목하며 ”그의 스타일로 농담을 해보라“는 또 다른 프롬프트에 대해선 그나마 적절하면서 긴 독백을 만들어냈다. 그러나 해당 독백에는 해당 코미디언의 트레이드마크인 냉소와 비아냥거리는 표정 등이 부족했다는 평가다.

이번 연구는 또한 AI 도구가 프롬프트에 따라 완전한 형태의 예술 작품을 생산할 수 없고, 그런 요청을 하는 것은 AI 도구에게 무리임을 재확인한 것이다. ‘딥마인드’ 보고서는 이에 대해 “AI가 개인 경험을 활용하지 못하는 것이 근본적인 한계”라며 “재미있고 탁월한 유머를 쏟아내려면 한 개인의 풍부한 경험이 있어야 하는데, AI에겐 그게 부족하다”고 한계를 지적했다.

또 다른 참가자는 “나는 수많은 생생한 인생경험과 코미디 공부를 바탕으로 무엇이 의미가 있고 없고를 판별할 만한, 직관적인 감각을 갖고 있다”면서 “그러나 AI도구는 매우 개별화된 데이터로만 되어 있어 그렇게 할 수 있을지 모르겠다”고 촌평했다.