해외 연구자 집단 ‘인간 vs AI 간의 창의성 테스트’
AI, 비즈니스 아이디어, 소설쓰기 등에서 99% 인간 능가
[애플경제 전윤미 기자] 한 해외 전문가들의 연구집단에 의한 실험 결과 GPT-4가 대부분의 사람보다 창의적이라는 결론이 나와 흥미를 끈다.
AI 등 첨단기술 연구자들의 집단인 ‘Oneusefulthing’은 최근 자체 실험과 연구 결과 “GPT-4는 창의성 테스트인 대안 사용 테스트에서 91%의 인간을 능가하고, 창의적 사고 테스트인 토런스 테스트에서는 99%의 사람을 능가했다.”면서 “인공지능이 뛰어넘을 수 없는 창의력 테스트는 이제 한계에 이르렀다”고 결론지었다.
일단 이들은 실험 과정에서 “‘창의성’에 대한 단일한 정의는 없다”고 단서를 달았다. 하지만, “다양하고 의미 있는 아이디어를 생각해내는 인간의 능력을 측정하는 데 널리 사용되는 여러 가지 테스트를 개발했다”고 했다. 즉, 동일한 테스트를 사람과 AI에게 모두 적용해보았다는 얘기다.
인간 통과못한 테스트, AI가 해내
그 결과 인간은 통과하지 못한 테스트를 AI는 거의 모두 해냈다는 얘기다. 즉, GPT-4는 창의성을 위한 다양한 경우의 수를 동원하는 테스트에서 참가한 사람들의 91%를 능가했다. 또 ‘창의적 사고’에 대한 테스트에서는 99%의 참가자들보다 우수했다. 그야말로 창의성에 있어서 인간을 능가한 것이다.
이에 따르면 몇 주 동안 이뤄진 세 가지 새로운 테스트와 논문을 통해 내려진 결론이다.
스타트업 창업 아이디어 대결서 AI가 이겨
우선 많은 스타트업을 탄생시킨 인기 있는 대학의 혁신 수업을 듣는 학생들과 챗GPT-4를 대결하는 아이디어 생성 콘테스트를 열었다.
그 결과는 단연 챗GPT-4의 승리였다. 비즈니스 가치라는 관점에서 학생들의 아이디어보다 AI가 생성한 아이디어에 대해 외부 심사위원의 구매 의도가 더 높았다. 또한 심사위원이 평가한 최고의 아이디어 40개 중 35개는 챗GPT에서 나온 것이었다.
순환경제 아이디어도 AI가 우수
두 번째 테스트에선 순환 경제의 일환으로 제품의 재사용, 재활용 또는 공유를 기반으로 한 사업 아이디어를 생각해 내도록 참가한 사람들에게 요청하는 크라우드소싱 콘테스트를 실시했다. 그런 다음 연구원들과 심사위원들이 해당 아이디어를 평가하고, 이를 GPT-4에서 생성된 아이디어와 비교했다.
그 결과 AI와 인간이 생성한 아이디어의 전반적인 품질 수준은 유사했다. 하지만, 타당성과 영향력 측면에서는 AI가 더 나은 것으로 판단되었다. 다만 아이디어의 ‘참신함’ 측면에선 인간이 생성한 아이디어가 다소 나은 것으로 판단되었다.
단편소설 주제 발굴 등에서도 AI가 우수
세 번째 테스트에선 각도를 달리해, 비즈니스 아이디어보다는 창의적인 글쓰기 아이디어에 초점을 맞췄다.
일단 단편 소설을 쓰기 위해 ‘혼자 집필 작업을 하는 사람’과, AI를 사용하여 3~5가지 가능한 주제를 제안받는 두 사람을 두고 그 결과를 비교했다. 그 결과 역시 AI의 도움이 받은 경우가 훨씬 낫다는 평가다.
AI의 도움을 받은 사람은, AI없이 혼자 쓴 이야기보다 훨씬 더 새롭고 흥미로운 것으로 판단되는 이야기를 만들었다. 그러나 “두 가지 흥미로운 유의사항이 있다”는 얘기다.
즉, 가장 창의적인 사람들은 AI의 도움을 가장 적게 받았다. 또 AI가 내놓은 아이디어는 일반적으로 사람이 만든 아이디어보다 서로 더 유사한 것으로 판단되었다.
이를 두고 ‘Oneusefulthing’은 “AI는 실제 상황에서 창의적인 아이디어를 창출할 수 있고, 사람들이 더 나은 아이디어를 생성하는 데 도움이 될 수도 있다”고 요약했다.
또 AI가 생성하는 아이디어는 대부분의 사람들이 생각해 낼 수 있는 것보다 낫지만, 매우 창의적인 사람들은 오히려 AI를 이길 수도 있다. 다만 현재 AI기술로는 그렇다는 얘기다.
“다만 사람과 달리, AI 아이디어는 서로 비슷한 게 많아”
또한 수많은 사람들이 생성한 아이디어는 무한 다양한데 비해, 현재의 AI가 생성하는 아이디어는 근본적으로 서로 유사한 것이 많다는 분석이다. 이는 학습 데이터나 모델링 과정의 한계 때문이다.
이를 두고 국내 ‘인공지능개발자 모임’의 한 전문가는 “창조는 무에서 유를 만드는 것이 아니다. 기존에 있는 개념들을 엮어서 새롭게 조합하는 것”이라고 생성AI의 본질을 설명했다. 즉, 연필과 지우개를 합쳐서 지우개 달린 연필을 떠올린 것과 같고, 그러기 위해서는 다양한 지식을 머리속에 담고 있어야 한다는 얘기다. “그래야 ‘스파크’가 튀면서 서로 다른 지식이 융합된다”는 것이다.
그처럼 GPT-4는 사람보다 압도적으로 많은 정보를 기억하고 있다. 게다가 언어능력을 갖고 있어서 이 사실들을 이해하고 조합할 수도 있다. 이에 전문가들 간에는 지금도 인간에게 필적할 만한 창의력은 시간이 지날수록 더욱 강해질 것이란 예측이 지배적이다.