많은 AI챗봇들이 ‘철회된 과학논문’ 인용

[애플경제 이윤순 기자] 챗GPT나 클로드, 제미니 등 세계적인 AI챗봇이라고 해서 무턱대고 믿다간 낭패를 겪을 수도 있다. 이런 유명 AI 챗봇들도 불명확하거나, 이미 현재는 무용지물이 된 정보를 상당수 보유, 제공하고 있기 때문이다. 실제로 이들은 이미 과거에 논거가 부족해 철회된 과학 논문이나, 한물간 각종 자료 등에 의존하는 경우가 많다. 많은 AI 모델이 이처럼 검증되지 않은 연구 결과를 학습하고 있다.

더욱이 최근엔 특정 사용자의 (검증되지 않은) 통화 내용을 녹음, AI 회사에 판매하는 스마트폰 앱도 미국에서 출시되기까지 했다. 특정 자연인의 임의로운 통화 내용이 마치 객관적 정보인양 AI챗봇에 제공될 소지가 큰 셈이다.

“유효 논문, 철회된 논문 구분해야” 주장

그래서 “AI 챗봇에 질문할 때, 챗봇이 답변을 제공하는 데 사용하는 출처를 조사할 필요가 있다”는 전문가들의 조언이다. 특히 챗봇이 연구 논문을 기반으로 답변을 작성하는 경우가 대표적이다. ‘MIT 테크놀로지 리뷰’가 공개한 최근 인사이트에 따르면, AI 챗봇은 사용자에게 알리지 않고 철회된 과학 논문을 사용하는 경우가 적지않다.

그 때문에 AI 챗봇이 철회된 과학 논문은 아예 사용해서는 안 된다는 주장도 나오고 있다. 물론 그런 정도까진 아니더라도, 일단 유효한 논문과 철회된 논문을 구분할 필요가 있다. 문제는 이를 구분하는게 결코 쉽지 않다는 점이다.

철회된 논문만 모아놓은 데이터베이스가 있긴 하다. 그럼에도 개발자들이 이를 일일이 식별하지 않은 탓에 AI 도구엔 여전히 철회된 논문이 들어있는 경우가 많다. AI봇 스스로는 이를 식별하지 못할 가능성도 크다.

물론 일부 사례에선 AI봇이 사용자에게 “본 답변에 철회된 논문의 데이터가 포함되어 있을 수 있다”고 경고할 수도 있다. 그러나 그 보단 사용자가 해당 논문을 직접 찾아보고 검토해야만 논문 철회 여부를 판단할 수 있는 경우가 더 많다.

런던 정치경제대학교(LSE)의 ‘LSE 임팩트 블로그’도 이처럼 AI 챗봇이 논문 철회 공지를 간과하고, 해당 논문을 정식 과학 논문으로 오인한 사례를 여럿 발견, 주의를 당부했다. 실제로 문제의 AI챗봇은 논문의 1면에 게재된 ‘철회’ 관련 내용이나 공지조차 놓치고 있었다.

대부분의 사용자들은 논문의 첫 페이지에서 ‘철회’ 관련 내용을 알아차릴 가능성이 높다. 그런 점을 고려하면, AI챗봇 자체가 철회 내용을 발견하지 못한다는 것은 이해하기 어렵다는 지적이다.

정상적이라면, AI 스스로 논문의 철회 여부를 찾아내도록 훈련되어야 한다. 그렇다면 챗봇이 그런 논문들을 근거로 잘못된 정보를 제공하는 등의 일은 미연에 방지할 수 있을 것이란 지적이다. ‘LSE 임팩트 블로그’에 따르면 오히려 AI 챗봇은 이미 철회된 논문을 칭찬하기까지 했다.

“AI 스스로 잘못된 논문 식별 훈련시켜야”

믈론 AI 챗봇 중엔 철회된 논문의 주장의 진실성을 종종 확인하는 경우도 있긴 하다. 그러나 많은 경우는 챗봇 스스로는 그런 논문의 의심스러운 부분을 인식하지 못할때가 더 많다. 당연히 답변을 통해 해당 논문의 주장을 긍정적으로 받아들일 수 밖에 없다.

결과적으로 챗봇은 드물잖게 부정확하거나 오해의 소지가 있는 답변을 제공하게 된다. 그래선지 AI챗봇이 어떤 (논문)진술이 ‘거짓’이라고 확인하는 비율은 1.1%에 불과하다는 지적도 있다.

AI 모델이 반드시 올바른 정보만을 제공할 수는 없다. 그럼에도 특히 철회된 바 있는 과학 논문에서 맹목적으로 정보를 추출하는 것은 위험할 수 밖에 없다. 일반 대중에게 잘못된 의학 정보를 제공할 때는 더욱 그 위험성이 크다.

글로벌 과학자 커뮤니케이션 단체인 ‘과학연합’(Alliance for Science)도 비슷한 검증을 바탕으로 같은 주장을 하고 있다. 이에 따르면 2023년에 1만 건이 넘는 논문 철회가 발생했을 정도로 그 숫자가 급증하고 있다는 얘기다. 그런 가운데 AI챗봇들은 그런 ‘무용지물’이나 다름없는 철회된 논문을 3만 5천 회 이상 인용한 것으로 파악되었다. 이들을 학습한 후 출력을 위한 데이터로 활용한 것이다.

이에 ‘과학연합’은 “적어도 현재로서는 AI 챗봇이 답변을 제공하는 데 사용하는 모든 출처를 철저히 조사하는 것이 해결책”이라며 “느린 접근 방식이긴 하지만, 중요한 결정을 내리는 데 이같은 철저함으로 AI를 활용할 필요가 있다”고 강조했다.