‘AI 모델이 큰 것일수록 좋다’는 믿음은 더 이상 만능이 아니다. 대규모 LLM 대신 소수의 매개변수와 정제된 소량의 데이터 등을 기반으로 한 sLM이 각광을 받고 있는게 최근의 분위기다. 이미 IT업계는 물론, AI솔루션 의존도가 날로 커지는 산업계 전반에서 모델 경량화 내지 sLM에 대한 선호도 역시 높아지고 있다.
GPT 출현 이래 그야말로 AI모델은 미친 듯이 몸집을 불리는 경쟁을 해왔다. 그러나 그런 맹목적 믿음에 기반한 생성 AI 혁명은 곧 정체될 수 있을 것이란 두려움도 확산되고 있다 이미 눈앞의 현실을 깊이 들여다볼수록 LLM 기반의 생성AI 모델은 한계에 처할 수 밖에 없음을 깨닫게 한다, 오픈AI가 선두에 섰던 AI산업은 지금도 규모 확장에 억만금의 돈을 쏟아붓고 있다. 칩과 데이터를 산더미처럼 모으고, 미래의 대규모 언어 모델을 오늘보다 더 크게 만들기 위해 안간힘을 쓰고 있다. 그러나 블룸버그를 위시한 전문가 집단은 “위험한 이러한 베팅은 실패할 수도 있다”고 불안한 시선을 보내고 있다. ‘AI회의론’이 괜히 나온게 아니다.
과연 모델이 크면 클수록 성능도 이에 비례할 것인가. 이에 대해 정작 개발자 자신들도 완전한 확신을 하지 못하고 있다. 오픈AI 직원들 스스로가 자기네 차세대 플래그십 모델인 ‘오리온’(Orion)에 대해 회의적이다. 이 직전 모델인 GPT-4보다 두드러지게 성능이 개선되진 않을 것이란 것이다. GPT-4가 GPT-3보다 성능이 뛰어났던 것과는 다를 것이란 불안감이다. 이미 글로벌 AI업계에선 차세대 모델이 등장할때마다 기대했던 만큼 성과가 없음에 초조해하곤 한다. 이런 사정은 구글이나, 오픈AI의 경쟁사인 앤트로픽 등도 마찬가지다. 블룸버그는 “이들 기업들도 야심차게 제시한 차세대 (LLM 기반) 모델을 개발하는 과정에서 좌절과 지연을 겪고 있다”고 전했다.
대형 모델의 더 큰 문제는 따로 있다. 컴퓨팅 파워는 무한하지 않으며, 파워를 늘릴수록 비용과 전기를 엄청나게 소모한다. 더욱 중요한 사실은 ‘데이터 고갈’이다. 오늘날의 AI모델은 이미 사용 가능한 대부분의 양질의 데이터를 거의 소진한 상태다. 이에 무단으로 남의 창작물이나 정보를 갖다 쓰다가 법적 문제로 비화하기도 한다. 그렇다고 AI에서 생성한 합성데이터로 데이터 가뭄을 해소할 수도 없다. 가상 내지 가짜 데이터나 다름없는 합성 데이터로 훈련된 모델은 그 만큼 품질과 신뢰도가 떨어질 수 밖에 없다. 이에 많은 개발자나 기업들은 ‘무조건 더 크게 만들자’는 접근 방식을 대체할 만한 기술을 연구하거나, 이를 본격적으로 구현하기 시작했다.
그래서 등장한 것이 모델을 축소하는 방법이다. 컴퓨팅 에너지도 덜 들고, 특정한 용도에 맞게 만들어 성능을 발휘하는 ‘알토란’ 같은 sLM을 개발하는 것이다. 이미 글로벌 IT업계에선 ‘작은 것이 소중하다’는 인식이 공유되고 있다. 1년 전 빌 게이츠도 “GPT-4의 후속 버전이 실망스러울 것”이라며 LLM의 한계를 지적했다. 오랫동안 생성 AI 발전의 정체를 예측해 온 AI 비평가 게리 마커스도 그런 의견에 공감하는 보고서를 내놓았다.
특히 인간과 비슷한 수준의 지능을 구현한다는 AGI도 그런 점에서 논쟁꺼리다. LLM이 한계가 있을게 분명한데, 과연 그런 야심찬 목표 지점에 도달할 수 있을까 하는 것이다. 이미 일각에선 생성AI를 뒷받침하는 신경망과, 하드와이어 지식을 결합하는 것을 포함한, 다양한 대체 기술을 연구하고 있다. 그러나 이런 접근 방식도 한계가 있다. 단언컨대, 대형 LLM의 미래는 갈수록 불투명하다.
“무조건 큰 것이 좋다”는 사고에 젖었던 AI생태계에서도 일말의 각성이 일고 있다. 그럼에도 불구하고 여전히 의료, 교육 등 특정 분야를 제외하곤, 경량화된 응용 모델은 여전히 활성화되지 않고 있다. 대형 모델이 모든 것을 대신해 줄 수 있다는 ‘허황된’ 기대를 떨치지 못한 탓이다. 이는 결고 꿈이 아니라, 무모한 열망이자 탐욕일 뿐이다. 지금의 GPT와 같은 모델조차 이런 탐욕과 갈증을 채워줄 수 없다. 오히려 소박하지만 알뜰한 ‘사용자 지정 AI 모델’이 더 실속있다. 작은 것이 쓸모있는 시대라고 하겠다.