전체메뉴

[애플경제 김홍기 기자]  ‘AI 모델이 큰 것일수록 좋다’는 믿음에 균열이 생긴지도 꽤 오래 되었다. 오픈AI의 생성AI와 GPT 모델이 출시된지 2년 6개월 가량 지나면서 대규모 LLM 대신 소수의 매개변수와 정제된 소량의 데이터 등을 기반으로 한 sLM도 각광을 받고 있다. 글로벌 IT산업계 일각에선 이에 “더 큰 것이 더 좋다는 인식은 조만간 사라질 것”이라며 모델 경량화 내지 sLM시대로의 전환을 확신하기도 한다.

GPT 출현 이래 그야말로 AI모델은 미친 듯이 몸집을 불리는 경쟁을 해왔다. 그러나 이런 광경을 지켜본 또 다른 전문가들은 “무조건 대형 모델이면 엄청나게 좋아질 것이라는 믿음에 기반한 생성 AI 혁명은 곧 정체될 수 있을 것”이란 새로운 두려움에 직면하고 있다. 그렇잖아도 연구자들은 AGI로 가는 길은 데이터 집약적이고 전력 소모가 많은 생성 AI를 통해 이루어진다고 믿고 있다.

“대형화 배팅, 실패할 가능성 커” 지적

그러나 이런 믿음 자체가 대형 LLM 기반의 생성AI 모델이 한계에 처할 수 밖에 없는 가까운 미래를 예상케 한다. 지난 2년 여 동안 오픈AI가 선두에 섰던 AI산업은 규모 확장에 수십억 달러를 걸었다. 칩과 데이터를 산더미처럼 모으고, 미래의 대규모 언어 모델을 오늘보다 더 크게 만들기 위해 안간힘을 썼다. 그러나 블룸버그는 “위험한 이러한 베팅은 실패할 수도 있다”고 불안한 시선을 보내기도 했다.

과연 모델이 크면 클수록 성능도 이에 비례할 것인가. 이에 대해 정작 개발자 자신들도 완전한 확신을 하지 못하고 있다. ‘더 인포메이션’이나 로이터통신은 “일부 오픈AI 직원들은 자사의 차기 플래그십 모델인 ‘오리온’(Orion)이 직전 모델인 GPT-4보다 두드러지게 성능이 개선되진 않을 것이란 의견을 내비쳤다”고 해 눈길을 끈다. 앞서 GPT-4가 GPT-3보다 성능이 뛰어났던 것과는 다를 것이란 회의적 시선이다.

GPT-4가 작년 3월에 출시된 이후로 업계에선 오픈AI가 이를 능가하는 모델을 개발할 수 있을지, 그런 차세대 모델이 등장하는데 시간이 얼마나 걸릴지에 대해 논쟁을 벌여 왔다. 그러나 기대했던 만큼 뚜렷한 성과는 아직 보이지 않고 있다. 이런 사정은 구글이나, 오픈AI의 경쟁사인 앤트로픽 등도 마찬가지다. 블룸버그는 “이들 기업들도 야심차게 제시한 차세대 (LLM 기반) 모델을 개발하는 과정에서 좌절과 지연을 겪고 있다”고 전했다.

합성데이터 한계, 데이터 가뭄 등도 문제

그럼에도 불구하고 오픈AI CEO 샘 알트먼은 여전히 “무조건 더 크게 만들면 된다”는 자신의 평소 생각을 거두지 않고 있다. 올초에 그는 ‘인텔리전스 시대’ 선언문에서 “딥 러닝은 규모에 따라 예측한대로 성능이 더 좋아진다”거나, “충격적인 수준의 정밀도를 갖고, 더 많은 컴퓨팅과 데이터가 제공될수록 어려운 문제를 해결하는 데 더 큰 도움이 된다”는 등의 주장을 폈다.

이에 오픈AI는 o1(이전 명칭 ‘스트로베리’)이라는 새로운 ‘추론 모델’을 출시한 바 있다. 이 모델은 엄청난 컴퓨팅 리소스를 사용하고, 많은 시간을 들여 사용자의 질문에 답함으로써 성능을 개선한 것이다.

그러나 이같은 앨트먼의 생각은 뜻있는 데이터 과학자들로부터 비판을 사고 있다. 컴퓨팅 파워는 무한하지 않으며, 파워를 늘릴수록 비용과 전기를 엄청나게 소모하고 있다는 비판이다. 더욱 중요한 사실은 ‘데이터 고갈’이다. 오늘날의 AI모델은 이미 사용 가능한 대부분의 양질의 데이터를 거의 소진한 상태다. 이에 무단으로 남의 창작물이나 정보를 갖다 쓰다가 법적 문제로 비화하기도 한다.

그렇다고 AI에서 생성한 합성데이터로 데이터 가뭄을 해소할 수도 없다. 가상 내지 가짜 데이터나 다름없는 합성 데이터로 훈련된 모델은 그 만큼 품질과 신뢰도가 떨어질 수 밖에 없다는 지적이다. 이에 많은 개발자나 기업들은 ‘무조건 더 크게 만들자’는 접근 방식을 대체할 만한 기술을 연구하거나, 이를 본격적으로 구현하기 시작했다.

관련 연구자들은 모델을 축소함으로써 컴퓨팅 에너지를 덜 소모하도록 한다. 광범위한 용도가 아닌, 맞춤형의 특수 작업에서 좋은 성능을 발휘하는 sLM을 개발하는데 주력하고 있다. 이미 실리콘밸리에서도 ‘작은 것이 소중하다’는 인식이 확상되고 있다. 1년 전 빌 게이츠도 “GPT-4의 후속 버전이 실망스러울 것”이라며 LLM의 한계를 지적했다. 오랫동안 생성 AI 발전의 정체를 예측해 온 AI 비평가 게리 마커스도 그런 의견에 공감하는 보고서를 내놓기도 했다.

AGI, LLM 한계와 함께 논쟁 이슈로 떠올라

특히 인간과 비슷한 수준의 지능을 구현한다는 AGI도 그런 논쟁의 한 가운데에 있다. LLM 이 벽에 부딪힐 가능성이 계속 제기되면서, AGI라는 야심찬 목표 지점에 과연 도달할 수 있을지에 대한 큰 논쟁을 불러일으키고 있다. 현재는 데이터 집약적이고 전력 소모가 많은 생성 AI를 통해 AGI가 이루어진다는게 상식이다.

이에 반발한 또 다른 개발자와 연구자들은 생성AI를 뒷받침하는 신경망과, 하드와이어 지식을 결합하는 것을 포함, 다양한 대체 기술을 연구하고 있다. 이런 접근 방식은 최근에 특히 딥마인드가 정교한 수학 문제를 해결할 수 있는 AI를 구축하는 데 사용되기도 했다. 수학문제에 특화된 모델인 셈이다.

그런 가운데 월가는 올해 빅테크가 AI에 투자하는 규모를 2,000억 달러로 추산하고 있다. 그러면서 과연 그에 상응한 수익을 거둘 수 있을지를 걱정하고 있다. 대형 LLM의 미래에 대한 불안이기도 하다. 그럼에도 불구하고, 전세계적으로 보면 의료, 교육 등 특정한 몇 개 분야의 SW프로그래밍 및 고객 서비스를 제외하곤, 경량화된 응용 모델은 여전히 활성화되지 않고 있다. 그런 가운데 생성AI에 대한 시장의 수요는 점차 둔화되고 있다는 분석도 나오고 있어 주목된다.

인공지능 관련 전시회마다 자사의 AI 경량화 기술을 출시해온 S사는 “AI가 모든 것을 대신해 줄 수 있다는 허황된 꿈이 아닌 무언가에 대한 열망과 갈망이 날로 커지고 있다”면서 “지금의 GPT와 같은 모델은 이런 갈망에 부응할 수 없다. 본사가 주력하는 제품처럼 ‘사용자 지정 AI 모델’을 구축하는 것이야말로 그런 해답이 될 수 있을 것”이라고 자신했다.