2025년은 “sLM이 AI산업 주류가 되는 첫 해”

LLM보다 더 광범위한 분야별 ‘맞춤형AI’로 생활화 비용 절감, 학습 기간 단축, 소규모 데이터셋, 적은 매개변수 LLM 대신 AI산업 견인, “다만 LLM과 병행할 때 시너지 커”

2024-11-29 전윤미 기자

AI 경량화 기술 등을 전문으로 하는 소기업들이 대거 참여한 '2024 월드IT쇼'를 둘러보는 관람객들. 사진은 본문과 직접 관련은 없음. (사진=애플경제)

[애플경제 전윤미 기자] LLM과는 달리 특정 용도에 적합하고 비용도 적게 드는 sLM(경량화모델)이 한층 대중화되고 있다. 국내에선 일부 대기업을 제외하곤 대형 모델을 경량화하거나, 맞춤형으로 파인튜닝한 AI모델이 크게 활성화되고 있다. 실제로 전세계적으로 2025년엔 이같은 소규모 언어모델이 AI산업의 주류를 이루는 첫해가 될 것이란 전망이 나와 관심을 끈다.

sLM은 비용이나, 전기 등 에너지 사용량, 규제의 적합성 등의 장점으로 인해 일반 기업들은 이를 더욱 선호하는 추세다. 애널리스트들에 의하면, sLM은 2025년에 주류를 이룰 수 있습니다. 기업들로선 또 학습 시간을 줄이고, 국제사회 기준에 적합한 수준으로 탄소 배출량을 줄이며 보안도 비교적 수월하기 때문이다.

대체로 100억개 미만의 매개변수

애초 생성AI가 등장한 후 이를 발전시켜나간 것은 천문학적 숫자의 매개변수를 지닌 대형언어모델(LLM)이다. 빅테크나 국내 주요 기업들도 더 강력한 모델을 만들기 위한 경쟁에 집중되었다. 그러나 점차 그와는 다른 ‘실속있는’ 맞춤형의 소형언어모델이 실제 산업현장에선 더욱 유용하게 쓰이고 있다.

시장분석기관인 글로벌데이터(GlobalData)는 “내년부턴 (LLM보다) 더 가벼운 옵션(sLM)이 급증하면서 AI산업의 주류로 부상할 것”이라고 전망하기도 했다. 국내에서도 언어모델 경량화를 통해 입지를 닦고 있는 스타트업들이 잇따라 두각을 나타내고 있다.

모델 경량화를 전문으로 하는 스타트업 ‘포티투마루’도 그 중 한 곳이다. 이 회사는 “sLM의 핵심 요소는 더 작고 집중적인 데이터 세트를 사용, 몇 달이 아닌 몇 주 만에 모델을 교육할 수 있다는 사실”이라고 했다. 이에 따르면 sLM은 대체로 100억 개 미만의 매개변수가 보통이다. 최대 1조개에 달하는 대규모 언어모델과는 비교가 안된다.

역시 sLM 개발을 병행하고 있는 엔씨소프트의 한 관계자는 “집중된 데이터 세트를 사용하면 모바일 애플리케이션이나 엣지 컴퓨팅, 제한된 컴퓨팅 리소스에서의 도메인별 기능, 소규모 애플리케이션에는 특히 sLM이 적합하다”면서 “더욱이 학습 기술이 향상되면서 매개변수가 적음에도 불구하고, sLM은 날로 더욱 정확해지고 처리 시간이 훨씬 빨라질 수 있다”고 강조했다.

'2024 월드IT쇼'에 출품한 제조업 sLM 전문 스타트업의 부스로서 본문과는 직접 관련이 없음. (사진=애플경제)

탄력적이고, 사이버보안에도 효율적

오히려 데이터 세트가 소규모이다보니, sLM이 더욱 탄력이 되고 사이버 보안도 더욱 강화되는 셈이다. 공격 표면도 작아서, 크고 번거로운 LLM에 비해 비교적 쉽게 로컬에서 작동할 수도 있다. 특히 sLM은 LLM보다 훨씬 컴퓨팅 전력이 덜 들기 때문에 프로세싱 과정에서 비용이 적게 들고 에너지 소모가 적다. 값비싼 인프라도 필요하지 않다.

이는 또 규제 사항을 어렵잖게 충족할 수도 있다. 학습 데이터가 많지 않다보니, 그에 대한 라이선스를 간단히 취득할 수 있다. 또한 컴퓨팅 임계값을 충족하지 않으므로 엄격한 규제를 피할 수 있다.

그렇다보니 심지어 LLM으로 승부를 걸며 AI패권 경쟁에 몰입해오던 빅테크들도 최근엔 태도가 달라졌다. 마이크로소프트, 메타, 구글이 모두 최근에 자체 sLM 모델을 출시한 바 있다. 예를 들어 마이크로소프트는 마케팅 또는 영업 콘텐츠와 고객 지원 챗봇을 만들기 위한 ‘Phi-3’ 소규모 언어 모델 제품군을 출시하고 있다.

앞서 올해 초 구글은 젬마 2B와 젬마 7B를 출시했다. 이 두 가지 모델은 프롬프트에 답하고, 정보를 요약한 수준의 텍스트 생성에 특화된 제품들이다. 프랑스의 미스트랄 역시 아파치 2.0 라이선스에 맞는 모델을 출시한 바 있다.

“업무부하 커지면, sLM으론 역부족” 지적도

그러나 sLM 역시 문제점 내지 한계가 있다. 처음엔 특정 용도의 sLM을 통해 업무 효율성을 기할 수 있지만, 점차 업무 부하가 커지고 복잡해지면 어쩔 수 없이 더 큰 매개변수의 모델로 전환해야 할때도 많다. 또한 sLM은 아무래도 특정 분야에 대해서만 특화되어 있으므로, 해당 범위 밖의 모델과는 협업이 잘 안되거나 아예 불가능할 수도 있다.

이에 “sLM은 LLM과 함께 사용하는 것이 가장 이상적”이란 전문가들도 많다. 이들에 따르면 sLM은 LLM을 대체하기 위한 것이 아니라 보완함으로써 더 큰 시너지를 창출할 수 있다. 특정 산업별 애플리케이션에 적합한 sLM은 때론 LLM과 병행함으로써 좀 더 다양한 환경에서 더 쉽게 그 기능을 확장할 수 있다는 얘기가 설득력을 얻고 있다.