초대형 AI 성능, "‘매개변수’ 확장이 좌우"

[애플경제 김향자 기자] 거대언어모델(LLM)의 초대형AI 혹은 생성AI는 인간의 두뇌를 궁극적인 모방 대상으로 삼고 있다. 인간의 두뇌는 신경세포, 뉴런의 돌기 사이를 연결해주는 시냅스에 의해 초고도의 지능작용이 가능해진다. LLM기반의 학습 역시 인간 두뇌의 시냅스에 해당하는 매개변수(파라미터)가 많을수록 더욱 정밀하고 정확한 판단과 결과값을 출력해낼 수 있다.

즉, 매개변수의 숫자가 초대형 생성AI의 성능을 결정하는 핵심적 변수라는 얘기다.

GPT, 바드 ‘PaLM’ 등 매개변수 확장 경쟁 치열

인간의 두뇌처럼 AI 역시 신경망 언어모델의 확장, 즉, 매개변수 개수나, 데이터셋의 크기, 학습에 필요한 연산량이 클수록 성능이 뛰어나다는게 많은 전문가들의 견해다. 그 중에서도 특히 매개변수가 가장 큰 역할을 한다는 얘기다.

미국의 ‘엔가젯’ 같은 IT기술매체들은 아예 “초대형 생성AI의 성능에 결정적인 영향을 하는 것은 무엇보다 매개변수”라고 단정하기도 한다. 그러면서 이들 전문매체와 전문가들은 GPT나 바드의 사례를 들며 LLM의 매개변수 경쟁을 설명하고 있다.

실제로 오픈AI의 GPT 3.0나, GPT 3.5, 구글 바드의 대규모언어모델 ‘PaLM’ 등은 조금이라도 더 많은 매개변수를 확보하기 위해 사력을 다하고 있다. AI 기반의 비디오 이미지 리마스터링 제품을 최근 출시한 P사 관계자는 “물론 그렇게 하기 위해선 거대한 컴퓨터 파워가 필수적이긴 하지만, 그것과는 별개로 이들 테크 기업들은 최대한 매개변수를 확장하는 것이야말로 자사 생성AI의 경쟁력을 좌우하는 결정적 요인으로 보고 있다”고 분석하고 있다.

그는 “쉽게 말해 매개변수는 학습용 데이터를 보관하는 장소 역할을 하면서, 인간 두뇌의 뉴런 정보를 실시간으로 연결해주는 통로인 시냅스와 유사한 기능을 수행한다”면서 “파라미터 수가 많을수록 인공지능은 높은 성능을 보일 수 밖에 없다”고 했다.

이처럼 국내외 전문가들은 매개변수가 AI의 성능을 좌우한다는 사실에 의견을 같이하고 있다. 그렇다보니, 구글의 대규모 언어모델 람다(LaMDA)가 2021년 출시되면서, 이를 계기로 수천억 개의 매개변수가 사용된 모델들이 줄지어 등장하기 시작했다.

오픈AI의 GPT-3.5는 1,750억개, 그리고 이를 의식한 구글의 대규모 언어모델인 ‘PaLM’은 무려 5,400억 개의 매개변수가 사용되었다. 최근에는 1조 개가 넘어가는 초거대언어모델도 등장하고 있을 정도다.

“매개변수 많을수록 더욱 정교한 출력…함수관계”

그러면 매개변수가 어떻게 AI의 성능을 끌어올릴까. 이는 AI가 기본적으로 학습을 통해 작동하는 기계라는 사실 때문이다. 즉, AI는 학습이라는 단계를 통해 데이터 내에 존재하는 일종의 패턴을 찾고, 이후 새로운 값이 입력될 때 그 패턴에 해당하는 결과값을 출력하는 방식이다. 이 경우 과연 얼마나 이런 패턴을 정교하게 만드느냐가 AI 성능을 결정한다. 즉, 정교한 패텬을 위한 매개변수가 중요해지는 것이다.

전문가들은 이를 매개변수를 각 항마다 곱한 함수관계로 표현하기도 한다. KB금융지주경영연구소는 매개변수를 설명하기 이해 일단 ‘ = 0 + 11 + 22 + ⋯ + ’ 라는 함수를 제시, 설명하고 있다.

이때 입력값 x에 β라는 임의의 수를 곱한 값들을 더해줌으로써 출력값 y가 결정된다. “여기서 β를 매개변수라고 하며, β의 개수가 많을수록 더 정교한 패턴을 표현할 수 있다”는 설명이다.

앞서와 같이 이미 GPT-3는 매개변수가 1,750억 개에 달했으며, GPT-3.5는 GPT-3과 매개변수는 동일하지만 기능이 부족한 점을 개선한 바 있다. 그러나 그 후속 버전인 GPT-4에 대해선 매개변수가 얼마나 되는지가 알려지지 않고 있다.

장차 AI기술문명의 향방을 좌우하게 될 초거대 생성AI모델은 이처럼 기존 AI보다 매개변수의 숫자와 학습 데이터를 늘림으로써 고도의 지능과 성능을 도모하고 있다. 이에 대한 관심과 함께 한층 많은 매개변수를 확보, AI 성능의 차별화를 기하려는 경쟁도 날로 심해지고 있다.

“인간 능력 모방한 ‘복합지능’의 필수조건”

이에 대해 ‘엔가젯’은 “초거대 AI는 기존 AI에 비교해서 모델 파라미터 수와 학습 데이터를 늘려 성능을 높인 모델”로 정의하며, “이로써 다양한 인간의 능력을 모방하여 복합 지능을 갖춘 모델을 만들기 위한 노력이 가속화되고 있다”고 근황을 전하고 있다.

특히 “GPT-3가 이전 세대보다 파라미터 크기를 116배 가량 키워 성능이 향상됨을 입증하면서, 더욱 인간의 두뇌와 같은 범용 초거대 AI 모델 개발 경쟁이 치열해지고 있다”는 것이다.

그런 가운데 “초거대 AI 의 원활한 동작 환경을 위해선, 인공지능 연산에 최적화된 ‘AI반도체’와 함께 이를 통한 대규모 연산이 가능한 컴퓨터 파워가 필수 요소”라는 주장도 설득력을 얻고 있다.

심지어는 “매개변수 개수가 증가할수록 투입되어야 할 자원과 비용도 천문학적으로 늘어난다는 점에서 모델이 무조건 크다고 더 좋은 것만은 아니다”는 의견이다. 그럼에도 그런 전제조건과는 별개로, 현재로선 ‘다다익선’ 방식의 매개변수 확장이 고성능 AI 개발의 핵심요소로 인식되고 있다.