MIT ‘자가적응 언어모델(SEAL)’, “스스로 ‘합성데이터’ 생성, 업데이트”
사용자 관심사, 선호도 등 지속적 반영한 챗봇, AI도구 가능
AI가 학습 거듭, 지속적 성능 개선, “‘슈퍼 지능’의 지름길”
[애플경제 전윤미 기자] LLM이 실시간으로 학습하고, 매개변수를 만들어 한층 성능이 뛰어난 또 다른 AI를 구축할 수 있게 되었다. 쉽게 말해 AI가 더 나은 AI를 스스로 생성하는 셈이다.
본래 LLM은 뛰어난 학습과 생성 기능을 갖고 있지만, 스스로 ‘경험’을 통해 학습하는 건 사실상 불가능에 가깝다. 그러나 최근 미국 MIT 연구원들이 마침내 이런 수준의 LLM을 개발했다. 이는 유용한 새로운 정보를 학습한 후 스스로 매개변수를 조정해 지속적으로 성능을 개선하는 능력을 갖고 있다. 이를 두고 ‘슈퍼 지능’의 지름길이나 다름없다는 해석도 나오고 있다.
“스스로 ‘경험’ 통해 학습 반복”
LLM 스스로가 지속적으로 학습을 하며 또 다른 AI모델을 구축하는 것은 그 동안 AI개발자들이 앞다퉈 추구해온 기술이기도 하다. 이를 마침내 수재들이 모인 MIT 연구진이 해낼 것이다. 그야말로 이는 기계가 인간의 지능을 더욱 충실하게 모방하기 위한 필수적인 요소다.
AGI 혹은 ‘슈퍼 지능’은 곧 “하나를 배우면 열을 안다”는 인간의 성장과 교육 과정을 모방하는 것이다. 이에 이번에 개발된 기술은 이름부터가 ‘자가 적응 언어 모델(SEAL)’이다. 이를 통해 사용자의 관심사와 선호도를 포함한 새로운 정보를 더욱 효과적으로 통합할 수 있는 챗봇과 기타 AI 도구가 등장할 수 있다.
‘SEAL’은 LLM이 입력된 데이터를 기반으로 스스로 ‘합성 학습 데이터’를 생성하고, 절차를 업데이트하는 방법을 학습할 수 있다.
애초 LLM에서 생성된 텍스트 단위인 ‘토큰’이 스스로 AI모델을 강력하게 업데이트할 수 있는지가 그간 수많은 관련 연구들의 초점이었다. 이에 MIT 연구진 또한 AI모델의 출력을 사용, 스스로 또 다른 AI모델을 학습시킬 수 있는지를 입증하는데 성공한 것이다.
기존 고성능 LLM 모델도 복잡한 추론을 통해 좀더 향상된 해결책을 도출하는 ‘추론’을 할 수는 있다. 그러나 그 이상의 새로운 AI모델를 만들지는 못한다.
지속적으로 ‘강화 학습 신호’, 학습 계속
이에 비해 SEAL은 새로운 출력을 생성한 후, 이를 바탕으로 다시 스스로 가중치 내지 매개변수로 통합할 수 있다. 예를 들어, 아폴로 우주 프로그램이 직면한 과제에 대해 진술하라고 할 경우, 모델은 해당 진술의 의미를 설명하는 또 다른, 새로운 구절을 생성한다. 이는 마치 학생이 학습을 위해 노트를 작성하고, 다시 이를 검토하며 복습하는 것과도 같다.
그런 다음 다시 해당 데이터를 사용, 모델을 업데이트한다. 그렇게 생성된 더 나은 새 모델은 또 다른 질문에 더욱 훌륭한 답변을 내놓을 수 있다. 나아가서 이는 AI모델의 전반적인 능력을 향상시키고, 학습을 지속하는 데 도움이 되는 업데이트를 안내하는 ‘강화 학습 신호’를 제공한다.
연구진은 이를 위해 메타의 라마(Llama)와 알리바바의 퀀(Qwen)이라는 두 가지 오픈소스 모델의 소규모 및 중규모 버전으로 이같은 결과를 얻어냈다. “이는 앞으로 훨씬 더 큰 규모의 프론티어 모델도 같은 결과일 것”이라는 설명이다.
연구진은 텍스트 기반 SEAL 접근법, 그리고 AI 모델의 추상 추론 문제 해결 능력을 측정하는 벤치마크 ARC를 테스트했다. 이들 두 경우에서 SEAL은 초기 학습 이후 훨씬 더 오랫동안 학습을 지속할 수 있음을 확인했다.
이번 MIT의 SEAL 프로젝트는 AI가 무엇을 학습해야 할지를 스스로 파악하는 방법 등 (슈퍼지능을 위한) AI의 중요한 테마를 다룬 것이다. 특히 사용자 자신에게 특화된 용도로 AI 모델을 더욱 개인화하는 데 활용될 수도 있다. 그래서 가뜩이나 강력한 LLM이 끊임없이 정보와 지식을 갖추도록 해준다.
“그럼에도 심한 ‘건망증’ 보이기도”
그렇다고 이번에 개발한 SEAL 역시 AI가 무한정으로 능력을 강화할 수 있는 방법은 아니란 지적도 있다. 특히 이런 경우에도 LLM은 이른바 ‘재앙적 망각(catastrophic forgetting)’이란 현상을 보인다. 즉 새로운 정보를 접했을 때 기존 지식이 사라지는 심각한 문제다. 마치 인간이 새로운 사실이나 정보, 지식을 얻는 반면, 그 전에 접했던 사실들을 잊어버리고 마는 건망증과도 같다.
이는 결국 인공 신경망과 생물학적 신경망의 근본적인 차이점이란 설명도 설득력을 얻는다. 인공 신경망 기반의 SEAL은 어디까지나 연산 집약적이다. 그래서 새로 학습된 정보를 가장 효과적으로 저장, 계획하는 방법은 아직 명확하지 않다. 다시 말해 LLM도 인간처럼 새로운 정보가 (기존 정보와 뒤섞이거나 잊어버리는) ‘수면’ 기간을 경험할 수 있다는 얘기다.
그럼에도 불구하고, “SEAL은 모든 한계에도 불구하고 AI 연구를 위한 흥미로운 새로운 경로이며, 향후 최첨단 AI 모델에 적용될 가능성이 높다.”는 MIT측의 설명이다.