전체메뉴

[애플경제 전윤미 기자] 싱가포르의 한 AI개발업체의 AI모델이 챗GPT 추론 속도의 100배에 달할 수 있을 것으로 예상된다고 해서 화제다. 일각에선 그 진위를 확인하는 분석도 이어지고 있다.

문제의 ‘계층적 추론 모델’(HRM)은 특히 2700만개의 매개변수에 불과한 작은 모델이어서 충격을 주기도 한다. 테크리퍼블릭, 더 뉴런 등의 매체에 의하면, 이는 인간 뇌의 구조를 모방한 원리로 복잡한 작업을 단 한 번의 작동으로 해결한다. 개발사인 싱가포르의 ‘사피언트 인텔리전스’(Sapient Intelligence)는 “대규모의 사전 학습 없이, 스마트한 설계와 전략적 사고만으로 가능하다.”고 소개했다.

이 새로운 AI 모델은 “크면 클수록 좋다”는 통념과는 정반대다. 매개변수에 의한 단계별 사고가 아니라, 마치 사람의 뇌와 흡사한 뇌의 작동 방식을 모방하고 있다. 여 이를 실현하고 있습니다.

이 회사 연구진에 따르면 챗GPT와 같은 모델의 문제점은 구조적으로 “얕다”는 것이다. ‘사고의 사슬’(Chain of Thought, CoT) 프롬프팅, 즉 문제를 단계별로 스스로에게 설명하는 방식을 보조 도구로 사용한다. 하지만 CoT를 사용하면 한 번의 잘못된 판단으로 전체 과정이 탈선되어 오류나 오답을 내놓을 수 있다. 그러나 HRM은 다른 접근 방식을 취한다.

HRM이 인간 ‘뇌’처럼 작동하는 방식

회사측이 밝힌 HRM구조를 단적으로 설명하면, 2개의 상호 연결된 모듈을 통해 뇌의 계층 구조를 모방한 것이다. 또 체스 수를 계획할 때처럼 천천히 전략적으로 생각하는 상위 ‘계획자’가 있다. 이와 함께 얼굴을 즉시 알아볼 때처럼 빠르게 계산을 실행하는 하위 ‘작업자’가 있다.

뛰어난 관리자가 번개처럼 재빠른 비서를 지휘하는 것과 같다고 할까. 이러한 구조 덕분에 HRM은 단 한 번의 ‘포워드 패스’로 문제에 대해 깊이 ‘생각’하고, 인터넷 정보 전체에 대한 사전 훈련 없이 단 몇 가지 사례만으로 추론하는 법을 배울 수 있다.

그 결과는 자못 놀랍다. AI의 ‘IQ 테스트’라고 할 수 있는, ARC-AGI 벤치마크에서 HRM은 최상위 모델들과 정면으로 맞붙어 압도적인 우위를 차지했다.

클로드 3.7이 21.2% 정답률인데 비해, o3-미니-high(오픈AI)의 34.5%인데 비해, HRM(매개변수 2,700만 개)은 40.3%에 달했다. 일본의 퍼즐 게임인 ‘스도쿠’ 익스트림 퍼즐에서 HRM은 55%를 맞혔다. 클로드 3.7과 오픈AI의 o3-미니-high는? 0%였다. 퍼즐의 30×30 미로에서 HRM은 최적 경로를 74.5%의 확률로 찾았다. 다른 모델들은? 역시 0%였다.

이를 보면, 클로드 3.7과 o3-미니-high 모델이 최강의 모델이 아니라는 사실이 밝혀진 셈이다. HRM은 그러나 이들에 비하면 매우 규모가 작다. GPT-1, O.G. GPT 모델은 1억 1,700만 개의 매개변수를 가지고 있어, HRM보다 4배나 더 많다.

실제로 HRM의 설계는 매우 간결해서 개발자 중 한 명인 ‘관 왕’(Guan Wang)은 “단 2개의 ‘GPU 시간’ 만에 전문가 수준의 ‘스도쿠’를 풀도록 학습시킬 수 있다”고 말했다.

GPU 효용 극대화, 저렴한 컴퓨팅으로 고성능 추론

HRM은 이처럼 모델 크기보다 아키텍처가 더 중요하다는 것을 증명하고 있다. 그 의미는 엄청나다. 더 저렴한 AI, 즉 같은 GPU라도 더 뛰어난 AI를 만들어낼 수 있다. 몇 달이 아닌 몇 시간이면 학습할 수 있다. 값비싼 컴퓨팅 없이 더 나은 추론을 할 수 있다. 또한 오픈 소스에서 코드를 가져와 직접 학습시킬 수 있다.

이에 일부 회의론자들은 HRM의 기능이 너무나 제한적이라고 주장한다. 그러나 그 원리는 뇌에서 영감을 받은 설계를 바탕으로 훨씬 적은 비용으로 강력한 추론을 가능하게 할 수 있음을 시사한다, 이는 “고급 AI가 대규모 데이터 센터에 국한되지 않고, 마침내 로컬 머신에서 효율적으로 실행되는 미래를 엿볼 수 있는 기회가 될 수 있다”는 평가다.