파운데이션 모델, 층위별 ‘6단계 스택’으로 구성?

[애플경제 전윤미 기자] 파운데이션 모델(FM)의 유용성이 날로 커지고 있다. 그런 가운데 인큐베이션 그룹인 마드로나(Madrona)가 이를 구성하는 6단계의 기술적 스택(stack)을 소개, 눈길을 끌고 있다.

이보다 앞서 스탠포드 대학 인간 중심 인공지능 연구소는 ‘파운데이션 모델의 기회와 위기’라는 보고서에서 파운데이션 모델을 나름대로 정의한 바 있다.

대표적인 FM, ‘BERT, GPT-3, CLIP’ 등

이에 따르면 “광범위한 다운스트림 작업에 적용(미세 조정 등)할 수 있는 대규모 데이터로 학습한 모델, 즉 대규모 ‘자기 감독’을 사용한 것으로, BERT, GPT-3, CLIP 등이 있다”는 것이다. 특히 일부 전문가들은 이를 구성하는 6단계의 아키텍처에 주목하기도 했다.

최근 이를 인용, 소개한 한상기 테크프런티어 대표는 “파운데이션 모델(FM)이 어떤 기반 아키텍처를 가졌는가에 대한 몇 가지 다이어그램이 제시되고 있다”면서 인큐베이션 그룹인 마드로나(Madrona)가 제시한 6단계 모델을 소개했다.

이에 따르면 파운데이션 모델(FM)은 그 기술적 완성도에 따라, 맨 아래 단계에서부터 맨 위 단계에 이르는 6가지 형태의 다이어그램으로 표현되고 있다.

맨 아래 AI반도체→퍼블릭 클라우드

한 대표는 “맨 아래에는 엔비디아, AMD, 아마존, 구글, 세레브라스 같은 AI반도체를 만드는 기업들이 있다.”면서 “국내의 경우, 삼성전자, 퓨리오사, 리벨리온, 사피온, 모빌린트 같은 기업이 이에 해당한다”고 구분했다.

그보다 한 단계 높은 층위에는 퍼블릭 클라우드 서비스 기업들이 있다. 즉 MS 애저, AWS, 구글 클라우드 등이다. 특히 최근에는 생성AI를 만드는 과정에서 직접 자사 엔지니어가 참여, 지원하게 하는 ‘DGX 클라우드’를 출시한 엔비디아도 이에 해당한다.

국내에서는 뉴로클라우드를 선보이는 네이버 클라우드도 이에 속한다는 의견이다.

FMOps, 오프소스형 FM 등이 중간 층위

이같은 클라우드보다 한 단계 높은 층위는 파운데이션Ops(FMOps) 지원 솔루션 업체들이다. 즉, 이는 개발자들이 자신들이 선택한 모델을 더 효율적으로 최적화하고, 학습하며, 실행, 배포하기 위한 FMOps를 지원하기 위한 서비스와 솔루션이 해당된다.

앞서 한 대표는 FMOps의 기술적 특성과 효용, 구조 등을 심층 연구, 소개한 바 있다.

다시 FMOps보다 높은 단계는 폐쇄형 FM과 오픈 소스형 FM, FM 모델 허브, 오픈 소스 데이터 소스들이 해당된다.

즉, 비공개 폐쇄형 FM에는 오픈AI, 구글, 마이크로소프트, 코히어, 앤쓰로픽, AI21랩스 외에도 인플렉션, 캐릭터AI, 어뎁트 등이 있다. 또한 주요 빅테크 기업들이나 명망있는 스타트업들도 이에 해당된다.

반면에 오픈 소스형 FM도 이 단계에 속한다. 그중에는 매우 유명한 메타의 라마, 라마2, OPT도 있다. 또한 일루더AI, 블룸, 중국 칭화대학 등의 GLM, 스테이블 디퓨전, 모자익AI 등이 여기에 해당한다.

한 대표는 “날로 많은 오픈 소스 프로젝트가 이 단계에서 성장하고 있으며, 모바일에서 iOS와 안드로이드 대결과 같은 양상을 띠고 있는 것이 흥미로운 점”이라고 했다.

또한 국내에서도 네이버의 하이퍼클로바와 하이퍼클로바X, KT의 ‘믿음’, LG의 ‘엑사원 2.0’, 카카오의 ‘코GPT 2.0’ 등이 이 단계에 속하는 폐쇄형 FM으로 분류되고 있다.

그에 따르면 국내 전문 기업들은 대부분 오픈 소스를 기반으로 하는 애플리케이션을 만들고 있다. 또 “다양한 FM 모델을 모아서 등록하고, 관련 정보를 서비스하는 FM 모델 허브로는 허깅페이스와 깃허브가 있다”면서 “오픈 데이터 소스로는 라이온(LAION), 더 파일, 커먼 크롤 같은 곳이 대표적”이라고 했다.

가장 높은 층위는 ‘챗GPT 등 응용서비스’

그 다음 단계는 이른바 ‘도구 레이어’다. 즉, FM을 기반으로 응용 서비스를 빠르게 개발하거나, 외부 서비스와 연동을 하기 위한 솔루션들이다. 즉, 여러 모델에 대한 결과 최적화, 또는 프롬프트 오케스트레이션이나 엔지니어링을 지원하는 랭체인, GPTIndex, 코그노시스, 픽시 등이 이에 속한다.

또 평가를 위한 휴먼룹스, 허니하이브, 와이랩스 등도 이 단계에 해당된다. 외부 데이터 소스와 접근하기 위한 API, 실제 실행을 위한 API 등이 해당된다. “때로는 이 레이어를 FMOps 레이어에 포함하기도 한다”는 설명도 따른다.

가장 높은 층위로는 챗GPT를 포함한 다양한 응용 서비스가 이에 해당된다. 챗GPT를 포함해 바드, 인플렉션의 파이, 재스퍼, 하이퍼라이트, 런웨이, 어뎁트 ACT-1, 깃허브 코파일럿 등이 그런 것들이다. 기존의 서비스들이 생성형 AI를 활용해 새로운 기능과 서비스를 제공하는 경우도 이에 해당된다.

국내에서는 네이버가 준비하는 ‘큐:’, 뤼튼, 업스테이지의 아숙업(AskUp), 솔트룩스의 루시아, 마음AI의 마음GPT 등도 이 단계로 분류되고 있다.