전체메뉴

[애플경제 김홍기 기자] 국내 AI산업의 발전을 위한 가장 중요한 과제는 무엇일까. 과학기술정책연구원 등 관련 기관들은 “지금처럼 외국산 AI 솔루션 도입이 지속되다간, 장기적인 산업경쟁력 약화로 이어질 수 있음”을 걱정하고 있다. 이에 뜻있는 전문가들은 ‘AI 솔루션을 개발할 수 있는 기본모델’의 부재를 안타까워하고 있다. 다양한 솔루션을 만들어낼 기본모델, 즉 ‘파운데이션 AI 모델’이 거의 없다시피 한 우리 AI산업의 현실을 짚은 것이다.

FM기반, 다양한 앱 생성, ‘제조업 금형’에 비유

국내 AI산업은 AI솔루션 개발에 전적으로 의존하고 있다. 그러나 엔비디아가 정의한대로 “

대규모 데이터세트를 기반으로 훈련된 파운데이션 모델(FM)”이야말로 AI강국으로 가기 위한 핵심이다. 즉, 처음부터 AI를 개발하지 않고, 파운데이션 모델을 기반으로, 다양한 애플리케이션을 생성하는 ML 모델을 개발하는 방식이다. 즉 “일반화된 데이터나 레이블이 없는 데이터세트에서 훈련한 AI 신경망으로, 언어 이해, 텍스트 번역, 이미지 생성, 자연어 대화등 다양한 일작업을 수행할 수 있는 ML 모델”이다.

다시 말해 이는 마치 제조업의 ‘금형’에 비유할 수도 있다. AWS는 블로그를 통해 그 정의와 특장점을 좀더 구체적으로 강조하고 있어 주목된다. 이에 따르면 입력 프롬프트를 기반으로 높은 정확도로 ‘다양한 이질적인 작업’을 수행할 수 있다. 그래서 “파운데이션 모델을 기본 모델로 삼아 각종 전문화된 다운스트림 애플리케이션을 개발할 수 있다”는 것이다. 애플리케이션 등 AI솔루션 개발의 모태이자, 범용의 도구라고 할 수 있다.

현재 세계적으로 이같은 파운데이션 모델은 수 백 개에 달하는 것으로 알려졌다. 이들 중 상당수는 오픈소스로 제공되며, 그 외연을 넓히고 있다. 가장 대표적인 경우는 역시 생성AI 혁명을 점화한 오픈AI의 GPT, 구글의 BERT를 비롯, 앤트로픽의 Claude 3.5 Sonnet, Claude 3 Opus 등이다 이 외에도 Cohere, Hugging Face, Stable Diffusion, BLOOM, AI21 Jurassic, 아마존 Titan 등도 세계적으로 널리 쓰이는 파운데이션 모델들이다. 최근엔 ‘엔비디아 열풍’을 업고, 이 회사가 개발한 NeMo Megatron도 인기를 끌고 있다.

가장 큰 장점은 역시 ‘범용’의 기능

애초 파운데이션 모델의 가장 큰 장점은 역시 ‘범용’이란데에 있다. 이는 방대한 원본 데이터에 대해 ‘비지도 학습’으로 훈련된 AI 신경망인 만큼, 광범위한 용도의 솔루션과 애플리케이션 개발의 토대가 된다. 이를 두고 엔비디아는 “두 가지 개념, 즉 ‘더 쉬운 데이터 수집’과 ‘지평선만큼 광활한 가능성’이 핵심”이라고 장점을 추켜세웠다.

이는 또한 ‘노 레이블링(label)’이란 점이 큰 무기다. “레이블이 없는 데이트셋으로 학습하므로 대규모 컬렉션에서 각각의 항목을 수동으로 분류하는 데 드는 시간과 비용을 절약할 수 있다”는 엔비디아의 설명이다. 그렇다보니, 약간의 미세 조정만 하면, 온갖 종류의 솔루션을 개발하거나, 적용할 수 있다.

모델에 따라 차이는 있으나, 대부분의 파운데이션 모델을 활용하면, 적게는 수십억에서 많게는 수조 개의 파라미터를 가진 트랜스포머 모델을 구축할 수도 있다. 이런 LLM모델을 특정 기업의 업무를 위한 맞춤형 챗봇이나 AI시스턴트 등으로 응용해낼 수도 있다.

파운데이션 모델은 또 다른 파생적 2차 파운데이션 모델의 산실이 되기도 한다. 예컨대 구글은 대화형 AI 서비스인 바드(Bard)의 베타 버전을 낸 후, 이를 LaMDA와 PaLM, Imagen, MusicLM 등 파운데이션 모델과 연결하고 있다. 최근엔 도 파운데이션 모델을 오픈 소스로 출시하는 경향이 날로 두드러지고 있다.

국내 AI기업 중에선 아예 이를 도입, 각종 AI솔루션을 개발하기도 한다. 그러나 이 역시 외국의 기술에 의존하는 것이어서, 장기적으론 자체적인 원천 기술 개발에 힘써야 한다는 지적이다.

“개발비 많이 들지만, 장기적으론 크게 이익”

또한 파운데이션 모델들은 날로 그 규모와 복잡성이 증가하고 있다. 그런 만큼 원천적인 파운데이션 모델을 개발하려면 수 십 억 이상의 거액이 들기도 한다. 이에 국내 AI 관련 업계에선 새로운 (파운데이션) 모델을 아예 처음부터 구축하기보다, 일종의 커스터마이징(맞춤형)을 마친 사전 훈련 파운데이션 모델을 도입하는 경우도 많다. 그러나 이 역시 원천기술 개발과는 거리가 있는 것이어서 한계가 있다는 지적이다.

이처럼 파운데이션 모델을 처음부터 개발하려면 거액이 소요되다보니, 여유가 없는 AI기업들로선 좀더 손쉬운 방법을 찾을 수 밖에 없다. 그러나 많은 초도 개발비에도 불구하고, 결국 장기적으로 보면 오히려 그 편이 더 효율적이고 유용하다는 조언이다. 이는 머신러닝 모델을 처음부터 훈련시키는 것보단, 이미 사전에 훈련된(만들어진) 파운데이션 모델을 미세 조정하거나 응용함으로써 새로운 머신러인 애플리케이션을 개발하는 것이 훨씬 빠르고 비용도 적게 들기 때문이다. 이는 특히 “추론 기능이 필요한 작업과 프로세스를 자동화하는 것”이란 평가다.

물론 파운데이션 모델을 처음부터 구축하려면 거액의 비용과 인력 등 자원이 필요한 것은 기업으로선 부담이 아닐 수 없다. 또 앱 개발 과정에서 개발자는 신속한 엔지니어링, 미세 조정, 파이프라인 엔지니어링 도구를 포함한 파운데이션 모델을 소프트웨어 스택에 통합해야 하는 것도 과제다. 또 파운데이션 모델은 때로 프롬프트의 문맥을 이해하는 데 어려움을 겪기도 한다는게 경험자들의 얘기다. 여느 AI모델이 그렇듯이, 오류나 신뢰할 수 없는 답변을 내놓기도 한다. 물론 ‘편견’도 존재할 수 있다. 그럴수록 “개발자는 훈련 데이터를 신중하게 필터링하고 특정 규범을 모델에 인코딩해야 한다”는 조언이 따른다.

“우리 AI산업, ‘기본’이 안되어 있어” 지적도

그럼에도 불구하고, 파운데이션을 다양한 솔루션과 앱의 모태가 될 수 있다. 예를 들어 기업의 고객 관리, 번역, 콘텐츠 생성, 카피라이팅, 고해상도 이미지 생성과 편집, 분류 등이 대표적이다. 또 각종 문서 추출과 요약 등 기업 사무의 AI자동화, 로봇과의 접목, 디지털의료와 헬스케어, 그리고 자율주행기술의 기반이 되기도 한다.

그런 이유로 ‘기본’이 안된 국내 AI 산업의 현실을 우려하는 목소리도 크다. 일각에선 “파운데이션 모델 하나 개발하지 못하고, 기껏 sLM으로만 연명하려한다”는 자조섞인 비판도 나오고 있다. 산업통상자원부나 산업기술진흥원, 중소벤처기업연구원 등 이와 관련한 부처나 기관 주변에선 평소 “글로벌 빅테크 기업들의 빠른 AI 관련 기술개발에 발맞춘 국내 기업의 독자적인 기술 및 인프라 구축이 중요하다”거나, “AI 도입 확산에 존재하는 여러 장애요인을 해소해야 한다”는 전문가들의 촉구가 이어지고 있다. 이들이 강조하는 ‘기술’과 ‘장애요인 해소’의 가장 큰 해법으로서, 무엇보다 ‘파운데이션 모델’ 기술력이 시급하다는 지적이 높다.