칩 1개 1만달러, 인프라 비용 수십억달러…기업들에겐 큰 부담
갈수록 대용량, 초고속 컴퓨팅 필요, 비용도 기하급수로 증대
“잠재적인 숨겨진 비용, 결국 기술 발전과 기업 환경에 영향”
[애플경제 전윤미 기자] 생성AI 플랫폼은 산업 각 분야에서 필수적인 도구로까지 인식되고 있다. 그러나 정작 AI 시스템을 개발하고 훈련하거나 사용하는 데는 막대한 비용이 든다는 점이 기업들에겐 큰 부담이다. 기업에 대한 부담일 뿐 아니라, 이는 향후 AI기술문명의 운명과도 결부된다는 전망까지 나오고 있다.
최근 글로벌 컨설팅업체인 PwC(프라이스 워터 쿠퍼스)는 이를 두고 “기회는 무르익었지만 기하급수적으로 증가하는 사용자 기반을 위해 이러한 (AI)툴을 구축하고 유지 관리하는 데 드는 비용이 문제”라고 짚었다.
이에 따르면 우선 CPU 하나만으로도 엄청난 비용이 든다. 챗GPT와 같은 초대형 AI 시스템에 전원을 공급하는 엔비디아 A100 칩 하나가 1만달러에 달한다. 때론 AI모델을 학습시키기 위해선 수천 대의 A100이 소요될 수 있다. “물론 각 쿼리에 대한 합리적인 결과를 보장하기 위해선 이같은 천문학적 교육 모델 비용을 감내해야 한다”는 것이다.
컨설팅업체 PwC, “MS 빙 챗봇 40억달러 소요”
예를 들어 마이크로소프트의 Bing 챗봇과 같은 시스템은 GPU를 포함한 사용자의 요구를 충족시키기 위해 전체 인프라 비용만 40억 달러가 소요된 것으로 알려졌다. 또 챗GPT에서 실행되는 쿼리당 $0.15 정도의 비용이 소요될 것으로 예상된다.
이에 자체적인 사내 모델을 구축하려는 기업들은 결국 더 저렴한 다른 전문적인 업체가 만든 툴을 임대할 수 밖에 없다.
PwC가 인용한 IDC에 따르면 AI에 대한 전 세계 지출이 2026년까지 3,000억 달러를 넘어설 것으로 전망된다. AWS, 애저, 오라클, 구글 등 많은 컴퓨팅 아키텍처 제공업체들도 AI 서비스를 제공할 준비가 되어 있다.
스케일업, 데이터셋 확대될수록 비용 폭증
데이터 과학 전문가인 얀 반 호에크는 “더욱이 이러한 (AI)모델은 스케일업(확장)되는 경향이 있다. 스케일업은 데이터셋 크기를 키울 뿐만 아니라, 모델 교육에 필요한 컴퓨팅 성능을 증가시키는 것을 의미한다”고 했다.
그에 따르면 그야말로 스케일업은 기하급수적이다. 모델의 각 세대마다 ‘n’'배씩 커진다. 즉, GPT-1에 대해 하나의 컴퓨팅 노드가 필요한 경우 GPT-2에 대해선 10개의 노드를 계산해야 하며, GPT-3에 대해선 100개가 필요하다는 식이다.
실제로 IBM 보고서에 따르면 오픈AI의 GPT-3는 개발하고 교육하는데 300만 달러가 들었고, 딥마인드의 알파고는 교육에만 3500만 달러가 소요되었다.
그래서 “비용이 많이 들면 들수록 그에 비례해서 더 큰 모델, 더 많은 데이터 및 교육, 더 많은 컴퓨팅 성능과 예산, 효율성을 요구받고 있다”면서 “이같은 비즈니스 현실의 균형을 어떻게 맞출 것인지가 가장 큰 난제”라고 했다. IBM연구원들은 그래서 “이러한 난제를 해결해야 하며, 그렇지 않으면 AI기술의 진전이 가로막힐 수도 있다”고 우려했다.
“장기적 한계비용 감소” 반론도
그러나 “모든 신기술에 대한 개발, 지원 비용은 차이가 있지만, 시간이 지나면서 점차 장기적인 비용은 감소한다”는 반론도 있다.
이런 주장을 펴는 전문가들은 “AI에 대한 투자는 수십 년 전으로 거슬러 올라가며, 전 세계의 수 많은 정부와 기관, 대학에 (기술이) 축적되어왔다”면서 “교육이나 훈련비의 경우 새로운 아키텍처가 새로운 작업의 실시간 교육을 가능하게 함에 따라 대부분 사라지며, 이는 대형 언어 모델이 경우를 봐도 알 수 있는 것”이라고 했다.
모 경영대 교수 라브레크는 인프라 비용에 대해서도 경영학자의 시각에서 한계비용 감소를 전망했다. 즉, “클라우드 비용도 시간이 지남에 따라 감소할 것”이라며 “LLM 구축이 자체 재정적인 부담으로 인해 중단되는 현실이 온다면, 이는 막대한 수익을 창출하고자 하는 공급업체를 놓치는 격”이라고 덧붙였다.
그는 “화이자와 모더나가 신속하게 개발한 ‘COVID-19’ 백신이 거둔 천문학적 이익을 생각하면, 개발 초기 비용 따위는 문제가 되지 않을 것”이라고도 했다.
“‘밑빠진 독’처럼 돈 쏟아붓는 기업만이 생존”
물론 기업 전체가 아직 필수적으로 생성AI를 사용하진 않고 있다. 그럼에도 오직 ‘밑 빠진 독’처럼 돈을 쏟아붓는 기업만이 AI 시스템을 지속적으로 유지하고 진화할 수 있다는 우려도 나오고 있다.
더욱이 향후 몇 년간 갈수록 요구되는 막대한 컴퓨팅 성능과 데이터 스토리지는 인공지능의 발전의 장애물이 될 수 있다는 지적이다. 이에 PwC는 “(빠른 대용량의 데이터를 위한) 요구를 충족시키기 위해 대규모 데이터 센터 확장에 따른 잠재적인 숨겨진 비용은 무시할 수 없으며, 이 비용이 기업 환경에 큰 영향을 미칠 수도 있다”고 조심스레 전망했다.