비싼 GPU 부담에 ‘GPU 전문 클라우드’ 인기

[애플경제 전윤미 기자]  워낙에 GPU의 가격이 비싸다보니 기업으로선 큰 부담이 아닐 수 없다. 이에 대한 저렴한 액세스는 AI관련 기업들의 가장 큰 과제다. 이에 최근엔 오직 GPU만 특화, 저렴한 가격으로 임대해주는 이른바 ‘대체 클라우드’(Alternative Cloud)가 큰 인기를 끌고 있다. 다시 말해 ‘GPU 전문 클라우드’인 셈이다.

생성AI 붐이 계속되면서 생성AI 모델을 대규모로 실행하고 교육하기 위한 하드웨어에 대한 수요도 폭증하고 있다. 이때 필요한 것이 GPU다. 이는 생성 모델을 구성하는 선형 대수 방정식을 수행하기 위해 병렬로 작동할 수 있는 수천 개의 코어를 포함하고 있기 때문에 모델 훈련이나, 미세 조정, 실행을 위한 논리적 도구로 적합하다. 문제는 GPU 비용이 너무나 비싸다는 점이다. 이에 최근엔 많은 개발자와 기업들이 이를 대신할 ‘GPU 전문 클라우드’를 찾는 경우가 많다.

기존 빅3클라우드 비해 ‘절반’ 비용 수준

현재 AWS나, 구글 클라우드, MS 애저 등 글로벌 클라우드 기업들 생성AI 워크로드에 최적화된 GPU나 특화된 하드웨어 인스턴스를 부족함이 없이 제공하고 있다. 그러나 일부 모델과 프로젝트의 경우 ‘대체 클라우드’가 더 저렴하고 더 나은 가용성을 제공할 수 있다는 얘기다. 시장분석․예측기관인 ‘포레스터’에 의하면 특히 모델 훈련이나 추론을 위한 인기 있는 GPU중 하나인 엔비디아 A100 40GB를 임대하는 비용은 시간당 2.39달러, 한 달에 1,200달러에 불과하다.

이에 비해 애저는 동일한 GPU의 비용이 시간당 $3.40, 즉 월 $2,482나 된다. 구글 클라우드 역시 시간당 $3.67, 월 $2,682에 이른다. 생성AI 워크로드는 보통 GPU 클러스터에서 수행된다.

가트너는 “많은 기업들이 전문적인 ‘GPU 서비스 클라우드 제공업계’로 불리는 시장에 참여하고 있다”고 전했다. 가트너는 “GPU에 대한 높은 수요를 감안해 오로지 엔비디아 GPU에 특화되고, 이에 대한 또 다른 시장 진출 경로와 액세스를 제공하는 대형 클라우드 업체를 대신할 만한 대안을 제공한다”고 ‘대체 클라우드’를 규정했다. 그래서 “최근엔 일부 대형 기술 기업조차 컴퓨팅 용량 문제를 고민한 나머지, ‘대체 클라우드’ 제공업체에 의존하기 시작했다”고 전했다.

‘포레스터’는 “이를 전문으로 하는 대체 클라우드 공급업체가 최근 성업을 이루고 있다”면서 “이는 기존 클라우드 공급업체로선 이런 수요를 충족시켜줄만한 대체 상품(특화된 GPU 공급)이 없기 때문”이라고 짚었다. 그러면서 “퍼블릭 클라우드 시장에선 인프라에 대한 막대한 투자와 수익이 거의 없거나, 전혀 없다”면서 “그런 시장에서 클라우드 대기업의 막강한 지배력에도 불구하고, 이들 대체 클라우드 업체들은 나름대로 프리미엄 AI 서비스에 집중하며 성공가도를 달리고 있다”고 밝혔다.

대형 빅테크들도 ‘대체 클라우드’ 찾아

다만 ‘대체 클라우드’ 제공업체의 확장은 GPU를 계속해서 대량으로 온라인에 제공하고 경쟁력 있는 저렴한 가격으로 제공할 수 있는지 여부에 따라 결정될 것이란 전망이다. 자칫하면 구글, MS, AWS와 같은 기존 업체가 AI모델을 실행하고 교육하는데 필요한 맞춤형 하드웨어에 대한 투자를 늘리면 가격 경쟁면에서 어려워질 수도 있다는 지적이다.

실제로 구글은 이를 위한 ‘TPU’를 제공하고 있다. 이는 구글이 자체 개발한 인공지능 전문 칩으로, 구글의 AI 기계 학습 엔진인 텐서 플로우에 최적화돼 있다. MS는 또 애저 마이아(Azure Maia)와 애저 코발트(Azure Cobalt)라는 두 가지 맞춤형 칩을 공개했다. AWS 역시 트래니엄(Trainium), 인퍼렌시아(Inferentia), 그래비튼(Graviton) 등이 있다. 모두 엔비디아 GPU를 나름대로 대체하기 위한 것이다.

이에 대해 ‘포레스터’는 “이들 클라우드 빅테크들은 맞춤형 칩을 통해 엔비디아에 대한 의존도를 낮추고 있으며, 그렇게 되면 엔비디아는 나름의 GPU 중심 AI 클라우드, 즉 대체 클라우드와의 거래에서 활로를 찾으려 할 것”이라고 예상했다.

많은 생성AI 워크로드가 GPU에서 가장 잘 실행되지만, 그렇다고 모든 워크로드에 GPU가 필요한 것은 아니다. 특히 빠른 속도가 그다지 중요하지 않은 경우에는 더욱 그렇다. CPU를 사용할 경우도 필요한 계산을 실행할 수는 있지만, 흔히 GPU나 맞춤형 하드웨어보다 속도가 느리다. 그런 이유로 생성AI가 빚은 ‘거품’(과도한 GPU수요)이 꺼질 수도 있다는 얘기다. 그럴수록 GPU에만 특화된 대체 클라우드가 인기를 끌것이란 전망이다.

GPU 중심의 클라우드 스타트업은 AI와 관련된 기업들에게 큰 이점을 안겨줄 것으로 보인다. 특히 이미 멀티 클라우드를 사용하면서, 여러 클라우드 전반에 걸쳐 관리, 보안, 위험 및 규정 준수의 복잡성을 처리할 수 있는 고객사들은 더욱 그렇다. ‘포레스터’는 “이런 종류의 클라우드 고객은 신뢰할 수 있는 리더십이나, 탄탄한 재정적 능력이나 대기 시간 없는 GPU가 있는 경우 새로운 AI 클라우드(대체 클라우드)를 편안하게 시험해 볼 수 있다.”고 조언했다.

美 등선 ‘GPU 클라우드’, 새로운 산업으로 부상

그렇다보니 미국 등 해외에선 ‘대체 클라우드’ 시장이 새롭게 인기있는 투자처로 부상하고 있다.

암호화폐 채굴 작업 등에서 비롯, 사업 영역을 넓혀온 미국의 GPU 인프라 제공업체(대체 클라우두)인 코어위브(CoreWeave)는 지난 주 코튀, 피델리티, 앨티미터 캐피탈 등을 포함한 투자자로부터 11억 달러의 새로운 자금을 조달했다. 이를 통해 이 회사의 가치 평가액은 190억 달러로 늘어났고, 부채와 자기자본 총액은 50억 달러로 늘어났다. 설립된 지 10년이 채 안 된 회사로서는 놀라운 수치라는 평가다.

다양한 클라우드 호스팅 GPU 인스턴스도 제공하는 람다 랩스(Lambda Labs)도 지난 4월 초 3억 2천만 달러 규모의 투자를 유치한데 이어, 다시 최근에 최대 5억 달러에 달하는 ‘특수 목적 투자’를 확보했다. 암호화폐 억만장자 제드 맥칼레브의 지원을 받는 비영리 볼티지 파크(Voltage Park)도 지난 10월 ‘GPU 지원 데이터 센터’에 5억 달러를 투자한다고 발표했다. 또한 생성AI 연구도 수행하는 ‘클라우드 GPU’ 호스트인 ‘Together AI’도 지난 3월 세일즈포스 등으로부터 1억 600만 달러의 투자를 유치한 바 있다.

포레스터는 “적어도 지금처럼 GPU가 엔비디아 독점체제에서 고가행진을 이어갈수록 코위브와 같은 데체 클라우드 공급업체가 성공할 수 밖에 없을 것”이라고 전망했다.