승승장구 엔비디아, 그러나 경쟁업체들 추격 날로 거세

[애플경제 전윤미 기자] 정상(頂上)에 올라설수록 그 자리를 노리는 적들도 많다. 승승장구하는 엔비디아의 지금 상황이 그렇다. 엔비디아가 연일 새로운 ‘신화’를 고쳐 쓸수록 이를 견제하는 경쟁업체들의 추격도 날로 거세지고 있다.

특히 매출이 470억 달러를 넘어섰던 지난 해 엔비디아 데이터 센터 사업의 40% 이상이 교육이 아닌 AI시스템 배포에 사용되었다는 점도 엔비디아의 ‘약점’으로 꼽히고 있다. 최근 월스트리트저널은 “엔비디아가 ‘추론’ 용이 아닌, AI 시스템 배포용 칩에 주력하는 만큼, 경쟁업체들은 이 점을 파고들며 추격 속도를 높이고 있다”고 분석했다.

실제로 리서치 기관인 ‘Melius Research’는 “추론과 훈련 부문에서 엔비디아의 점유율이 높지 않을 것이란 인식이 지배적”이라며 “날이 갈수록 AI추론 기능이 중요시되는 마당에 과연 엔비디아가 이런 상황에서 지속 가능한 수익을 기할 것이냐가 관건”이라고 했다.

많은 경쟁사들은 ‘추론’용 칩이 더욱 중요해짐에 따라 AI 시장에서 자신들이 (엔비디아를 추격하며) 더 나은 기회를 가질 수 있을 것으로 믿는 분위기다.

인텔, “본사 칩 가성비, 더 매력적” 자신

대표적인 경우가 인텔이다. 데이터 센터에 들어가는 중앙 처리 장치를 만드는 인텔은 “고객이 AI 모델 운영 비용을 낮추는 데 집중함으로써 본사 칩이 점점 더 매력적이 될 것으로 믿는다”고 했다.

인텔이 전문으로 생산하는 칩 종류는 이미 추론에 널리 사용되고 있다. 그래서 “추론 작업을 할때는 엔비디아의 최첨단 H100 AI 칩을 사용하는 것은 그다지 의미가 없다”는 주장도 펴고 있다.

특히 인텔 CEO 팻 겔싱어는 최근 월스트리트저널과의 인터뷰에서 “‘추론’ 작업은 본래 너무나 많은 전력을 소비하고, 새로운 관리나 보안 모델과 새로운 IT 인프라가 필요하다”면서 “4만달러짜리 H100는 이런 조건에 적합하지 않다”고 단언했다.

그러면서 “더욱이 표준 ‘인텔 칩’이 해당 (추론) 모델을 실행할 수 있으므로 더 이상 (엔비디아를) 생각할 필요도 없다.”고 주장했다.

실제로 많은 애널리스트들도 “AI 모델 교육에 대한 투자가 급증한 후, 최근엔 AI 모델에서 수익을 창출하는 쪽으로 초점이 이동함에 따라 ‘추론’ 기능에 대한 수요가 증가할 것”이라며 “이는 엔비디아가 지배하는 AI 교육 기능에 비해 더 경쟁력이 있을 수 있다”는데 동의하는 경향이다.

AMD, 스타트업 다수도 “‘추론’ 중심 맹추격”

특히 챗GPT와 같은 생성 AI 기반 기술이 폭발적으로 증가하면서, 이러한 (추론) 프로그램에 필요한 처리 능력을 처리할 수 있는 칩에 대한 수요가 급증하고 있다. 특히 “‘추론’이 증가하는 속도는 이전에 예상했던 것보다 더 빠를 수 있다”는 전망이 많다.

물론 전문가들은 아직은 “칩 수요의 90%가 훈련에서 비롯된 것”으로 추정하는 한편, “이러한 ‘추론’ 기능이 내년까지는 시장의 20%만을 견인할 것”으로 예상하고 있다. 그래서 아직은 80%가 넘는 엔비디아의 AI 칩 시장 점유율이 심각한게 도전받고 있지는 않다는 분석이다. 특히 ‘AI 시스템 훈련’에 사용되는 엔비디아의 칩은 가까운 미래에도 높은 수요를 유지할 것으로 예상되고 있다.

AI 시스템을 교육할 때는 필히 모델을 통해 방대한 양의 데이터를 실행하는 방식으로 언어를 예측하도록 가르친다. 이런 작업에는 엔비디아의 그래픽 처리 장치, 즉 GPU에 적합한 엄청난 컴퓨팅 능력이 필요하다.

이에 비해 ‘추론’은 해당 모델에 새로운 정보를 처리하고 응답하도록 요청하는 작업이다. 이에 인텔이나 AMD 등은 ‘추론’을 중심으로 엔비디아를 맹추격하고 있다. 뿐만 아니다. ‘추론’이 중심이 되면서 다수의 AI 칩 스타트업들도 ‘엔비디아 왕국’에 도전하고 있다.

특히 추론과 훈련을 모두 수행할 수 있는 AI 칩과 소프트웨어의 조합을 만드는 스타트업 ‘삼바노바’(SambaNova)사 관계자는 “본사가 생산한 추론용 제품에 대한 수요가 폭발적으로 증가하고 있다”면서 “이제 비용의 80% 이상이 추론에 소요된다는 사실에 주목, 대체 솔루션(제품)을 찾아야 한다는 공감대가 팽배하다”고 밝혔다.

구글 출신의 AI 칩 엔지니어인 조나단 로스도 자신이 창업한 스타트업 ‘그로크’ 홈 페이지에서 자사의 추론 칩이 대규모 언어 모델로부터 얼마나 빨리 응답을 생성할 수 있는지 보여주는 데모를 선보였다. 그 직후 최근 몇 달 동안에 걸쳐 이 회사와 추론 칩에 대한 관심이 급증하고 있다.

그 “본사가 올해 42,000개의 칩을 배치하고 내년에는 100만 개의 칩을 배치할 계획”이라면서 “그러나 올해는 220,000개, 내년에는 150만개로 전체 칩 생산량을 늘리는 방안을 모색하고 있다”고 밝혔다.

“AI 재교육없이 추론과 연산 중시도 큰 변수”

더욱이 현재의 시장 판도에 큰 변화를 예고하는 중요한 변수도 있다. 즉, 가장 진보된 AI 시스템 중 일부가 재교육없이 더 나은 응답을 생성하도록 하면서, 대신에 연산 작업을 더 많이 추론에 적용하고 있다는 사실이다. 앞서 그로크사의 로스는 “본사의 전문 칩은 엔비디아나 다른 칩 회사의 제품보다 실행 속도가 훨씬 빠르고 저렴하다”고 장담했다.

그에 따르면 추론만으로 배포할 수 있는 항목은 비용에 따라 달라진다. 또 “구글에서 교육을 받아 효과가 있는 모델이 많이 있지만 그 중 약 80%는 너무 비싸서 프로덕션에 투입할 수 없기 때문에 배포되지 않고 있다.”는 것이다.

더욱이 빅테크의 추격전은 더욱 가열차다. 메타, 마이크로소프트, 알파벳의 구글, 아마존 등을 포함한 빅테크들은 다가오는 시장 지형의 변화와 추론기능을 더 저렴하게 수행할 수 있는 대안으로 추론 칩을 개발하기 위해 노력하고 있다.

이미 아마존은 2018년부터 추론 칩을 보유하고 있다. “추론은 특히 알렉사 스마트 비서의 컴퓨팅 비용의 40%를 차지한다”는게 이 회사의 클라우드 컴퓨팅 부문 임원의 얘기다.

이같은 징조가 날로 뚜렷해지자, 엔비디아도 마음이 급해졌다. 추론으로의 전환이 활발히 진행되면서 이 분야에서도 선두를 유지하기 위해 노력하고 있다. 실제로 이 회사의 칩은 아직은 주요 AI 추론 벤치마크에서 업계 최고의 결과를 보여 지난 수년 간 시장을 장악해왔다.

그런 가운데 지난해 12월, AMD가 “추론에선 본사 제품이 엔비디아보다 우수하다”고 주장하며 새로운 AI 칩을 공개했다. 이에 엔비디아는 바로 블로그 게시물을 통해 “AMD가 성능을 주장할 때는 ‘최적화된 소프트웨어’를 사용하지 않았으며, 만약 그렇게 한다면 엔비디아의 칩이 2배나 빨라질 것”이라고 반박했다. 이같은 신경전은 지금까지 이어지고 있다. 엔비디아의 아성에 도전하는 빅테크와 수많은 스타트업들의 도전은 이처럼 갈수록 거세지고 있어 향후 결과가 주목되는 상황이다.