애플, 1월 출시 삼성 ‘S24 울트라’ 맞서…“생성AI 기술 모바일에 접목”
3D AI아바타 생성 ‘휴먼 가우시언 스플랫’ 개발, 모바일에 LLM 구현 기술도
[애플경제 전윤미 기자] 애플이 아이패드와 아이폰에 3D AI아바타를 적용할 것으로 전해져 눈길을 끈다. 삼성전자가 1월에 ‘S24 울트라’를 출시하며, 2024년 모바일 시장에 대한 기선 제압에 나온 긴급 대응으로 해석된다.
앞서 애플은 생성 AI의 가능성을 (모바일 분야로) 확장하는 연구보고서를 발표했다. 그중엔 동적 랜덤 액세스 메모리가 제한된 특정 장치(디바이스)에서 대규모 언어 모델(LLM)이 실행되지 못하는 문제를 해결하는 기술이 들어있다. 다시 말해 구체적으로 언급하진 않았지만, 아이폰과 아이패드와 같은 모바일 기기에 LLM을 구현할 수 있는 가능성을 제기한 것이다.
1대의 카메라 영상만으로 3D AI아바타 생성
또한 눈길을 끄는 내용도 있다. 즉, 카메라 한 대만 있으면 비디오의 영상만으로 3D AI아바타를 생성하는 기술인 ‘휴먼 가우시언 스플랫’(Human Gaussian Splats)이다. 이는 생성AI가 영상만 보고, 바로 3D AI아바타를 만들어내는 멀티 모달 기술의 일환이다. 애플은 일단 “이 기술은 가상 회의용 아바타를 만들거나, 소비자가 온라인 매장에서 옷을 구매하기 전에 옷을 입어볼 수 있도록 하는 데 사용할 수 있다.”고만 했다. 실제로 애플은 고객이 가상 탈의실에 들어가서 자신의 몸에 입힌 옷을 볼 수 있도록 하는 실험도 하고 있는 것으로 전해졌다.
여기서 ‘휴먼 가우시언 스플랫’은 실물과 똑같은 3D AI아바타를 만들 수 있는 신경 렌더링 프레임워크다. 애플의 연구보고서에 의하면 짤막한 카메라 비디오만 있으면 3D 아바타를 생성할 수 있다. 종전에는 비디오를 3D로 변환하려면 여러 대의 카메라와 복잡한 컴퓨팅 성능과 인력이 필요했다.
그러나 ‘휴먼 가우시언 스플랫’은 50~100개의 비디오 프레임을 사용해 새로운 포즈와 움직임을 보여주는 아바타를 만들어낸다. 기존 기술로는 비디오에서 완전히 캡처되지 않았을 수도 있는 인체의 일부 특징이나 움직임을 간파, 모방한다는 점이 특징이다.
LLM과 플래시 메모리 결합, ‘제한된 D램 용량 극복’
이처럼 모바일 기기 LLM기술을 구현하고, 여기에 ‘휴먼 가우시언 스플랫’ 기술을 합하면, 아이폰이나 아이패드 영상을 이용해 손쉽게 3D AI아바타를 만들어낼 수 있다는 얘기다.
기술매체 ‘매셔블’은 “이미 업계에선 LLM 기반 기능을 앱에 추가하기 위한 노력이 이어져왔다”면서 “그러나 (스마트폰과 같은) 제한된 DRAM 용량을 가진 장치의 경우 LLM을 위한 집약적인 계산 및 메모리 요구 사항을 감당할 수 없었던게 그 간의 걸림돌”이라고 돌이켰다.
그러나 “애플은 ‘플래시에서의 LLM’, 즉 제한된 메모리를 사용한 효율적인 대규모 언어 모델 기술을 개발, 상용화할 예정”이라고 했다.
특히 눈에 띄는 것은 모바일 기기와 생성AI 기반의 3D AI아바타의 접목을 위해 애플은 두 가지 기법이다. 이른바 ‘윈도우잉’과 ‘행-열 번들링’이다.
모바일 전문매체인 익스트림테크는 “이들 두 가지 기술을 사용하여 LLM을 플래시 메모리에 저장함으로써 기존 DRAM 용량의 2배나 되는 LLM을 실행할 수 있음을 발견했다.”고 그 방식을 소개했다.
즉, ‘윈도우잉’을 사용하면 새로운 디지털 뉴런이 아닌, 재사용된 디지털 뉴런에서 프로세스가 수행되므로 DRAM의 필요성이 줄어든다. 또 ‘행-열 번들링’은 플래시 메모리에서 읽은 데이터셋을 더 크게 만들어주는 역할을 한다.
이들 두 기술은 모두 플래시 메모리 동작과 조화를 이루는 추론 비용 모델을 구축한다. 또 두 가지 중요한 영역, 즉 플래시에서 전송되는 데이터의 양을 줄이면서, 더 크고 더 연속적인 뭉치 단위로 데이터를 읽는 것을 최적화한다.
각종 산업용 웨어러블 기기에도 적용 가능
해당 기술은 메모리가 작고 제한된 엣지나, 현장 서비스용 디바이이스에서도 LLM이 실행된다는 점에서 획기적이란 평가다. 즉 스마트폰에 초대형 생성AI 기반 앱을 적용할 수 있는 토대가 되는 것이다.
‘테크레이다’는 “이같은 기술은 애플이 마이크로소프트의 코파일럿이나, 오픈AI의 챗GPT만큼 주목받는 생성 AI 제품을 보유하고 있지는 않음에도 불구하고, 생성AI 분야에서 나름대로 영향력을 행사하고 있음을 보여준다”면서 “이러한 연구 결과는 결국 노트북, 태블릿, 휴대폰에 탑재된 애플의 음성 기반 비서인 시리(Siri)에도 적용될 수 있다”고 내다봤다.
‘매셔블’은 또한 “스마트폰 뿐 아니라, 작업 현장이 각종 웨어러블 기기 등에서도 LLM이 실행될 수 있도록 한다는 점에서 일반 소비자 뿐 아니라, 기업과 산업체에도 유용한 기술”이라고 평가했다. 특히 “애플이 아이폰과 아이패드에 이를 적용해, 1월 출시될 삼성전자의 ‘S24 울트라’에 맞서는 무기로 내세운다는 점에서 귀추가 주목된다”고 덧붙였다.