3D 모델링·렌더링 AI 반도체 기술, 급속 ‘진화’

[애플경제 엄정원 기자] NeRF(신경망 레디언스 필드) 기반의 모델링 및 렌더링 기술은 AI반도체 기술의 핵심이기도 하다. 고화질 3D 이미지나 콘텐츠를 생성함으로써 최고의 온디바이스 환경을 구현할 수 있다. 그러나 이는 매우 현실감 있는 이미지나 콘텐츠를 재현할 수 있으나, 연산량과 메모리가 매우 방대해 효율적 렌더링에 한계가 있다.

NeRF는 산 복잡도가 매우 높고 메모리 접근량이 많아 GPU 등 고성능 장비를 활용해도 모델링과 3D렌더링에 시간과 에너지가 많이 소모된다. 이에 최근엔 연산량을 줄이고 학습 속도를 높이기 위한 다양한 NeRF 파생 알고리즘을 중심으로 기술이 발달하고 있다. 즉 그 기능을 한층 개선한 NeRF 아키텍처나 프로젝트 등이 다양하게 선보이고 있다.

데이터 희소성을 고려한 RT-NeRF 아키텍처나, 고정 소수점을 기반으로 한 ICARUS, 실시간 렌더링 NeRF 프로세서인 MetaVRain, 등이 대표적이다. 이들은 NeRF나 3DGS(3D 가우시안 스플랫팅)의 연산 특성에 최적화된 맞춤형 연산 유닛이자 메모리 구조다. 이를 통해 실시간 프로세스를 저전력으로 구현한다.

그 중 ▲RT-NeRF는 물체가 존재하는 영역에서만 연산을 수행하는 방식이다. 보이지 않는 영역은 제외함으로써 연산 효율을 크게 높인 것이다. 이를 위해 인코딩 내지 디코딩 방식을 선택하는 하이브리드 회로를 통해 외부 메모리 접근을 줄이고 데이터 저장 공간을 절약했다. 이런 구조는 GPU보다 무려 24배 높은 렌더링 속도가 가능하다. 결국 실시간 3D 표현에 적합한 고효율 가속기인 셈이다.

고정소수점 기반의 NeRF 아키텍처인 ▲‘ICARUS’도 주목을 끈다. 이는 NeRF 연산에 최적화된 전용 연산 유닛을 설계한 것이다. 이를 통해 전체 파이프라인을 코어 내부에서 처리하고, 외부 데이터 이동을 최소화함으로써 효율적인 렌더링을 구현할 수 있다.

특히 이는 고정소수점 연산을 통해 복잡성을 줄이고, NeRF 알고리즘의 특성에 최적화된 방안을 도출한다. 다양한 NeRF 알고리즘에 대응할 수 있도록 각 연산 유닛은 다양한 크기를 지원한다. 한 마디로 ‘ICARUS’는 “RT-NeRF와 함께 범용 GPU에 비해 NeRF 렌더링에 최적화된 구조로서 전력이나 연산 효율을 크게 개선한 방식”이라고 할 수 있다.

소위 메모리 관리 특화 NeRF 아키텍처라고 할 수 있는 ▲‘NeuRex’ 기술도 있다. 이는 메모리 관리 관점에서 NeRF 알고리즘의 특성을 적극 활용한 가속 하드웨어다. 이는 특히 ‘Instant NGP’(Inastan Neural Gaphics Primitives)의 해슁(hashing) 기법을 활용, 하드웨어 구조를 최적화했다. ‘Instant NGP’는 2D 이미지를 입력하면 3D로 변환해 주는 딥러닝 모델인 NeRF를 발전시킨 모델 중 하나다. NeRF 모델보다 학습 시간이 짧으면서 고품질로 3차원 재구성 결과를 얻을 수 있다.

특히 연산 단위를 작게 나누어 단위별로 파이프라인으로 처리하는게 특징이다. 이를 통해 온칩 메모리 사용을 최소화하고 외부 메모리 접근을 줄였다. 이 방식은 모바일 및 엣지 디바이스처럼 제한된 자원을 가진 시스템에 적합하다. 검증 결과 이는 GPU보다 3.11배의 속도를 기록한 것으로 알려졌다.

카이스트 연구진이 개발한 ▲‘MetaVRain’은 실시간 렌더링 NeRF 프로세서라고 할 수 있다. 실시간 저전력 3D 렌더링을 가능하게 하는 NeRF 특화 반도체 기술로 설명된다. 가속 하드웨어를 반도체로 실현하고, 그 성능을 검증한 기술이기도 하다.

이는 본래의 NeRF 알고리즘의 특성을 활용하되, 높은 연산량을 줄이기 위해 3단계 최적화 기법을 도입했다. 우선 물체 내부에서만 샘플링을 수행, 불필요한 연산을 제거했다. 둘째로 이전 프레임 데이터를 재활용, 중복된 픽셀 연산을 회피했다. 셋째는 DNN(Deep Neural Network)과 샘플링 과정에 피드백을 적용, 필요 없는 계산을 생략했다.

그 결과, ‘MetaVRain’은 GPU보다 911배 빠른 속도를 구현했고, 전력소비는 거의 절반으로 낮출 수 있게 되었다. 사실상 실시간 3D 렌더링을 가능하게 한 것이다.

모델링 특화 방식의 ▲‘NeuGPU’도 역시 카이스트 연구팀이 개발한 프로세서다. 이 방법 역시 ‘Instant NGP’의 해싱 기법을 활용했다. 핵심은 3가지 최적화 기법이다.

우선 계층형 비트맵과 하위 블록 정렬로 불필요한 샘플링을 제거한다. 외부 메모리 접근을 66% 줄였으며, 해시 테이블 압축률도 3배 이상 높였다. 둘째는 어텐션(attention) 기반 하이브리드 인터폴레이션으로 해시 히트율을 증가시킨 것이다. 병렬처리와 거리 임계값을 설정함으로써 전력 소모를 줄였다.

이런 최적화를 통해 엣지 GPU보다 8.7배나 빠른 모델링 속도를 구현했다. 또 에너지 소비는 무려 1/231.4나 줄였다. 그 결과 “실시간, 저전력으로 렌더링과 모델링을 동시에 수행할 수 있는 대표적인 프로세서”라는 평가다.

역시 카이스트 연구팀이 개발한 ▲‘IRIS’ 기술이 있다. 이는 3D 가우싱 스플랫팅 기술인 3DGS에 특화된 렌더링이자, 모델링 프로세서라고 할 수 있다.

이는 ‘인터랙티브 포토리얼 리스틱 렌더링’(Interactive Photorealistic Rendering: IPR)과, ‘표면 인식 기반 모델링’(Surface-Aware Modeling: SAM)을 동시에 가속, 실용적인 기능까지 구현한다. 이는 외부 메모리 접근으로 인한 에너지 소모 문제를 해결하기 위해 ‘가우시안’ 정보의 정렬과 재사용을 최적화했다. 또한 메모리 접근 전력 소모를 59% 감소시켰다.

IRIS 프로세서는 616mW 전력이면 충분하며, 렌더링 속도가 34.3배나 빨라졌다. 에너지 효율 역시 300배나 향상되었다.