초저전력AI 프로세서 구현, ‘센서-AI통합, 이기종 모바일 컴퓨팅’도
데이터 이동 없이 메모리 내 연산, 에너지절감, 지연 최소화
“로컬 디바이스 상의 ‘엣지컴퓨팅과 AI융합’ 실현 위해 필수”
[애플경제 전윤미 기자] 차세대 컴퓨팅의 핵심이라고 할 엣지AI, 즉, 엣지컴퓨팅과 AI의 융합은 클라우드에 의존하지않고 로컬 디바이스에서 AI연산을 수행한다. 이는 그러나 엣지 디바이스의 제한된 전력환경에서 고성능 AI처리를 하다보니 엄청난 전력이 필요하다. 이에 인메모리 컴퓨팅(In-MemoryComputing) 등 초저전력 AI프로세서나 뉴로모픽 컴퓨팅, 이(異)기종 컴퓨팅, 센서-AI통합기술 등이 그 대안으로 꼽히고 있다.
ReRAM, MRAM 등 인 메모리 기술
흔히 AI프로세서는 데이터가 이동함으로써 막대한 에너지를 소비하고, 많은 시간이 걸린다. 전통적인 폰 노이만 구조에선 데이터를 메모리에서 프로세서로 이동시켜 연산을 수행하고 결과를 다시 메모리에 저장하는 과정이 필요하다. 이 과정에서 상당한 에너지가 소비되고 지연이 발생한다.
이에 인메모리 컴퓨팅은 지연시간을 줄이고, 전력을 절감하기 위해 메모리 내에서 직접 연산을 수행한다. 데이터 이동을 최소화함으로써 에너지 효율성을 크게 높인다. 특히 대규모 병렬 처리가 필요한 AI연산에서 그 효과를 크게 인정받고 있다.
대표적인 메모리 기술로서 ReRAM(ResistiveRAM)과 MRAM(MagnetoresistiveRAM) 등이 있다. 전자는 저항 상태를 이용해 데이터를 저장하고 연산할 수 있다. 이는 매우 효율적인 행렬 연산이 가능한 것으로 평가된다. 이에 비해 MRAM(Magnetoresistive RAM)는 비휘발성과 고속이란 장점을 살린 것이다. 캐시 메모리를 대체하고, 뛰어난 연산기능을 발휘한다.
실제로 IBM의 아날로그AI 칩이 그런 사례 중 하나다. 이는 “메모리 어레이 내에서 직접 행렬 연산을 수행, 기존 GPU의 100배 이상 에너지 효율을 기한다”는 평가다.
‘SoC’로 서로 다른 프로세서 조합 기술도
이(異)기종 컴퓨팅(Heterogeneous Computing)도 이와 유사한 특성을 갖고 있다. 흔히 모바일 시스템 온칩(SoC)을 통해 서로 다른 프로세서들을 효과적으로 조합, 시스템 전체 성능과 효율성을 높인 것이다.
SoC는 CPU, GPU, NPU등 다양한 프로세서를 통합하고 있다. 각기 그 기능과 역할이 다른 것들이다. 범용 연산을 위한 CPU, 그래픽 처리에 특화된 GPU, 그리고 인공지능 연산에 최적화된 NPU(Neural Processing Unit) 등이다. 이들이 하나의 칩에 함께 구현된 것이다.
이에 복잡한 AI추론 작업은 NPU에서 처리하고, 3D렌더링은 GPU, 일반적인 애플리케이션 실행은 CPU에서 처리한다. 이를 통해 각자의 장점을 극대화하고, 전력 소비를 최소화한다.실제로 NPU를 사용한 AI작업은 CPU나 GPU에 비해 10배 이상의 전력효율을 보일 수 있다.
뉴로모픽, ‘정밀도 낮추면서 정확도 높여야’
뉴로모픽 컴퓨팅 구조도 저전력 반도체로 꼽힌다. 이는 AI작업에서 기존의 프로세서보다 최대 1000배 이상의 에너지 효율을 기한다.
동적 정밀도 조절 기능을 갖춘 유연한 연산유닛도 또 다른 대안이다. 본래 AI연산의 특성상 모든 단계에서 고정밀도 연산을 할 필요는 없다. 한국지능정보원은 이에 엔비디아의 Turing GPU 아키텍처를 예로 들었다. 이는 다양한 정밀도를 지원하며, 작업에 따라 동적으로 정밀도를 조절할 수 있다.
구글의 TPU(Tensor Processing Unit)도 비슷하다. 이 역시 ‘bfloat16’이라는 절반의 정밀도 부동소수점 형식을 도입, 연산 효율성을 크게 높였다. 다만 정밀도를 낮추면 전력 효율성은 높아지나, 정확도가 떨어질 수 있다. 이런 모순점들 간의 최적 균형점을 찾는 것이 중요하다는 지적이다.
웨어러블, IoT 등에 센서·AI통합기술
AI와 센서기술을 통합하면 엣지AI의 성능과 효율성을 크게 향상시킬 수 있다. 즉, 센서와 AI프로세서를 하나의 칩에 통합함으로써 데이터 이동에 따른 지연을 최소화하고 에너지 소비를 줄일 수 있다. 이런 통합 기술은 특히 웨어러블 기기나 IoT센서와 같은 초소형, 초저전력 디바이스에서 매우 유용하다. 또한 센서에서 받아들인 아날로그 신호를 디지털로 변환하기 전에, 아날로그 도메인에서 미리 사전 처리를 하면 에너지 효율성을 크게 높일 수 있다. “음성인식 시스템에서 아날로그 필터를 사용해 초기 특징을 추출하면, 디지털 처리에 비해 훨씬 적은 에너지로 유사한 성능을 달성할 수 있다”는 것이다.