엣지 AI, 모든 산업의 ‘엔진’으로 부상

[애플경제 이지향 기자] 딥시스의 출현으로 새삼 주목받는게 있다. 바로 ‘엣지 AI’다. AI 모델과 알고리즘이 로컬 장치에 배포되어 사용자 요구에 즉각 응할 수 있다. 클라우드 서버에 의존하는 대신 출처에 더 가깝게 처리되는 방식이다. 특히 LLM과 작은 언어 모델(sLM), 그리고 최신 하드웨어에 신경망 장치(NPU)를 통합하면서 더욱 그 기술도 발달하고 있다. 딥시크의 경우 이런 클라우드 엣지AI에 의해 한층 효율적인 프로세스를 기할 수 있었다.

기업의 경우 엣지 AI는 기술적 정교함뿐만 아니라 비용 절감, 신속한 운영, 데이터 보안 강화 등 장점이 많다. 엣지AI는 IoT 센서, 스마트폰, 산업용 기계 등에서 처리 능력을 엣지로 옮겨 기업이 AI를 활용하는 방식을 재정의할 수 있다. 특히 데이터를 클라우드 서버로 주고받는 데 따르는 지연 시간을 없애준다. 특히 스마트 제조 환경에서 엣지AI는 현장에서 센서 데이터를 분석, 있을 수 있는 네트워크 결함이나 고장을 미리 식별할 수 있다.

“향후 5년 간 연평균 21% 성장” 예상

엣지AI의 또 다른 장점은 보안의 강화다. 기존 클라우드 기반 AI는 데이터가 원격 서버로 이동해야 하므로 그 과정에서 잠재적인 취약성이 발생할 수 밖에 없다. 반면에 엣지 AI는 데이터를 로컬에서 처리, 침해사고나 무단 액세스에 대한 노출을 줄일 수 있다.

시장분석기관 ‘CCS 인사이트’는 “데이터를 데이터 센터로 이동하거나, 데이터 센터에서 이동할 필요가 없기 때문에 (엣지AI 기반의) ‘온디바이스 AI’는 훨씬 더 안전하다”면서 “이는 AI가 더 많은 개인정보나 비공개 데이터를 처리하도록 해준다”고 장점을 강조했다.

이 외에도 엣지 AI는 로컬 하드웨어에서 AI 모델을 실행함으로써 클라우드 스토리지와 에너지 사용량을 대폭 줄일 수 있다. 기업으로선 상당한 비용 절감을 기대할 수 있다. 그런 점에서 엣지 AI는 단순한 기술적 진보가 아니다. “날로 강화되는 ‘초연결’ 세상에 걸맞게 스마트하고 빠르고 안전한 운영 시스템”이란 얘기다.

엣지 AI는 특히 IT 업계로선 점점 더 중요한 테마가 되고 있다. 시장조사기관 ‘그랜드 뷰 리서치’에 따르면 2024년 엣지AI의 총 시장 가치는 208억 7천만 달러로 추산된다. 2025~30년 사이에 시장의 연평균 성장률은 21.7%가 될 것으로 예상된다.

sLM, 소규모 컴퓨팅 중심으로 급속히 확산

특히 sLM과 소규모 AI는 엣지에서 AI가 작동하는 방식을 변화시키고 있다. 이러한 경량 모델은 대형 클라우드 기반 언어 모델과 달리, 컴퓨팅 성능이 훨씬 적은 장치에서도 효율적으로 실행할 수 있다. 이는 실시간 애플리케이션에 적합하다. 또 기업의 각종 디바이스와 중간 수준 성능의 GPU 등에서도 실행될 수 있다. 기기 내 가상 비서를 통해 데이터를 클라우드로 전송하지 않고도 음성 인식 및 번역 서비스를 제공하는 sLM이 그 대표적인 사례다.

즉, 모든 처리를 로컬로 유지함으로써 이는 한층 빠르게 응답할 수 있고, 원격 연결이 원활하지 않는 상황에서도 안정성을 유지할 수 있다. 특히 민감한 데이터는 기기에 남아 있기 때문에 개인 정보를 충실히 보호할 수 있다.

이런 효율적인 모델은 클라우드 인프라와 관련 비용을 줄이고, 서비스 품질도 높일 수 있다. 예를 들어 소매업의 경우 엣지 AI는 매장 내 고객 행동을 분석, 즉시 맞춤형 추천을 할 수 있고, 물류업에서는 실시간으로 배송 경로를 최적화할 수도 있다.

특히 AI PC의 부상과 함께 최신 하드웨어에 NPU를 포함함으로써 AI를 클라우드에서 엣지로 가져오는 기술도 크게 발달하고 있다. NPU는 복잡한 AI 워크로드를 처리하도록 설계된 특수 칩이다. 이미지 인식, 자연어 처리, 예측 분석과 같은 작업을 CPU 및 GPU가 처리할 수 있게 한다.

그래서 기존 CPU와 GPU를 활용하여 AI 모델을 효과적으로 실행하고 있으며, 인프라를 완전히 정비하지 않고도 엣지 AI에 더 쉽게 접근할 수 있다. 예를 들어 AI 기능이 있는 노트북과 데스크톱은 엣 AI덕분에 은행의 사기 탐지나 자동화된 고객 지원과 같은 작업을 실시간으로 처리할 수 있다.

클라우드 대신 ‘로컬’에서 저비용, 효율적 작업

엣지 AI의 주요 이점 중 하나는 또 입·출력당 요금을 부과하는 클라우드 시스템 대신 로컬 하드웨어에서 AI 모델을 실행, 비용을 크게 낮출 수 있다는 것이다. 또 지연 시간을 줄여줌으로써 특히 즉각적인 대응이 필수적인 환경에서 엣지 AI는 매우 유용하다. 스마트 팩토리 현장에서도 엣지 AI는 기계가 밀리초 단위로 이상을 감지하고 대응할 수 있도록 해준다.

그러나 이런 장점에도 불구하고 엣지 AI는 극복해야 할 과제도 있다. 엣지 AI 솔루션을 구현하려면 하드웨어와 소프트웨어에 상당한 사전 투자가 필요하다. 이는 소규모 기업에게는 부담이 아닐 수 없다. 또 중간 기술 수준의 기기로 가장 정교한 엣지 모델을 실행하려면 더 비싼 옵션을 선택해야 한다.

엣지 AI 시스템은 또한 클라우드 기반 모델의 확장성과 원시 연산 능력이 부족하다. 복잡한 데이터 세트를 처리하는 등의 역량이 제한될 수도 있다. 그 때문에 기업들은 흔히 하이브리드 방식을 구사한다. 즉, 지연 시간을 최소화할 필요가 있을때는 에지 AI 모델을 활용하고, 시간이 많이 걸리거나 대용량의 데이터를 처리해야 하는 경우는 클라우드 워크로드로 진행하곤 한다.

5G와 IoT, NPU 확산으로 더욱 발달

전문가들은 또 “엣지 AI처럼 로컬서 실행하기에 충분히 작은 모델은 LLM보다 강력하지 못하다”고 지적한다. 예를 들어 딥시크와 메타의 sLM인 Llama 모델이 그런 경우다. 이는 로컬(엣지AI)에서 실행할 수 있다. 그러나 오픈AI의 추론 모델이나 구글의 최신 제미니 릴리스보다는 강력하지 못하다는 평가다.

그럼에도 “에지 AI의 미래는 에지 컴퓨팅 환경에 맞게 조정된 특수한 AI 모델의 개발로 한층 도약할 것으로 보인다”는게 많은 전문가들의 예상이다. 즉 특히 5G와 IoT가 계속 확장됨에 따라 더 많은 산업부문에서 엣지 AI를 도입할 것이란 얘기다.

실제로 이미 자율 주행차, 증강 현실, 실시간 공급망 최적화 등 새로운 애플리케이션은 이미 엣지 AI로 인한 지연 시간 최소화 등의 이점을 십분 활용하고 있다. 또한 “더욱 발전된 NPU 및 하이브리드 처리 기능과 같은 AI 하드웨어로 인해 엣지 AI 솔루션의 속도와 확장성도 더욱 커질 것”이란 전망이다.