전자통신연구원, ‘딥러닝 모델을 NPU에서 쉽게 테스트’
‘개발 시간 크게 단축, 다양한 환경서 테스트’…초보자도 쉽게 검증
[애플경제 이지향 기자] 딥러닝 모델 컴파일러를 활용해 개발을 손쉽게 할 수 있고, 비용도 절감할 수 있는 기술이 개발되었다.
한국전자통신연구원은 이런 목적으로 NPU를 바탕으로 이미지 분류를 위한 ‘딥러닝 모델 추론용 실행파일’을 생성할 수 있는 기술을 선보였다. 이를 통해 “딥러닝 모델 개발 업체들은 자사에서 개발한 딥러닝 모델을 NPU에서 쉽게 테스트 할 수 있고, 개발 시간을 크게 단축시키거나, 다양한 환경에서 테스트를 할 수 있다”는 설명이다.
이는 ‘스마트 엣지 디바이스 SW 개발 플랫폼 개발’사업의 일환이기도 하다. NPU 기반 딥러닝 모델 추론용 파일 생성 기술은 CCTV 등 딥러닝 모델을 활용한 영상처리 분야의 획기적인 기술로 꼽힌다.
특히 “NPU에 대한 전문 지식이 부족한 딥러닝 모델 개발자도 손쉽게 NPU에서 자신이 개발한 딥러닝 모델을 추론할 수 있다”는 설명이다. 이를 통해 전력이나, 성능, 면적 등을 고려해 애플리케이션에 적합한 NPU를 선정할 수 있다.
이는 추가로 양자화 등의 경량화를 통해, 정확도를 최대한 유지하면서 딥러닝 모델의 크기나 연산 오버헤드를 최소화할 수 있다는게 장점이다.
NPU 개발 업체들은 개별 딥러닝 모델마다 SW 개발 환경을 구축하느라 막대한 자원을 투입할 수 밖에 없었다. 그러나 이 기술을 적용하면 투입 자원을 최소화할 수 있고, NPU 하드웨어 개발에 집중할 수 있다.
또 낮은 수준의 API를 딥러닝 모델 컴파일러와 연동하면, 개별 딥러닝 모델을 테스트할 수 있는 실행파일을 생성할 수 있다.
한편 전자통신연구원은 이 기술을 민간기업에게 적극 이전할 계획이다.
이전하게 될 ‘추론용 실행파일 생성 기술’은 다양한 기능과 성능을 대상으로 한다. 우선 ‘ONNX’로 표준화된 딥러닝 모델을 적용하는 기능이 대표적이다. 또 딥러닝 추론용 가속기 특징을 고려한 최적화 기능도 이전한다. 문제의 최적화 기능은 MobileNet-V2 기준 Top5 정확도가 56% 이상에 달하는 수준이다.
또 딥러닝 모델의 레이어 간 입출력 데이터를 관리하는 버퍼를 자동으로 생성하는 기능도 이전키로 했다. 이와 함께 생성된 코드를 추가 수정할 필요없이 딥러닝 응용을 생성하는 기능도 이전한다. 연구원은 또 “딥러닝 모델 컴파일러 시스템의 경우 딥러닝 모델의 표준으로 활용하는 ONNX를 기반으로 한 인터페이스를 제공할 것”이라고 밝혔다.