엣지 기반 딥러닝 기술로 ‘시설 작물 성숙도’ 분석

[애플경제 이윤순 기자] 스마트팜 시설 작물의 과실 성숙도(Fruit Ripeness) 양상을 학습 및 추론하는 딥러닝 소프트웨어 구현 기술이 등장해 눈길을 끈다.

이를 개발한 한국전자통신연구원에 따르면 RGB 및 ‘Depth Map’ 데이터 기반 객체 및 공간 특징정보 딥러닝 학습 기능과 엣지 기반 추론 기능을 포함한 것이다. 또 신경망 모델을 구조화하고, 데이터를 활용하여 모델을 학습하는 ‘서버 기반 모델 학습 소프트웨어’와 엣지 기기에서 모델을 추론하는 ‘경량 엣지 추론 소프트웨어’로 구성되어 있다.

기존에도 딥러닝 기반 객체식별(Object Detector) 또는 세그먼테이션(Segmentation) 기술로 사람, 자동차, 나무, 도로 등과 같이 일반적인 객체를 대상으로 그 형상에 적합한 영역을 인식해왔다. 그러나 스마트팜의 경우는 시설 작물의 특수성을 고려한 성숙도를 정밀하게 분석해야 한다. 이를 위해선 보다 정교한 신경망 설계와 학습 기술 개발이 요구된다.

또 2차원 이미지의 RGB 값 만으로는 단편화된 성숙도 분석에 그칠 수 밖에 없다. 이에 좀더 정교한 과실 성숙도를 예측하기 위해선 과실의 속성 정보 추정은 물론, 3D 정보를 함께 복원할 수 있는 딥러닝 신경망 설계와 학습을 위한 비용과 경험이 필요한 실정이다.

안드로이드 스마트폰으로 현장에서 분석

이번에 연구원이 개발한 ‘엣지 기반 시설 작물 성숙도 분석 기술’은 안드로이드 스마트폰과 같은 경량 엣지 기기를 통해 현장에서 실시간으로 시설 작물의 과실 형태를 식별할 수 있게 했다. 또 식별된 해당 과실의 성숙도 정도를 추론하는 기능을 제공할 수 있다. 이에 현장에서의 활용성이 매우 크다는 평가다.

연구원은 또 “다른 유형의 시설 작물에 대해서도 과실 특징을 공간정보나 문맥정보 형태로 학습하고 이를 분석할 수 있어, 실제 시설재배지에서 매우 유용한 기술”이라는 설명이다.

이 기술은 일단 스마트팜 시설 작물의 과실 성숙도(Fruit Ripeness) 양상을 학습 및 추론하는 딥러닝 소프트웨어가 핵심이다. SW 구현을 위해선 ▲성숙도 객체 특징 정보 검출 기술, ▲성숙도 공간 특정 정보 검출 기술, ▲ 특징 정보 퓨전 및 속성과 공간 추론 기술 등으로 구분된다.

연구원은 “특히 RGB 2차원 정보와 심도 정보를 혼합하여 학습을 수행하도록 모델링된 것”이라며 “당도, 크기, 색온도, 부피와 같이 성숙도를 결정하는 주요 인자를 모두 분석할 수 있고, 서버가 아닌 현장 엣지 기기 중심 추론을 지원하는게 특징”이라고 소개했다.

이는 또 정확도를 위해 2D 및 3D 데이터 파이프라인을 구성하고 네트워크 훈련을 실행했다. 또 스마트폰과 같은 자원 제약형 기기에서 구동 가능한 추론 테스트 앱을 제공한다.

공간특징정보, 문맥정보 추출 기술도 적용

연구원은 특히 “이 기술은 성숙도 분석을 위한 공간 특징 정보 및 문맥 정보를 추출하는 학습 기술과 백본 모델 교체를 활용한 경량 추론 기술을 포함한다”면서 “방울 토마토 작물을 대상으로 도출된 사례와 관련한 소프트웨어도 제공한다”고 밝혔다.

이는 또 대상 시설 작물의 선별 수확을 위해 개별 과실 식별, 성숙도 파악, 과실의 3차원 복원, 전체 성숙율 모니터링 등의 첨단 농업 기술로 활용될 수 있다. 스마트폰 등 사용자의 단말 또는 경량 엣지 기반 카메라 등을 활용한 현장 이미지를 분석하고, 그 분석 결과를 실시간으로 디지털트윈 기반의 팜 관리 시스템에 연계할 수도 있다.

기술이전 내용 및 범위 - 본 기술이전은 시설 작물 이미지로부터 객체 및 공간 정보를 검출하여, 열매(Fruit)를 식별하고, 성숙도 속성 정보를 추론하는 딥러닝 소프트웨어 구현 기술이 핵심임.