“이젠 빅데이터 대신 ‘스몰 데이터’…”

[애플경제 이보영 기자]빅데이터는 AI와 IoT, 자동화 시대의 필수적 장치로 인식되고 있다. 그러나 ‘포스트 코로나’를 겨냥하는 기술 추세에선 새삼 ‘스몰 데이터’의 중요성이 강조되고 있다. 즉 대규모 데이터에 의존하는 대신, 반드시 유용하고 의미가 있는 모델을 선택적으로 추출하는 것이 한층 효율적이라는 판단에서다.

국제 컨설팅 기관인 가트너 역시 “기존의 ‘빅’데이터에 의존하는 AI 방식에서 필요한 데이터량이 보다 적은 ‘스몰’ 데이터를 통해 더욱 다양성이 풍부한 분석 기법으로 전환하고 있다”고 진단하고 있다. IT업계 현장의 애널리스트들도 “실제로 이같은 빅데이터에서 광범위한 스몰 데이터로의 전환은 새로운 추세로 자리잡고 있다”는 의견이 많다.

빅데이터와는 대조적으로 다양한 영역을 망라한 ‘스몰 데이터’는 AI를 중심으로 날로 복잡해지는 워크플로우상에서 수많은 미분적 데이터들을 처리해야 하는 경우, 그 의미가 커진다는 분석이다. 이에 따르면 텍스트나 비디오, 이미지, 오디오 등 광범위한 데이터를 분석하는 ‘X애널리틱스’를 활용할 필요가 있다.

수없이 많은 작은 규모의 다양한하고 광범위한 데이터 소스가 그 대상이다. 이들을 구조화 또는 비구조화한 데이터 소스를 분석하고, 그 효용을 높이며 사전 예측 가능한 시스템을 구축하며 의사결정을 할 수 있다.

스몰 데이터는 이처럼 복잡, 다양한 정보의 홍수 시대에 데이터량이 비록 적긴 하지만, 유익한 정보를 제공하는 데이터 모델인 셈이다. 애초 XOps, 즉 데이터, ML, 모델, 플랫폼의 목적은 데브옵스의 장점을 최대한 살려 최고의 시너지를 기하기 위한 것이다.

그 중 효율적인 데이터 마이닝이 무엇보다 중요해진다. 나아가선 “효율성과 규모의 경제성을 실현하고, 테크놀로지와 프로세스의 중복을 줄이며, 자동화를 가능하게 하면서 신뢰할 수 있고 재사용할 수 있는 데이터를 구축하는 것이 중요하다”는 전문가들의 조언이다.

그 과정에서 스몰 데이터에 의해 ‘프로토타입’을 확장하고, 의사결정 시스템을 유연하게 설계하고 워크플로우 전반에 걸쳐 민첩한 오케스트레이션을 실현할 수 있다. 그래서 스몰 데이터를 비롯하 XOps는 가장 효율적인 데이터 마이닝과 분석을 통해 생산성을 극대화하는 방법이 될 수 있다는 평가다.

스몰 데이터는 가속화되고 있는 엣지화와도 관련된다. 날로 데이터 마이닝이나 분석 기술이 기존의 데이터 센터나 클라우드 환경의 외부, 즉 엣지에 적합한 형태로 발전하고 있다. 이로 인해 데이터 중심형 솔루션의 레이턴시(지연)가 단축되거나 해소되어 더욱 실시간에 가까운 업무 트랙을 형성할 수 있게되는 것이다. 이런 경우 특히 스몰데이터를 기반으로 엣지로 엣지로 전환함으로써, 이런 네트워크 효과를 극대화할 수 있다는 의견이 지배적이다. 최근 가트너도 스몰 데이터의 확산을 ‘2021년 데이터 및 애널리틱스 트렌드’의 최상위 가치로 제시하고 있는 점도 그런 취지로 해석되고 있다.