‘애자일 방식 데이터옵스’로 데이터경제 혁신한다

앞으론 데이터를 얼마나 효율적으로 관리하고 마이닝하며 활용할 것이냐에 기업 활동의 성패가 달렸다고 해도 과언이 아니다.

2020년 들어선 이런 중요성을 인식한, 다양한 기법의 데이터 혁신 방법론이 속출하고 있다. 데이터옵스나 컨테이너와 오케스트레이션을 바탕으로 쿠버네티스 등 첨단 클라우딩, AI나 ML 기반의 애자일 방식 등이 활발히 보급되고 있다.

기업활동 데이터 전반을 분석하고 마이닝
그 중 데이터옵스(DataOps)는 최근 데이터의 효율적 관리와 활용의 중요한 키워드로 등장하고 있다. 이는 기업 각 부문을 가로질러 분석하고 마이닝하는 기법이다. 데이터 중심 기업에 필요한 도구와 공정, 조직 구조를 제공하는 것이기도 하다.

데이터옵스는 데브옵스와 마찬가지로 애자일방식이 중심이 된다. 데이터 분석에 있어서 다은 어떤 변수에 앞서 가장 효과적인 분석을 최우선시 하며, 그 결과를 바탕으로 시장과 소비자의 수요를 완벽히 충족시키고자 하는 것이다. 이를 위해 어떤 작위적인 판단을 배제하고, 오로지 데이터와 분석 도구, 코드, 그리고 종합적인 환경 조건을 기준으로 삼는다.

AI모델에 의한 워크플로우 통합도
그 과정에선 특히 AI와 ML에 의한 애자일 방식으로 데이터를 관리함으로써 효율성을 극대화하고 있다. 한 마디로 이는 애자일 개발, 데브옵스 등 지금껏 데이터 관리에 활용되었던 방식들을 더욱 체계적인 프로세스로 진화토록 하는 것이다.

늘 강조되어왔지만, 기업이 기업목표를 실현하도록 해주는 새로운 AI 모델과 분석 기법이야말로 데이터 혁신의 필수 조건이다. 데이터옵스의 수단으로 AI모델에 의한 워크플로우를 통합하고, 생산성을 저하하는 수동적인 프로세스를 줄이는 것은 특히 IT업계의 매우 중요한 요소로 지적되고 있다.

지난 해 이후엔 특히 IoT나 클라우드를 중심으로 신속하게 코드를 개발하고 확장하기 위한  콘테이너와 마이크로서비스가 중시되고 있다. 데이터 추출과 관리를 위한 엣지 컴퓨팅, 서버리스, 콘테이너 같은 기술과 함께 데브옵스와 마이크로서비스에 중심을 둔 방식이 날로 보편화되고 있다. 그런 가운데 특히 IoT 프로젝트가 이에 가미되면서 더욱 데이터링의 효율성을 추구하고 있다.

쿠버네티스 등 클라우딩 혁신도 포함
덕분에 마이닝 후의 데이터 배포, 스케일링, 그리고 관리를 자동화할 수 있는 오픈소스 형태의 콘테이너 오케스트레이션 시스템인 쿠버네티스가 광범위하게 도입되고 있다. 이는 데이터 프로젝트 과정에서 신속하게 확장이 가능한 완전히 새로운 아키텍처로 인기를 끌고 있다.

온프레미스와 클라우드 환경을 불문하고, 콘테이너화 애플리케이션과 서비스, 여러 다양한 장치에 가장 많이 활용되는 것이 쿠버네티스다. 데이터 관리의 볼륨이 날로 증가하면서, 소프트웨어 정의 인프라(SaaI)에 자동으로 인프라와 애플리케이션을 배포하고, 오케스트레이션하는 기능이 통합되고 있는 것이다.

그래서 최근엔 웬만한 벤더들치고 쿠버네티스를 주목하지 않는 경우는 드물 정도가 되었다. 쿠버네티스는 다른 어떤 기술 플랫폼도 제압하면서, 서비스 메시, 콘테이너 기반 CI/CD 파이프라인 자동화 제품 같은 다양한 기술 현상을 유도하고 있다.

최근엔 데이터 교환소도 등장
이른바 데이터 교환소의 양적, 질적 성장도 날로 발전하는 데이터 경제의 한 가지 특징이다. 미국에선 이미 지난 수 년 간 터바인, 대웍스, 카루소 등 소규모 데이터 교환소들이 출현하면서 하나의 산업군으로 자리잡고 있다. 그로 인해 최근 아마존은 아예 AWS 데이터 거래소를 개설할 것이라고 밝히기도 했다. 이에 따르면 기존에 데이터 산업을 견인해온 로이터, 딜로이트, 던, 브래드스트리트 등의 업체들이 참가할 것이란 설명이다.

AWS는 이를 통해 데이터가 필요한 수 많은 기업들에게 유용한 데이터 출처로서 이들을 연계시킨다는 계획이다. 일종의 글로벌 데이터 에이전시와도 같다. 그 평가는 두고볼 일이지만, 기업들에게 정확하면서도 절실히 필요한 정보를 제공해줄 수만 있다면 이것 역시 데이터 혁신과 데이터 경제의 발전을 위한 긍정적 몫으로 작용할 것이란 전망이다.

데이터를 어떻게 잘 선용하고, 또한 원활하게 적재적소에 공급하며 유통하느냐 하는 것은 데이터 경제와 현대 산업사회의 원활한 작동을 위해 가장 중요한 요소다. 새로 진입하는 회사는 데이터를 생성하거나 다른 이용자를 유인할 이용자 기반을 갖지 못하고 있다는 점에서 경쟁에서 불리하다. 그러므로 각종 클라우딩 기술을 비롯한 새로운 데이터 출처와 관리 기법은 데이터 혁신을 통한 디지털 기반의 산업발전을 견인하는 핵심 동력이 될 것으로 기대되고 있다.