빠르게 진화하는 ‘스토리지’ 기술, 클라우드 세상 견인

클라우드 컴퓨팅이 발달하면서 스토리지는 이제 디지털 정보를 저장하는 네트워크 주변장치가 아닌, 데이터 기술의 핵심 요소로 떠오르고 있다.

스토리지는 컴퓨터 프로세서가 접근할 수 있도록 데이터를 전자기 형태로 저장하는 장소로 정의될 수 있다. 데이터가 홍수를 이루면서 이제 대용량의 저장소인 스토리지 기술은 세계 서버 시장을 앞지르는 거대한 시장을 형성하고 있다. 그 동안 스토리지 기술은 데이터 저장 용량과 워크로드 속도에 맞춰졌다.

그러나 최근엔 한층 스마트하고 유연한 관리 기술로 관심이 옮겨가고 있다. 그런 가운데 소프트웨어 정의 스토리지(SDS), 비휘발성 메모리 프로토콜(NVMe) 적용, 연산 스토리지 등 스토리지 기술의 진화 속도도 빨라지고 있다. 

스토리지 리소스와 기본 하드웨어의 분리
AI와 IoT 기술 등의 발달로 그야말로 데이터 홍수가 이뤄지고 있는 현실에서 대용량의 데이터를 저장, 처리하고 관리할 수 있는 스토리지 기술도 날로 발전하고 있다.

소프트웨어 정의 스토리지(Software-Defined Storage, SDS)는 최근 가장 많이 주목을 끌고 있는 기술로 꼽힌다. SDS는 스토리지 요소(리소스)들을 기본 하드웨어와 분리하는게 특징이다. 일단 종전의 x86 시스템에서 작동하도록 설계되었고, 워크로드와 스토리지 간의 상호작용,  애자일 스토리지와 실시간 확장성의 조화를 기할 수 있다.

SDS 기술은 또 사용 가능한 스토리지 요소들을 가상화하는 동시에 서로 다른 스토리지 풀을 통합 스토리지 요소로 나타내는, 단순화된 스토리지 관리 인터페이스를 제공한다. 이를 통해 SDS는 스토리지 리소스의 추상화, 이동성, 가상화를 기하고, 최적화하도록 한다.

IT 전문가들에 따르면 SDS를 도입할 경우 업무량을 줄여 운용비를 개선하고, 기업이 적절한 수준의 저장 성능과 용량을 가능하게 하며, 데이터 활용률을 최적화하고 비용을 제어할 수 있다는 평가다.

비휘발성 메모리 익스프레스, 스토리지 기능 향상
비휘발성 메모리 익스프레스인 NVMe(Non-Volatile Memory Express)는 고속 플래시 스토리지 시스템에 맞는, 강력한 통신 프로토콜이다. 이는 이미 신속한 명령과 병렬 대기열을 구사함으로써 하이엔드 SSD 시대를 앞당긴 바 있다. NVMe는 결국 스토리지의 기능을 크게 향상시킬 수 있다.

데이터센터, 클라우드, 에지 환경에서 실시간 데이터 처리를 지원하되, 기존의 프로토콜보다 기존 애플리케이션에 대해 훨씬 더 성능이 뛰어나고, 대기 시간도 짧다. 특히 빅데이터 경쟁에서 기업이 두각을 나타낼 수 있도록 한다. 데이터 중심 비즈니스, 특히 실시간 데이터 애널리틱스가 필요하거나 새로운 기술을 기반으로 구축된 비즈니스에 유용하다.

특히 전문가들은 “NVMe 프로토콜은 플래시 드라이브를 연결하는 것에 국한되지 않고 네트워킹 프로토콜로도 사용할 수 있다”고 장점을 꼽는다. 최근에는 직접 연결 저장장치(Direct Attached Storage, DAS)에 버금갈 만큼 초스피드의 고성능 스토리지 네트워크를 만들 수도 있다. 그래서 필요하면 서버 간에 플래시 장치를 공유할 수도 있다. 

NVMe 기술은 이처럼 스토리지의 성능과 신속한 처리 능력을 가능하게 했다. 특히 2020년 이후엔 NVMe 등을 이용하는 새로운 애플리케이션이 급속히 늘어날 것이라는게 전문가들의 전망이다. 

클라우드 전송 전, 엣지에서 데이터 필터링
호스트 CPU의 메인 메모리가 아닌 스토리지 계층에서 작업 일부를 처리하는, 이른바 ‘연산 스토리지(Computational storage)도 유망한 스토리지 기술로 꼽히고 있다. AI와 IoT 등의 발달로 날로 대용량, 고성능 스토리지와 추가 컴퓨팅 리소스가 필요하지만, 기존의 호스트 프로세서는 한계가 있다.

이를 통해 데이터를 보내다보면 비용과 시간 면에서 매우 비효율적이란 지적이다. 그래서 등장한 것이 연산 스토리지다.

이는 데이터를 클라우드에 전송하기 전에 소형 엣지 기기를 사용해 데이터를 사전에 필터링할 수 있다. 스토리지 어레이로 전송해서 데이터베이스의 데이터를 정렬하게 하거나, 빅데이터 앱을 위한 대규모 데이터 세트로 변환하는 기능, 즉 ‘랙 레벨 시스템’도 가능하다. 데이터를 일일이 호스트 프로세서로 스트리밍함으로써 걸리는 시간과 비용을 절약할 수 있는 것이다.

이때 연산 스토리지는 NVMe와 컨테이너에 의해 작동된다. 그래서 최근 NVMe, 컨테이너 기반 인프라로 전환하는 기업들이 늘어나고 있다. 또 연산 스토리지로 효율성을 높임으로써  큰 이익을 얻을 수 있는 애플리케이션을 구축하는 노력도 병행하고 있다.

D램과, 낸드 스토리지 기능 겸비도
데이터 처리가 빠르지만 정보의 휘발성이 강한 D램과, 속도는 느리지만 지속적인 메모리가 가능한 낸드 스토리지 기능을 겸비한 기술과 제품도 등장했다. 스토리지 클래스 메모리(SCM)은 D램의 속도와 낸드의 용량, 지속성을 모두 제공해 사용자가 대규모 데이터 세트 작업 성능을 높일 수 있도록 해준다. 

실제로 업계 전문가들에 의하면 SCM은 낸드 기반의 플래시 대체품보다 무려 1천배나 속도가 빠른 것으로 알려져있다. 이때 속도는 마이크로초 단위로 빨라지며, 엄청난 용량의 저장 메모리를 확장할 수도 있다.

데이터 배치, 소비, 애널리틱스 기술 날로 발전
SDS 등 최신 스토리지 기술혁신에 활용되는 ‘의도 기반 스토리지 관리’(Intent-based storage management)도 주목을 끌만한 스토리지 아키텍처다.

이는 기존 스토리지 관리보다 데이터 배열과 배치 시간을 크게 단축하고, 관리에도 덜 힘이 들게 한다. 또 컨테이너, 마이크로서비스, 애플리케이션을 더 신속하게 프로비저닝할 수 있다. 특히 소프트웨어에 있는 정보나 기능이 애플리케이션 요구사항을 충족시킬 수 있도록  데이터 환경을 최적화할 수 있게 한다.

흔히 SW개발 단계에서 각 어레이를 수동으로 튜닝하느라 오랜 시일이 걸리기도 한다. 그러나 의도 기반 스토리지 관리 기술을 적용하면, 그런 시간 낭비를 막고, 합리적이고 효율적인 스토리지 정책을 기할 수 있다는게 클라우드 전문가들의 권고다.

이같은 ‘의도 기반 스토리지’는 데이터의 배치, 소비, 원격 측정, 애널리틱스, 그리고 SDS 기술의 발전과 피드백을 통해 더욱 진화할 것으로 보인다.