분석툴 복잡성도 과제…사일로 간 ‘협력’과 정교한 ‘데이터 쿼리’ 모색해야
데이터 환경 단순화로 ‘클라우드 간 분석’ 용이해야, 보안 정책도 중요
[애플경제 이보영 기자] 클라우드 시대엔 무엇보다 데이터의 원활한 유통과 효과적인 분석이 중요하다. 이는 클라우드를 통해 얻으려는 가장 중요한 목적이기도 하다. 특히 포브스가 최근 조사한 결과에서 드러나듯, 주요 국가들의 대기업의 90% 이상이 멀티클라우드를 운용하고 있는 현실에선 더욱 그 본연의 데이터 분석과 활용에 대한 기대가 높다. 그러나 현실적으로 이를 가로막는 가장 큰 장애물은 데이터 사일로 현상이다. 그렇다면 이를 극복하기 위해선 어떤 노력이 필요할까.
다양한 대안이 제시되고 있긴 하지만, 유력 기술매체와 국내외 전문가들 간에는 무엇보다 데이터 사일로를 제거하기 위한 데이터 쿼리 방법을 더욱 정확하게 하고, 일종의 파이프 라인을 통한 사일로 간의 통합과 함께 이를 수평적, 유기적으로 연결하는 ‘협력’ 관계를 모색하는게 중요하다는 의견이 지배적이다.
특히 대부분의 기업들이 멀티클라우드 아키텍처를 채용하고 있는 만큼, 이는 필수적인 과제로 꼽힌다. 멀티 클라우드 아키텍처에선 데이터가 여러 클라우드 프로바이더(벤더)에 분산되어 있다. 이러한 현실은 해당 기업과 그 데이터 팀이 풀어야 할 과제를 안겨주고 있다.
우선 데이터 사일로를 극복하는 것이다. 일종의 ‘칸막이’로 인해 데이터 유통 내지 접근이 가로막히는 현상을 해소해야 한다. 특히 멀티 클라우드에선 애플리케이션이 여러 클라우드에서 호스팅되고 이에 따라 각기 사일로화된 데이터가 급증할 수 밖에 없다. 데이터 센터 및 클라우드 경로 전반에 걸쳐 사일로가 만연하는 것이다. 필요한 데이터를 분석하려고 해도 하나의 일관된 인터페이스를 통해 조직 전체의 데이터를 표시, 접근하여 분석하기가 어렵다.
분석 툴의 복잡성도 극복해야 할 과제다. 즉 클라우드 플랫폼 벤더마다 제각기 고유한 분석 툴 세트를 제공하는게 문제다. 이러한 벤더 각자의 툴은 서로 일관성이 결여될 수 밖에 없고, 데이터 팀은 이를 효율적으로 분석하기도 어렵다. 다음으론 데이터 복제의 위험성이다. 즉, 클라우드 간에 대규모 데이터 세트를 이동하여 결합하고 창출할 경우 자칫 데이터 복제로 이어지는 경우가 많다. 특히 대규모로 데이터를 전송할 경우 비용이 많이 들고 보안의 위험성도 커진다.
이처럼 데이터 사일로를 해체하는 것이 최우선 과제이지만, 비용이나 보안, 거버넌스 등의 문제로 인해 벤더마다 분산되어 있는 데이터를 사용하는 것이 쉽지 않고 복잡하게 된다. 그렇다면 그 해결책은 무엇일까. 기업으로선 어떻게 하면 멀티 클라우드 환경에서 순조롭게 데이터의 힘을 활용할 수 있을까? 이에 대해 포브스나 가트너, 퓨처럼 리서치 등의 관련 전문가들이나 국내 클라우드 전문가들의 견해는 대체로 하나의 담론으로 수렴되고 있다. 즉 “데이터 사일로는 늘 기업 CIO의 긴급한 관심사임에도 그 볼륨과 복잡성은 계속 증가하고 있다. 멀티클라우드 아키텍처에 분산된 데이터의 가치를 활용하려면 기업은 그 가치를 추구하는 방식을 근본적으로 바꿔야 한다”는 것이다.
즉 멀티클라우드 시대에 걸맞은 발상의 전환이 필요하다는 주문이다. 모든 데이터가 한 곳에서 다른 곳으로 복사된 후 다시 원래 위치로 전송되는 대규모 데이터 파이프라인을 구축하여 사일로를 제거하는 종래의 방법론도 물론 바람직하다. 그러나 더 나아가서 아예 “사일로가 항상 존재한다”는 사실을 받아들여야 하다는 주장이다. 그런 전제 위에서 데이터 팀은 데이터 쿼리 방법을 더욱 정교하게 만들어야 한다는 것이다.
“즉, 기업은 데이터 사일로를 ‘통합’하려만 할게 아니라, 데이터 사일로 간의 ‘협력’을 추구해야 한다”거나, “단일 인터페이스를 통해 통합된 방식으로 모든 데이터를 볼 수 있도록, 서로 다른 데이터 사일로의 존재를 인정한 상태에서 이를 총체적으로 볼 수 있는 방법을 모색해야 한다”는 주문이다.
이에 따르면 결국은 이런 방식을 통해 데이터 환경을 단순화하는게 목표다. 사용자가 여러 클라우드 환경과 지역의 데이터를 쉽게 보고, 데이터가 상주하는 위치를 분석하여 고급 분석에 필요한 데이터만 이동할 수 있도록 지원하는 것이다. 즉 “클라우드 간(사이의) 분석”이라는 의미다. 그렇게 되면 단일 창을 통해 클라우드 전반에 걸쳐 데이터를 매끄럽게 접할 수 있고 결합 내지 분석할 수 있으므로 데이터 사일로와 관련된 문제를 최소화할 수 있게 되는 것이다.
역시 데이터 사일로 해소에 관한 분석 기사를 다룬 포브스도 이런 주장과 맥을 같이 하는 아티클을 통해 “단일 창과 클라우드 간 분석 접근 방식을 염두에 두고 이러한 전환을 수행하는 조직은 마이그레이션 완료 후 전략을 수정할 필요 없이 경쟁 우위를 확보할 수 있다”고 확언하기도 했다.
그렇데 되면 효과적인 클라우드 간 분석 전략의 기반을 제공할 수 있다. 즉 기업 내부나, 에지 및 퍼블릭 클라우드 전반에 걸쳐 핵심 인프라와 애플리케이션의 관리를 규모에 맞게 통합하는 멀티 클라우드 기반 툴을 구축할 수 있다. 또 지능형 데이터 패브릭을 구축하여 데이터 자산을 어디에 어떻게 저장하든 상관없이 조직 전체의 모든 데이터 자산을 검색하고 분석할 수 있다. 운영체제가 모든 사용자가 컴퓨터에 접근하기 쉽게 만든 만큼,데이터 패브릭은 모든 분석가가 엔터프라이즈 데이터 사일로를 쉽게 볼 수 있도록 한다.
다만 이런 경우 일관된 보안 정책을 적용하는 것도 중요하다. 데이터 사일로 간이 협력을 이끌어내는 과정에서 더 많은 데이터 자산이 생성됨에 따라 안전한 액세스를 보장하는게 쉽지 않을 수도 있다. 이에 보안 팀은 기밀 데이터에 대한 액세스를 제어하면서 분석가에게 권한을 부여하는 등 리스크 관리를 위한 노력을 기울여야 한다.
또한 단일 창을 통해 데이터를 표시 및 분석함으로써 클라우드 환경이나 지역에 관계없이 데이터를 표시 및 분석할 수 있는 단일 인터페이스를 제공할 수 있어야 한다. 그러면 여러 클라우드 간에, 즉 멀티 클라우드 환경에서 실행되는 인프라의 오버헤드를 줄일 뿐만 아니라, 데이터를 한 곳에서 다른 곳으로 이동 및 복제하는 데 따른 보안 위험을 줄일 수도 있다는게 전문가들의 조언이다.
이런 방식의 멀티 클라우드 환경에서의 데이터 분석은 해당 기업에게 다양한 이점을 제공해준다. 우선 단일 사용자 인터페이스를 통해 클라우드 전반에 걸쳐 데이터에 액세스하고 쿼리할 수 있는 일관된 환경을 제공해준다. 데이터 분석 전에 데이터 엔지니어링을 할 필요가 없거나 줄어들고, 동일하고 일관된 보안 제어를 활용하는 여러 클라우드 간의 애플리케이션을 구현하여 인프라 오버헤드와 보안 위험을 줄여준다. 또한 데이터 처리나 분석 시간을 대폭 단축하고, 이로 인해 액세스 속도를 높여준다.
구글 클라우드 블로그도 이에 대해 “데이터의 복잡성이 증가함에 따라 발생하는 여러 클라우드 관리 비용과 리스크도 증가하지만 서로 다른 소스 간에 통찰력을 수집할 수 있는 가치도 증가한다”고 효율적인 클라우드 간 협력적 분석의 장점을 강조했다. 포브스 또한 “앞으로 물류 및 공급망에서 소매, 제조, 여행, 미디어, 엔터테인먼트 등에 이르기까지 클라우드 간 분석의 활용 사례가 폭발적으로 증가할 것”이라며 “이러한 변화를 수용하고 클라우드 간 분석을 위해 현재 (협력적인 분석 툴을) 구축 중인 기업은 클라우드 시대의 이점을 가장 잘 활용할 수 있는 기업이 될 것”이라고 밝혔다.