전체메뉴

[애플경제 전윤미 기자] 데이터를 저장해두는 데이터 웨어하우스와 함께, 변화에 대처하기 위해 ICT와 관련된 각종 데이터를 수집ㆍ활용하는 ‘데이터 패브릭(data fabric)’의 개념이 새삼 강조되고 있다. 특히 이는 디지털트윈 기반의 스마트팩토리를 운용하는 기업에게 매우 중요한 요소로 떠오르고 있다.

실로 천을 짜듯, 다양한 데이터 수집, 설계

원론적으로 말하면, ‘데이터 패브릭’은 기업 경영과 관련된 안팎의 모든 데이터를 관리하고 기업 활동에 활용하기 위한 데이터 관리 설계 개념이다. 마치 실에 해당하는 다양한 데이터소스를 모아서, 이를 엮고 짜서 데이터 셋트와 같은 천을 만드는 것과 같은 의미다.

일본의 기술전문 매체 ‘닛케이텍’을 인용한 시장분석기관 IRS글로벌은 “필요할 것 같은 데이터를 전체적으로 수집하고 분석할 수 있는 시스템을 만드는 것”이라고 했다. 다시 말해 기업 경영에서 돌발적으로 펼쳐지는 상황마다, 기민하게 대처하기 위해 미리 수집해둔 데이터를 적극 응용해서 대처하기 위한 것이다.

그래서 “기업 업무 시스템에서 발생하는 정형 데이터나, IoT 등의 새로운 시스템에서 발생하는 비정형 데이터를 포함해, 거래처 데이터, 소비자의 스마트폰을 통해 얻을 수 있는 정보 등 각종 데이터를 활용할 수 있도록 하는 것을 목적으로 한다”는 것이다.

데이터 웨어하우스와는 ‘목적’부터 달라

그 개념을 좀더 명확히 하기 위해선 기업 내에 보편화된 데이터 웨어하우스와 비교해볼 필요가 있다.

IRS글로벌은 “데이터 웨어하우스와 데이터 패브릭 모두 기업에서 데이터를 활용하는 것을 목적으로 하지만, ‘특정한 목적을 가지고 준비되었는가’ 하는 점에서 그 차이가 있다.”고 구분했다.

이에 따르면 데이터 웨어하우스의 경우, 업무 시스템과 관련된 데이터를 정리하여 수집ㆍ축적하고, 필요에 따라 분석할 수 있는 환경을 목적으로 한다. 필요할 때 꺼내서 분석하기 위해 저장해두는 데이터 창고 개념이다.

여러 기업들은 이처럼 데이터를 활용하기 위해 데이터 웨어하우스에 데이터를 축적하고 있다.

데이터 웨어하우스의 경우, 애초 구축할 때부터 마케팅 분석용, 또는 경영 목표 달성 등과 같이 목적을 명확히 한다.

그러나 데이터 패브릭의 경우, 특정한 사업 부문이나 업무에만 초점을 맞춘 형태로 활용하기 위한 것이 아니다. 그 보단 그때 그때 발생하는 기업 안팎의 상황에 맞게, 다양하고 폭넓은 문제에 대응할 수 있도록 다양한 데이터 소스를 관리하는 것이다.

즉 “특정한 업무나 과제만을 위한 것이 아니라, 어떤 업무와 과제에 대해서도 데이터를 활용할 수 있도록 하는 것을 목적으로 한다”는 것이다.

이는 납기 지연이나, 부품 조달 문제, 물류나 운송, 혹은 공정상의 문제나 생산 차질 등 다양한 문제가 그 대상이 될 수 있다. “각기 다른 사안마다 실시간으로 그 원인을 알기 위해, 필요할 것 같은 데이터를 전체적으로 수집하고 분석할 수 있는 시스템을 만드는 것이 데이터 패브릭의 목적”이란 설명이다.

“정확한 데이터 패브릭엔 메타데이터가 중요”

여기서 ‘닛케이텍’과 IRS글로벌이 또한 강조하는 것이 ‘메타데이터’다. 이는 말 그대로 데이터를 설명하기 위한 데이터다. 즉 “메타데이터를 만들려면 데이터 소스가 되는 데이터베이스에 대해 ‘어떤 테이블에 어떤 데이터가 존재하는지’와 같은 정보를 수집하여 등록해야 한다.”면서 “그에 더해 NoSQL의 그래프 데이터베이스를 이용하여 메타데이터 간의 관계를 관리해야 한다.”고 조언했다.

NoSQL은 데이터베이스는 분산 환경에서 단순 검색 및 추가 작업을 위한 키 값을 최적화할 수 있어 지연과 처리율이 우수하다. 다양한 환경에 적용할 수 있도록 비정형 데이터를 포함한 빅데이터를 효율적으로 처리할 수 있는 것이다.

상황이 발생하면 데이터 패브릭을 어떻게 가동하는가도 중요하다. 데이터를 활용하거나 분석하고자 하는 경우에는, 그때마다 적절한 데이터 소스에서 필요한 데이터를 수집하게 된다. 그때 ‘메타데이터’나 데이터 간의 관계성을 포함하고 있는 그래프 데이터베이스 내의 정보를 바탕으로 데이터를 수집한다.

따라서 “데이터 패브릭을 실현하려면 메타데이터를 최신 상태로 유지해야 한다”는 얘기다. 데이터베이스가 최근의 내용으로 변경된 경우에는 반드시 변경 사항을 반영해야 하며, 그렇지 않으면 올바른 데이터 소스에 접속할 수 없기 때문이다.

이때 “메타데이터 작성 및 갱신은 AI(인공지능) 등을 이용하여 자동화하고, 데이터 간 관계성을 발견하는 데 있어서는 사람의 수작업도 필요하다”는 의견이다.

전문가들 ‘패브릭 구성요소’에도 주목

메타데이터에 더하여 데이터 패브릭을 실현하려면, 데이터 패브릭을 구성하는 요소를 특정하는 것이 아니라 재구성하거나 새로운 요소를 추가하기 쉽도록 설계해야 한다.

전문가들은 이같은 데이터 패브릭의 구성요소에도 주목하고 있다. 데이터를 필요할 때마다 꺼내쓰기 위해선 이를 저장하는 데이터베이스나 데이터 웨어하우스가 있어야 한다.

또 데이터를 수집하고, 추출, 변환, 기록하는 SW, 다양한 사안에 대해 데이터를 활용을 할 수 있도록 하는 SW, 그리고 그 결과를 분석하는 SW 등이 기본이다.

IRS글로벌은 “그러나 실제 환경에서 데이터 패브릭을 실현하는 것은 쉬운 일이 아니다.”면서 “거래처나 소비자의 폭넓은 데이터 소스를 수집하기 위한 합의를 얻어야 하며, 메타데이터를 관리하고 갱신하는 체제를 만들고, 데이터 분석 전문가가 아닌 사람도 활용할 수 있는 환경을 마련하는 등 다양한 준비를 해야 한다.”고 조언했다.