‘흥미진진한 시대’에 산다는 것은 저주이자 축복이다. 잘못될 것을 두려워하는 사람들에게는 저주이지만, 자신감을 가지고 변화를 기대하는 사람들에게는 축복이다. 데이터 활용에 대해서도 마찬가지다.

후자에 속하기 위해서는 조직이 가격이나 비즈니스 모델, 배송 전략 또는 지리적 초점에 급격한 변화를 만들기 위해 사용 가능하고 관련된 모든 데이터를 적용할 수 있어야 한다.

문제는 (여전히) 데이터 관리

최근 클라우드 기술의 발전에도 불구하고, 조직은 여전히 실행 가능하고 고품질의 데이터를 일선 직원과 그들의 리더십에게 전달하는 데 어려움을 겪고 있다.

수신자의 언어로 충분히 빠르게 데이터에 대한 원활한 접근을 제공할 수 있는 능력이 없다면, 조직은 결정적인 변화에 참여할 자신감이 부족하다. 대신 그들은 두려움, 불확실성, 의심(FUD)을 경험할 수 있다. 

그들은 다음을 두려워한다.

⦁필요한 데이터에 접근하고 사용하는 데 너무 오래 걸린다.

⦁데이터를 받은 후에도 그것이 말하는 바를 이해할 수 없다.

⦁기본 데이터가 결함이 있어 AI 결과를 신뢰할 수 없다.

⦁개인정보 보호나 기타 규정을 준수하지 못할 것이다.

⦁데이터 프로젝트가 지연되고 비용이 초과된다.

수년간의 노력과 투자에도 불구하고 클라우드 현대화 프로젝트가 의도한 결과를 내지 못한다.

이러한 문제들은 데이터 관리가 과거에 머물러 있기 때문이다. 20년 이상 데이터 관리 솔루션은 여러 작은 시스템의 데이터를 단일 거대 시스템으로 중앙 집중화하는 전략에 의존해 왔다. 처음에는 단일 데이터 웨어하우스 저장소가 등장했고, 이어서 엔터프라이즈 데이터 웨어하우스가 나왔다. 이들은 다양한 클라우드 저장소, 데이터 레이크, 그리고 최근에는 데이터 레이크하우스로 대체되었다.

시간이 지남에 따라 모든 데이터를 이동하는 데 필요한 시간, 노력, 비용 때문에 최신 접근 방식조차도 실현 불가능해졌다. 이 전략은 또한 데이터를 이동해야만 얻을 수 있었기 때문에 실시간 접근을 방해했다.

마지막으로, 조직들은 데이터 이동을 제한하는 개인정보 보호 규정을 따라야 하기 때문에 중앙 저장소로 절대 이동할 수 없는 데이터가 항상 존재한다는 것을 알게 되었다. 조직들은 분산된 데이터를 관리하는 더 나은 방법이 필요하다는 것을 깨달았다.

논리적 접근 방식이 데이터 관리에 대한 두려움 해소

논리적 데이터 관리 솔루션은 앞으로 나아갈 길을 제시한다. 점점 더 큰 저장소로 점점 더 많은 양의 데이터를 물리적으로 이동하는 데 의존하는 대신, 논리적 데이터 관리는 서로 다른 데이터 소스에 직접적이고 실시간으로 연결할 수 있다. 이렇게 하면 사용자가 데이터를 먼저 이동시키지 않고도 접근할 수 있다.

논리적 데이터 관리 솔루션은 또한 조직이 서로 다른 데이터 소스 위에 시맨틱 계층을 구축하여 각 개별 데이터 소스에 내재된 의미에 관계없이 비즈니스 언어로 데이터를 전달할 수 있게 한다. 논리적 데이터 관리 솔루션은 복잡성, 높은 비용, 지연의 근본 원인을 제거한다. 결과적으로 조직은 데이터의 분산된 현실을 받아들이고 사용자의 조건에 맞춰 필요한 데이터를 제공할 수 있다.

논리적 데이터 관리 솔루션은 다음과 같은 방식으로 기존 데이터 관리에 대한 우려를 해소한다.

① 전체 조직의 데이터를 통합하여 모든 사용자가 이해할 수 있는 언어로 필요한 모든 데이터에 접근할 수 있게 한다. 효과적인 논리적 데이터 관리 플랫폼은 온프레미스 데이터베이스, 클라우드 시스템, 사물인터넷(IoT) 네트워크와 같은 다양한 데이터 소스에 연결할 수 있으며 고도로 구조화된 데이터, 완전히 비구조화된 데이터 또는 그 사이의 모든 유형의 데이터를 수용할 수 있다. 이러한 광범위한 지원으로 서로 다른 데이터 소스 위에 통합된 시맨틱 계층을 생성할 수 있다.

② AI가 신뢰할 수 있는 결과를 생성하는 데 필요한 모든 기업 데이터에 대한 통합되고 신뢰할 수 있으며 실시간으로 업데이트되는 뷰를 제공하여 AI 프로젝트를 가속화한다. 생성AI 기능을 지원하는 대규모 언어 모델(LLM)은 훈련과 튜닝을 위해 신뢰할 수 있는 데이터 소스에 의존한다. 생성AI의 일반적인 문제 중 하나는 제품, 고객 데이터베이스, 기타 조직 인텔리전스를 포함할 수 있는 호스트 조직의 ‘세계관’에 대해 종종 무지하다는 것이다.

③ 복잡한 규제 보고 프로젝트를 시작할 필요 없이 모든 필요한 데이터에 접근할 수 있게 하여 규정 준수 노력을 간소화한다. GDPR과 같은 규정은 여러 데이터베이스와 시스템에 걸친 보고서를 요구하며, 관련 정보가 호환되지 않는 형식으로 데이터 사일로에 저장되어 변환과 데이터 이동이 필요하다. 논리적 데이터 관리 솔루션은 관련 소스에 대한 접근을 가능하게 하고 필요한 변환을 자동화하여 본질적으로 조직이 수십 개의 까다로운 규정을 지속적으로 준수할 수 있도록 지원한다.

④ 필요한 모든 데이터에 접근하고 집계하는 데 필요한 시간과 노력을 줄여 BI 및 분석 프로젝트의 셀프 서비스를 강화하고 비용을 절감한다. 고급 논리적 데이터 관리 플랫폼은 조직 내에서 사용 가능한 데이터 자산을 나열하는 데이터 카탈로그를 제공하고 조직에서 직접 즉시 접근할 수 있도록 지원한다. 조직은 비즈니스 사용자에게 데이터를 활용하여 중요한 비즈니스 질문에 답하는 데 필요한 모든 기술을 제공할 수 있으며, IT 부서의 오랜 참여 과정 없이도 답변을 받을 수 있다.

⑤ 사용량 기반 비용 분석(FinOps라고도 함)을 통해 클라우드 지출의 미스터리를 해소한다. 데이터와 메타데이터에 실시간으로 접근할 수 있어 조직은 직접적인 방식으로 클라우드 사용량을 모니터링할 수 있다. 핀옵스 대시보드는 비용에 대한 실시간 보고서를 제공하고 회사가 정한 임계값에 연결된 경고를 설정한다. 논리적 데이터 관리 플랫폼이 없다면 조직은 클라우드 지출을 일종의 블랙박스로 취급해야 한다.

데이터 관리에 대한 논리적 접근 방식을 채택함으로써 데이터는 마침내 사일로에서 해방된다. 더 나아가 논리적 데이터 관리는 데이터 복잡성, 신뢰성, 지연과 관련된 두려움을 제거하여 조직의 모든 사람이 자신감을 가지고 목표를 달성할 수 있도록 한다.

*필자 앙헬 비나(Angel Viña)는 데이터 통합 ​​및 가상화 전문업체인 디노도(Denodo)의 CEO이자 창립자이다. 그는 마드리드 공과대학교에서 통신공학 박사 학위를 받았다.

(* 이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)