전세계적으로 데이터에 대한 관심이 폭증하면서 관련 산업이 지속적으로 확대되고 있고 여기에 다양한 AI 신기술 인센티브는 성장세를 더욱 가속시키고 있다.

업계를 선도하고 있는 데이터 레이크하우스(Lakehouse) 기업 데이터브릭스(Databricks)가 29일 서울 인터컨티넨탈 파르나스 호텔에서 기자간담회를 열고 데이터브릭스의 솔루션 소개와 아울러 올해 한국 시장에서의 비즈니스 전략을 발표했다.

이 자리에서 데이터브릭스의 올해 비즈니스 전략과 도입사례, 기업 데이터 전략을 위한 레이크 하우스 솔루션을 소개한 장정욱 지사장을 만나봤다. 

▶ 데이터브릭스는 어떤 회사인가

데이터브릭스는 2013년에 설립된 데이터 레이크하우스 분야를 개척한 기업이다. 데이터 레이크하우스는 데이터 레이크의 유연성, 비용 효율성 및 확장성을 데이터 웨어하우스의 데이터 관리 기능과 결합하여 모든 데이터에 대한 엔지니어링, 비즈니스 인텔리전스(BI) 및 AI와 ML(머신러닝)을 모두 지원하는 개방형 통합 데이터 플랫폼이다.

글로벌로는 9천개 이상의 회사가 레이크하우스를 활용하고 있는 데이터브릭스의 성장세는 가파르다. 지난 해 글로벌 80% 성장했으며 아태지역은 90%에 이르렀다. 국내도 지난 한 해 지난 4월에 지사가 비즈를 시작한 이후로 직원 규모도 2배 이상 성장했다.

▶ 데이터 시장 성장 배경과 현황은

클라우드 성장을 기반으로 하는 AI와 빅데이터의 성장을 꼽을 수 있다. 기존에는 AI가 IT나 금융 분야 등 특정 분야에 활용되었던 반면 최근에는 다양한 산업에서 조직과 부문에서 데이터와 AI를 기반으로 한 계획이 실행되면서 확산되고 있다.

이러한 확산은 기술적 측면 뿐만 아니라 조직의 프로세스적인 부분과 인력적인 준비에 따라서 달라진다. 중요한 것은 경험을 통해 개선이 되고 있으며, 최근에는 데이터를 제품으로 보고 있고, IT 조직 외에도 비즈니스 조직들이 데이터 오너십을 갖고 이를 최대한 활용성을 높여가는 데이터베이스를 통해 다양한 데이터 개념이 시장에 나오고 있다.

▶ 기업들이 고민하고 있는 데이터 전략은

우선 기술적인 혁신 뿐만 아니라 비즈니스의 결과를 만들어낼 수 있는 데이터와 머신러닝 모델을 만들어내는 것이 굉장히 중요하다. 기업들이 실제 성과와 연결된 AI 머신러닝이 어떻게 될 수 있는지, 그것을 위한 투자의 우선순위를 어떻게 잡아야 될지에 대한 많은 고민하고 있는 것 같다.

그리고 AI의 정확성 확보를 위해 데이터의 품질과 신뢰를 향상시키는 것도 중요하다. 이를 위해서는 전체 관리 체계, 보안의 부분 통제 부분까지 포함한 여러 가지 소스까지를 아우르는 전략도 고민하고 있다.

또한 데이터가 폭증하고 있기 때문에 데이터 프로세스의 속도를 확보하는 부분, 양질의 데이터를 어떻게 AI 모델에 공급하고 데이터의 개보에 대한 가시성 부분도 중요하다. 즉 데이터가 어떻게 흘러들어왔고 누가 사용하고 있고 어떻게 공유되고 있는지 직접적으로 관리하고 가시성 있게 볼 수 있는 부분도 중요한 화두이다. 기업 내의 데이터뿐만 아니라 기업 내부적으로 데이터를 공유하고 통합해가는 과정에 있어서 필요한 여러 기술적인 요소들이 데이터 전략을 만들어가는 데 핵심 화두이다. 

▶ 데이터브릭스의 데이터 중심 전략은

최근에는 데이터 레이크를 기반으로 한 기술 스택들이 점점 통합돼 가는 추세다. 클라우드 기반으로 모든 데이터가 수집되고 관리되고 활용이 되고 있으며, 데이터브릭스는 데이터와 분석과 AI를 통합한 하나의 개방형이며, 통합된 아키텍처 기반의 플랫폼을 제공하고 있다.

데이터브릭스는 배치 또는 스트리밍 형태로 수집되는 대량의 정형 및 비정형 데이터를 처리하기 위한 기존의 복잡한 아키텍처를 단순화시킨다. 또한, 오픈 소스 및 개방형 표준을 기반으로 구축되어 벤더에 종속되는 위험요소를 피하고 유연성을 확보할 수 있다. 더불어, 데이터브릭스는 BI 애널리스트와 AI/ML을 다루는 데이터 사이언티스트들이 통합된 거버넌스 프레임워크에서 데이터 액세스를 관리할 수 있도록 지원할 뿐 아니라, 데이터 엔지니어들이 통합된 환경을 통해 업무 효율을 향상시키도록 돕는다.

데이터 중심 기업은 데이터와 AI를 기업의 모든 영역에서 활용해서 개혁과 실행해 간다는 의미이다. 기업은 데이터 사일로에서 데이터 중심의 단계로 변화하고 있으며 이 과정에서 데이터 전이에서 여러 문제점이 발생한다. 데이터 중심 단계로 갈 수 있는 방법의 해결책이 레이크하우스이다.

▶ 고객 사례가 있다면

전 세계 수많은 데이터 선도 기업들은 이미 레이크하우스 플랫폼을 통해 데이터의 가치를 극대화하고, AI를 적용해 비즈니스 운영을 최적화해 혁신을 추진하고 있다. 국내에서는 아모레퍼시픽, 무신사, 데브시스터즈, G마켓, 핀다, 이마트24, 디지털 마케팅 솔루션 기업 메조미디어 등 유수의 기업들이 레이크하우스 플랫폼을 통해 혁신과 비용 최적화를 실현하고 있다.

아모레퍼시픽은 레이크하우스를 기반으로 구축된 글로벌 데이터 뷰티 플랫폼으로 거듭나기 위해 조직 내 데이터 사일로를 없애고, 수집되는 데이터의 양과 복잡성이 증가하는 가운데서도 비용을 최적화할 수 있는 통합 데이터 플랫폼을 도입했다.

무신사는 데이터 기반 의사결정을 위해 도입해 데이터 전문가부터 데이터 기술이 없는 사용자에 이르기까지 조직 전체가 데이터 기반의 의사결정을 내릴 수 있는 환경을 마련했다. 데이터 접근성을 바탕으로 무신사의 온라인 쇼핑 경험을 재정의할 수 있게 됐다.

G마켓은 데이터브릭스의 솔루션만이 가진 강력한 성능과 비용 효율성으로 도입했다. 데이터브릭스 레이크하우스는 확장 가능하고 통합된 클라우드 데이터 아키텍처로, 나날이 증가하는 빅 데이터 요구사항을 충족하는 동시에 총소유비용(TCO)은 낮춰주는 합리적인 솔루션으로 활용되고 있다.

핀다는 분산된 데이터 분석 환경과 도구를 일원화하여 개인정보 관리 및 데이터 통합 가시성을 위한 데이터의 거버넌스를 확보할 수 있게 됐다. 뿐만 아니라, 데이터 레이크와 데이터 웨어하우스 간에 중복된 인프라나 데이터를 제거해 비용 효율적인 데이터 및 분석 환경에서 운영 효율성을 개선하고 있다.

▶ 올해의 비즈니스 전략은

2023년에는 더 많은 조직들이 데이터 사일로와 비효율성을 제거하고 데이터와 차세대 AI 기술이 지닌 잠재력을 최대한 발현할 수 있는 통합 데이터 플랫폼으로 전환하게 될 것이다.

올해는 우선 레이크하우스 비전을 시장에 확립하는 것이다. 차별화된 개방적이고 통합된 환경으로 고객에 제시할 수 있는 가치를 고객들이 인식하고 고객들의 목표를 달성할 수 있게 지원하겠다.

그리고 이를 위해 역량을 강화하고 특히 채용 강화와 교육에 투자를 확대해갈 계획이다. 확장성 있는 비즈니스 성장을 위해 클루커스, 메가존클라우드, LG CNS, 데이터다이나믹스, 엠클라우드브리지, 한화시스템 등 한국 내 데이터브릭스 전략적 파트너들과 함께 레이크하우스 플랫폼의 비전을 실현해가겠다. 이와 함께 사용자 커뮤니티도 지원해 갈 것이다.

전체 비즈니스 사업 관점에서 볼 때는 엔터프라이즈 군과 디지털 네이티브 군에도 여러 세그먼트들이 존재한다. 각각의 군에서의 산업별 이해와 접근을 통해서 각각의 세그먼트별 성장 그리고 그 세그먼트 내에서 데이터브릭스 레이크하우스의 인지도를 향상시킬 수 있는 방법을 찾아가겠다.

가장 시장에서 신뢰할 수 있는 데이터 플랫폼으로 많은 고객의 실제적인 레퍼런스를 확보하고 그리고 고객 내 체표들과 관계를 확대해 가는 것이 올 한 해 그리고 앞으로도 데이터브릭스 코리아의 비즈니스 핵심 전략이며 지속적으로 투자해 갈 것이다.