데이터는 비즈니스의 가장 강력한 자산이다. 데이터는 정보에 기반한 의사결정을 유도하고, 경쟁 우위를 제공하며, 혁신의 기회를 발견할 수 있게 한다. 2022년 연구에 따르면 80%의 기업이 실시간 데이터 분석에 힘입어 매출 증대 효과를 봤고, 98%는 데이터 활용으로 긍정적인 고객 정서가 확대됐다고 보고했다. 그러나 데이터 자원이 지닌 힘을 완전히 활용하기 위해서는 기업들은 데이터의 위치에 관계없이 모든 엔터프라이즈 데이터를 저장, 관리, 통제할 수 있는 단일 통합 데이터 소스가 필요하다.

하이브리드 데이터 플랫폼 제공 기업 클라우데라(Cloudera)가 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)와 통합해 기업들에게 아파치 아이스버그(Apache Iceberg) 기반 하이브리드 데이터 레이크하우스(Data Lakehouse)를 제공한다고 11일 밝혔다.

기업들은 데이터 수집, 처리, 소비 과정에 필요한 모든 데이터, 애널리틱스, AI 워크로드에서 신뢰할 수 있는 단일 소스활용이 가능해졌다.

데이터 레이크하우스는 상호 운용성을 위한 개방형 테이블 형식을 제공하는 아파치 아이스버그 등을 이용해 기업 데이터의 방대한 양의 정형 및 비정형 데이터를 논리적 테이블 수준으로 변환해 관리한다.

이번 통합으로 두 시스템 간의 상호 운용성이 개선된다. 클라우데라의 데이터 레이크하우스 상호운용성을 스노우플레이크까지 확장하여 데이터 수집, 준비 및 처리할 수 있는 아파치 아이스버그 REST 카탈로그를 통해 데이터 레이크하우스에 원활하게 액세스할 수 있다. 동시에 클라우데라의 Ozone에 저장된 데이터를 스노우플레이크에서 직접 쿼리 처리할 수 있게 됐다. 또한 데이터 복제나 전송 없이도 스노우플레이크의 엔진이 클라우데라의 오픈 데이터 레이크하우스의 데이터에 액세스가 가능해 복잡성을 줄이고, 운영을 간소화할 수 있다.

이번 협업의 추가적인 이점은 ▲ 데이터 성능과 안정성을 향상시켜 더 나은 구성, 더 빠른 쿼리 및 간소화된 데이터 관리 ▲  AI와 비즈니스 인텔리전스 워크로드의 원활한 관리 ▲  단일 플랫폼 내에서 일관된 보안 조치를 적용 및 데이터의 출처와 이동을 추적, 관리 등이 있다.

클라우데라의 전략부문 최고책임자인 압하스 리키(Abhas Ricky)는 “이번 확장으로 고객들이 데이터 워크플로를 최적화할 뿐만 아니라 혁신, 효율성, 성장을 위한 새로운 기회를 포착할 수 있도록 지원하고 있다.”라며 “고객은 데이터 아키텍처 간소화와 데이터 파이프라인의 최소화, 데이터 자산의 총소유비용 절감 효과 뿐만 아니라 보안 리스크도 줄일 수 있다.”고 말했다.

스노우플레이크의 기술 제휴 책임자인 타릭 드윅(Tarik Dwiek)은 “아파치 아이스버그는 데이터에 대한 개방형 표준을 원하는 고객들에게 최고의 선택이며, 클라우데라는 아이스버그 프로젝트의 핵심적인 역할을 담당해왔다.”라며 “양사의 파트너십은 아이스버그 테이블을 표준화하기로 선택한 고객들에게 더 많은 가능성을 제공한다. 사일로를 허물고 모든 고객에게 다기능 분석 기능을 갖춘 통합된 하이브리드 데이터 클라우드 환경을 제공하게 됐다.”고 말했다.