기업들이 AI 분석과 실시간 데이터 기반 의사결정을 가속화함에 따라 기존 데이터웨어하우스의 높은 비용과 경직성은 한계에 직면하고 있다. 이에 따라 유연하고 확장 가능한 데이터 아키텍처에 대한 수요가 급증하고 있으며, 특히 온프레미스와 클라우드 환경 전반의 데이터를 효율적으로 통합하고 분석할 수 있는 레이크하우스 솔루션이 대안으로 부상하고 있다. 

데이터 통합 및 거버넌스 솔루션 기업 클릭(Qlik)이 완전 관리형 아파치 아이스버그 솔루션 ‘클릭 오픈 레이크하우스(Qlik Open Lakehouse)’를 발표했다. 이 솔루션은 클릭 탈렌드 클라우드(Qlik Talend Cloud)에 통합되어 실시간 확장성, 자동화된 최적화, 엔진 간 데이터 접근성을 제공한다. 

개방형 설계와 자동 최적화 기능

클릭 오픈 레이크하우스는 다양한 클라우드 소스에서 초당 수백만 건의 레코드를 수집할 수 있으며, 별도 튜닝 없이 자동으로 압축, 클러스터링, 프루닝을 수행한다. 스노우플레이크(Snowflake), 아마존 아테나(Amazon Athena), 아파치 스파크(Apache Spark), 트리노 세이지 메이커(Trino, SageMaker) 등 다양한 분석 엔진과 호환되며, 플랫폼 재설계나 데이터 복제 없이 동일한 데이터를 실시간 공유할 수 있다. 또한 BYOC 방식으로 AWS VPC에서 직접 실행돼 데이터 제어권과 보안을 강화한다.

클릭 CEO 마이크 카포네는 “현대 데이터 아키텍처에서는 성능과 비용이 상충하지 않아야 한다. 오픈 레이크하우스는 실시간 확장성과 도구 선택의 자유를 동시에 제공해, 기업이 AI 및 분석 요구에 맞춰 유연하게 대응할 수 있도록 설계됐다.”고 밝혔다.

ISG의 분석 책임자 맷 애슬렛도 “아이스버그와 같은 개방형 표준을 바탕으로 한 클릭의 전략은 실시간 액세스와 다중 엔진 상호 운용성을 가능하게 해, AI 분석에서 데이터를 최대한 활용하려는 기업에 적합하다”고 평가했다.

토요타 모터 유럽의 데이터 도메인 아키텍트 데이비드 나바로는 “오픈 레이크하우스는 대규모 기업이 사업부나 파트너 간 상호 운용성을 확보하는 데 매우 중요하다. 공급업체 종속성을 피하면서도 다양한 환경에서 성능과 제어력을 제공하려는 클릭의 접근은 업계가 필요로 하는 방향”이라고 말했다. 실제로 클릭은 패칭이나 핸드오프 없이 수집·변환·거버넌스·데이터 품질·핀옵스까지 포함하는 단일 플랫폼을 통해 엔드 투 엔드 경험을 제공한다.