전 세계 데이터 관리 시장은 다양한 분석 엔진과 AI 워크로드가 공존하며, 상호운용성과 비용 효율성을 동시에 요구받고 있다. 기업들은 데이터 중복 저장과 복잡한 최적화 과정을 줄이면서도, 빠르고 안전한 데이터 활용을 통해 경쟁 우위를 확보하는 기술을 필요로 하고 있다.

글로벌 데이터 플랫폼 기업 클라우데라(Cloudera, 지사장 최승철)가 클라우데라 아이스버그 REST 카탈로그(Cloudera Iceberg REST Catalog)와 클라우데라 레이크하우스 옵티마이저(Cloudera Lakehouse Optimizer) 업데이트를 발표했다고 29일 밝혔다.

이번 업데이트를 통해 아이스버그 REST 카탈로그는 데이터를 원활하게 공유하는 제로 카피 데이터 공유로 개방형 상호운용성을 제공하고, 레이크하우스 옵티마이저는 클라우데라 통합 거버넌스·보안 체계 아래에서 모든 엔진이 항상 최적화된 데이터를 비용 효율적으로 접근할 수 있도록 지원한다.

총소유비용(TCO) 절감과 가치 실현 시간 단축

클라우데라는 데이터 라이프사이클 전반을 아우르는 플랫폼에 아이스버그 REST 카탈로그를 통합한 기업이다. 이는 퍼블릭 클라우드, 데이터센터, 에지 전반에서 복제나 이동 없이 서드파티 엔진이 클라우데라가 관리하는 데이터를 직접 접근할 수 있으며, 통합 정책 집행과 메타 데이터 인텔리전스를 보장한다.

클라우데라는 실시간 수집부터 대규모 처리, AI·BI 소비까지 전 영역에 대해 보안·거버넌스·상호운용성을 일관되게 제공한다. REST 기반 접근 방식은 아이스버그 역량을 확장해 기업이 통제·가시성·컴플라이언스를 유지한 채 데이터 전략을 미래 지향적으로 설계할 수 있다.

아이스버그를 사용하는 모든 클라우데라 고객은 생태계 전반에 걸쳐 제로 카피 상호운용성을 누릴 수 있다. 고객은 스노우플레이크(Snowflake), 데이터브릭스(Databricks), AWS 아테나(AWS Athena), AWS EMR, 세일즈포스(Salesforce) 등 주요 데이터 분석 및 AI 엔진에 연결하고, 완전한 ACID 규정 준수와 통합 접근 정책을 유지할 수 있다.

또한, 클라우데라의 SDX(Shared Data Experience)를 통해 서드파티 도구에도 정교한 접근 제어, 데이터 계보, 감사 기능을 확장해 안전한 데이터 민주화와 대규모 컴플라이언스를 지원한다.

고객은 개방형 메타데이터 접근으로 전용 카탈로그에 얽매이지 않고 데이터 자산을 즉시 탐색할 수 있어, 일관된 데이터 소스를 통한 AI 개발과 BI를 가속한다. 내부 고객 사례에 따르면, 데이터 스토리지 비용을 최대 79%까지 절감하면서, 부서의 데이터 가시성도 향상됐다. 한 글로벌 위성 기업은 이러한 절감 효과와 AI 데이터 파이프라인 강화를 동시에 달성했다.

쿼리 성능 향상과 스토리지 비용 절감

클라우데라 레이크하우스 옵티마이저는 클라우데라 레이크하우스 내 아파치 아이스버그 테이블을 위한 지능형 자동 최적화·테이블 관리 서비스다. 기본 유지보수를 넘어 매니페스트 파일 및 위치 기반 삭제 파일 재작성 등 고급 최적화를 제공해, 반복적 수작업과 운영 비용을 제거하고 데이터에서 인사이트를 뽑아내는 데 집중할 수 있게 한다.

이는 퍼블릭 클라우드 전반에서 어떤 아이스버그 호환 엔진과도 함께 사용할 수 있는 개방형 솔루션으로, 고유한 UI를 통해 정책을 테이블 단위 또는 카탈로그 단위로 세밀하게 정의 모든 아이스버그 호환 엔진에 적용할 수 있으며, 세분화된 정책 정의·수정하는 관측 가능성·통제성을 제공한다.

이 서비스는 온프레미스에서도 제공될 예정이며, 내부 벤치마크 기준으로 쿼리 성능 최대 13배 향상, 스토리지 비용 36% 절감을 확인했다.

클라우데라 레오 브루닉(Leo Bunnick) 최고제품책임자(CPO)는 “이번 발표로 클라우데라는 고객의 니즈가 높은 시점과 장소에서 유연성, 확장성, 온전한 인사이트를 확보할 수 있도록 지원한다.”라고 말했다.