AI 데이터 클라우드 기업 스노우플레이크(Snowflake)는 미국 샌프란시스코에서 열리고 있는 ‘스노우플레이크 서밋 2024’에서 ‘폴라리스 카탈로그(Polaris Catalog)’를 4일 공개했다.

폴라리스 카탈로그는 개방형 데이터 카탈로그 서비스로, 데이터 레이크하우스, 데이터 레이크 및 기타 모던 아키텍처를 구현하는 데 주로 사용되는 오픈소스 데이터 테이블 포맷인 아파치 아이스버그(Apache Iceberg)를 지원한다. AWS, 컨플루언트, 드레미오, 구글 클라우드, 마이크로소프트 애저, 세일즈포스와 같은 주요 클라우드 서비스 플랫폼과 상호 호환된다.

폴라리스 카탈로그, 새로운 수준의 상호 운용성으로 아파치 아이스버그 지원

아파치 아이스버그는 2020년 5월 아파치 소프트웨어 재단(Apache Software Foundation)의 최상위 프로젝트로 승인된 대규모 분석 데이터 테이블 관리 오픈 소스 플랫폼이다. 클라우드 환경에서의 데이터 레이크 운영을 최적화하며, 스키마 진화, 파티셔닝, 데이터 일관성, 메타데이터 관리, 타임 트래블 기능을 제공한다. 

사용자는 아이스버그의 오픈소스 REST 프로토콜을 기반으로 하는 폴라리스 카탈로그를 이용해 중앙화된 서비스에서 보안과 개방된 상호 운용성을 보장 받으며, 아파치 플링크, 아파치 스파크, 드레미오, 파이썬 등 아이스버그 REST API를 지원하는 엔진의 데이터를 액세스하고 검색할 수 있다.

기업들은 스노우플레이크의 AI 데이터 클라우드 내에서 폴라리스 카탈로그를 실행할 수 있으며, 도커나 쿠버네티스와 같은 컨테이너를 사용해 자체 인프라에서 직접 호스팅 할 수도 있다. 또한 백엔드 구현을 오픈소스로 제공해 보안은 유지하면서 호스팅 인프라를 교체하고 특정 공급자에 종속되는 것을 방지할 수 있다.

폴라리스 카탈로그 커뮤니티를 확장하는 기업들

아파치 아이스버그는 커뮤니티 구성원들이 활발하게 도입하고 상업적 서비스로 활용하면서 빠른 속도로 발전하고 있다. 스노우플레이크는 폴라리스 카탈로그가 커뮤니티를 확장하고 높아지는 사용자 기대치를 충족하기 위해 아이스버그 생태계와 협력해 나가고 있다.

스노우플레이크의 커뮤니티 지원은 마이크로소프트와 확장한 파트너십과도 관련이 있다. 양사는 아파치 아이스버그와 아파치 파켓을 지원해 스노우플레이크와 패브릭 간 상호 운용성이 원활해졌다. 그 결과로 폴라리스 카탈로그로 데이터의 저장 위치에 관계없이 모든 사용자가 엔터프라이즈 데이터를 활용해 AI 기반 애플리케이션을 생성할 수 있도록 협력할 예정이다.

공개된 서비스는 특정 공급자가 제품을 임의로 통제할 수 없는 벤더 중립으로 향후 90일 이내에 오픈소스로 공개될 예정이다.

크리스티안 클레이너만(Christian Kleinerman) 스노우플레이크 제품 담당 수석부사장은 “조직이 원하는 쿼리 엔진은 특정 공급자에 종속되지 않는 개방형 스토리지와 상호 운용성이다.” 라며, “스노우플레이크는 고객과 더 많은 아이스버그 커뮤니티 사용자들이 개방적이고 민주화된 접근 방식으로 데이터를 활용하도록 하고, 여러 엔진 간 상호 운용성을 높이기 위해 노력할 것”이라고 말했다.