데이터 기반 의사결정의 중요성이 커짐에 따라, 기업들은 기술 사용자뿐 아니라 비즈니스 사용자가 신뢰할 수 있는 데이터에 쉽게 접근하고 활용할 수 있는 환경 구축에 집중하고 있다. 그러나 대부분의 데이터 플랫폼은 기술 중심의 설계로 인해, 현업 사용자들이 실시간 지표 확인이나 데이터 활용에 어려움을 겪고 있으며, 엔지니어 의존도가 높은 구조에서 벗어나지 못하고 있다. 여전히 폐쇄적이고 단절된 구조의 BI 시스템은 기업의 의사결정 속도 저하와 데이터 사일로 문제를 야기하고 있다.

글로벌 데이터 및 생성AI 플랫폼 기업 데이터브릭스(Databricks)가 유니티 카탈로그(Unity Catalog)의 기능을 강화했다고 23일 밝혔다. 

이번 업데이트에는 퍼블릭 프리뷰 형태로 아파치 아이스버그의 전면 지원, 비즈니스 지표 정의 기능인 매트릭스(Metrics), 큐레이션 기반 마켓플레이스 디스커버(Discover) 등이 포함됐다.

아파치 아이스버그 테이블 완전 지원

유니티 카탈로그는 아파치 아이스버그 REST 카탈로그 API를 기본 지원해, 외부 엔진에서도 아이스버그 테이블을 생성하고 읽고 쓸 수 있다. 이 테이블은 데이터브릭스 내부뿐 아니라 트리노(Trino), 스노우플레이크(Snowflake), 아마존 EMR(Amazon EMR) 등 다양한 엔진에서 통합 거버넌스 정책을 적용할 수 있다. 이 기능은 AI 기반의 예측 최적화를 통해 고성능을 유지하면서 비용 효율성을 제공한다.

또한 유니티 카탈로그는 레이크하우스 페더레이션(Lakehouse Federation) 기능을 통해 외부 카탈로그의 아이스버그 테이블을 네이티브처럼 탐색하고 통합 관리할 수 있도록 하며, 델타셰어링(Delta Sharing) 프로토콜과 통합해 조직 간 안전한 데이터 공유도 가능하다. 

BI 지표를 데이터 자산화

기존 BI 도구에서 따로 관리되던 비즈니스 지표와 KPI를 데이터 플랫폼 내에서 직접 관리할 수 있도록 하는 매트릭스 기능이 추가됐다. 유니티 카탈로그 매트릭스는 SQL 기반으로 지표를 정의하고 접근할 수 있어, 도구에 상관없이 동일한 지표 기준을 유지할 수 있도록 한다. 이를 통해 조직 내 모든 사용자는 지표의 의미를 일관되게 해석하고, 데이터 기반 의사결정을 더욱 신속하게 수행할 수 있다. 이 기능은 현재 퍼블릭 프리뷰 중이며 여름 중 정식 출시될 예정이다.

유니티 카탈로그 디스커버는 영업, 마케팅, 재무 등 도메인별로 정리된 내부 마켓플레이스를 제공해, 비즈니스 사용자가 자산을 스스로 탐색하고 활용할 수 있다. 각 데이터 자산에는 문서, 태그, 사용 이력 등 메타데이터가 함께 제공되며, AI 추천 및 데이터 관리자 큐레이션 기능을 통해 지표, 대시보드, AI 에이전트 등 다양한 자산을 직관적으로 탐색할 수 있다. 엔지니어의 개입 없이도 신뢰 가능한 셀프 서브 방식으로 데이터를 활용할 수 있어, 비즈니스 사용자 중심의 데이터 민주화를 실현한다. 디스커버는 현재 프라이빗 프리뷰 단계에 있다.

데이터브릭스 어시스턴트 통한 스마트한 데이터 탐색

유니티 카탈로그에는 자연어 기반 탐색 기능도 강화됐다. 데이터브릭스 어시스턴트(Databricks Assistant)를 통해 사용자는 자연어로 질문을 입력하면 정책 기반 지표와 데이터 신뢰도 정보를 기반으로 한 맥락 있는 응답을 받을 수 있다. 이 외에도 유니티 카탈로그는 데이터 품질 신호, 인증 상태, 사용 패턴 등의 인텔리전스를 사용자 인터페이스 전반에 반영해, 신뢰도 높은 자산을 빠르게 식별하고 활용할 수 있다.

데이터브릭스 마테이 자하리아(Matei Zaharia) 공동창립자 겸 CTO는 “이번 업데이트로 어떤 테이블 형식을 선택하든, 이를 최적화된 상태로 접근 가능하게 하고 거버넌스도 가능하도록 한다.”라며 “이번 발표의 핵심은 비즈니스 사용자의 데이터 활용 능력을 높이고, 데이터와 AI를 보편화된 방식으로 사용할 수 있도록 지원하는 것”이라고 말했다.