일반적인 조직은 단일 목적을 가진 여러 개의 솔루션에 의존하기에 플랫폼 간, 그리고 데이터 및 AI 자산 간 사일로가 발생하기 마련이다. 따라서 다중 테이블 형식의 테이블 데이터, 비정형 데이터, ML 모델, 벡터 인덱스 및 AI 도구를 결합하는 현대적인 데이터 및 AI 애플리케이션을 구축하는 데 한계가 있었다.

고객은 메타데이터 사일로를 관리하기 위해 복잡한 웹을 만들고, 다양한 엔진에 접근하기 위해 데이터를 여러 장소나 형식으로 복사하거나, 카탈로그 간의 메타데이터를 동기화하기 위해 자체 솔루션을 유지해야 했다. 결과적으로 비용과 복잡성이 증가하고, 거버넌스가 약화됐으며, 접근 제어가 파편화됐다. 조직은 데이터 및 AI 워크로드 처리를 위해 상호 운용 가능한 카탈로그가 필요하다.

글로벌 데이터 및 AI 기업 데이터브릭스(Databricks)가 클라우드, 데이터 형식 및 데이터 플랫폼 전반의 데이터 및 AI 거버넌스를 위한 통합 솔루션인 유니티 카탈로그(Unity Catalog)를 오픈소스로 제공한다고 발표했다.

데이터브릭스 유니티 카탈로그 OSS는 모든 데이터 형식과 컴퓨팅 엔진을 지원하는 범용 인터페이스를 제공한다. 여기에는 델타 레이크(Delta Lake), 아파치 아이스버그(Apache Iceberg) 및 아파치 후디(Apache Hudi) 클라이언트를 통해 델타 레이크 유니폼(UniForm)으로 테이블을 읽을 수 있는 기능이 포함된다.

아이스버그 REST 카탈로그 및 하이브 메타스토어(Hive Metastore, HMS) 인터페이스 표준도 지원된다. 또한 유니티 카탈로그 OSS는 테이블 데이터, 비 테이블 데이터, 그리고 머신러닝(ML) 모델 및 생성형 AI 도구와 같은 AI 자산에 대한 통합 거버넌스를 제공해 조직이 대규모로 관리를 간소화할 수 있도록 한다.

이번 발표로 데이터브릭스는 상호 운용 가능한 도구, 데이터 및 AI 자산에 대한 범용 지원, 그리고 내장된 보안으로 구성된 생태계를 촉진하고 데이터 및 AI 거버넌스 시장을 확대해갈 방침이다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “유니티 카탈로그를 사용하면 여러 개의 단일 목적 솔루션을 조합할 필요 없이, 데이터브릭스 데이터 인텔리전스 플랫폼 내에서 테이블형 데이터, 비정형 데이터, AI 및 ML 자산 등 모든 데이터 개체를 신뢰할 수 있는 단일 솔루션으로 관리할 수 있다.”라며, “데이터브릭스 플랫폼은 모든 데이터가 기본적으로 개방형 형식으로 제공되는 데이터 플랫폼이다. 메타데이터와 거버넌스를 오픈소스로 공개해 데이터 및 AI 환경에서 기업이 필요로 하는 거버넌스 솔루션을 제공할 수 있게 됐다. 파트너와의 긴밀한 협업을 통해 개방형 표준을 지속적으로 발전시켜 나갈 예정이다.”고 말했다.