점점 더 많은 기업이 생성AI 애플리케이션에 투자함에 따라 데이터 품질과 규정 준수를 위해 탄탄하고 유연한 메타데이터 관리가 중요해지고 있다. 그러나 기업이 성공적이며 보다 정확하고 확장 가능한 결과를 도출하려면 데이터 관리의 혁신적인 힘을 발휘할 수 있는 통합되고 안전한 플랫폼이 필요하다.

또한 기업 데이터는 매우 중요하며, 모든 위치의 정형 혹은 비정형, 모든 속도의 온프레미스와 멀티 클라우드, 일괄 혹은 실시간 데이터 등 모든 데이터 자산에 접근하고 관리할 수 있는 통합된 방법이 필요하다. 데이터 리더는 위치에 상관없이 개방형 테이블 형식을 활용하고 일관된 정책을 적용해 데이터에 대한 일관된 시각을 갖길 원하며, 이는 아이스버그 REST API와 같은 형식을 통합하고 세분화된 접근 제어를 가능케 하는 향상된 데이터 카탈로그를 통해 가능하다.

하이브리드 플랫폼 기업 클라우데라(Cloudera, 한국지사장 최승철)가 새로운 아이스버그 REST 카탈로그 통합과 클라우데라의 SDX(Shared Data Experience) 등 메타데이터 관리 솔루션 주요 업데이트를 발표했다.

이번 업데이트로 개방형 데이터 레이크하우스 내에서 개방형 상호운용성을 강화하고 전체 데이터 라이프사이클에 걸쳐 증가하는 보안과 거버넌스 수요를 해결할 수 있게 됐다.

우선 아이스버그 REST 카탈로그의 통합으로 사용자는 타사 엔진을 사용해 아파치 아이스버그 테이블에 원활하게 접근할 수 있어 통합 보안과 거버넌스를 보장하면서 다양한 도구를 활용할 수 있다. 또한 데이터 액세스를 간소화하고 플랫폼 전반에서 데이터 권한과 계보를 유지해 별도의 보안 계층 수를 최소화해 비용과 데이터 침해 위험을 줄일 수 있다.

두번째 업데이트인 기술 프리뷰 버전으로 출시되는 클라우드 네이티브의 컨테이너 기반 클라우데라 SDX는 향상된 탄력성, 확장성, 성능으로 종단 통합 데이터 보안, 거버넌스, 메타데이터 관리를 제공한다. 여러 도구에서 셀프 서비스 데이터 접근을 제공하고 보안 기능을 통합해 침해 위험을 최소화하며 클라우드 및 온프레미스 데이터 전반에 걸친 단일 통합 모니터링 관리를 지원한다.

이번 업데이트는 데이터 라이프사이클 동안 보안과 계보를 통해 데이터를 보호할 뿐만 아니라 메타데이터 관리를 최적화해 총소유비용(TCO)을 절감하면서 성능, 확장성, 복원력을 향상시킬 수 있도록 지원한다. 또한 이번 확장으로 복사본을 만들지 않고도 메타데이터를 공유할 수 있어 공급업체에 종속되지 않고 타사 도구로도 혁신을 이룰 수 있다.

딥토 차크라바티(Dipto Chakravarty) 클라우데라 최고제품책임자(CPO)는 “통합 데이터와 상호운용성은 하이브리드 클라우드 전반에 걸친 클라우데라의 개방형 데이터 레이크하우스 아키텍처의 핵심이었고 앞으로도 그럴 것”이라며, “클라우데라의 플랫폼은 벤더 종속이나 데이터 사일로 없이 확장하는 메타데이터를 관리할 수 있는 탁월한 확장성, 성능, 복원력, 비용 효율성을 제공한다. 개방형 표준을 준수해 모든 생태계에서 원활한 통합과 상호 운용성을 보장해 기업이 AI 투자를 최대한 활용할 수 있도록 지원한다”고 설명했다.

한편 클라우데라는 모든 주요 산업 분야 기업들의 대규모 데이터, 분석, AI를 위한 플랫폼 공급업체로, 모든 환경에서 통합하고 상호운용할 수 있는 개방형 표준을 갖춘 종단 개방형 데이터 레이크하우스를 제공한다.