글로벌 데이터 기업 클라우데라(지사장 최승철)의 조사에 따르면, 현재 미국 기업의 53%가 생성AI 기술을 사용하며 3분의 1 이상(36%)이 AI를 학습하는 것으로 나타났다. 또한 호주의 경우 63%의 기업이 프로젝트 관리의 어려움을 극복하기 위한 핵심 솔루션으로 AI를 꼽았다.

그러나 많은 기업이 분산된 데이터 인프라, 거버넌스 위험, 보안 문제 등으로 인해 데이터에 접근하거나 데이터로부터 비즈니스 가치를 창출하는 데 어려움을 겪어 AI 구축이 지연되고 있다고 밝혔다.

이에 클라우데라가 기업용 오픈소스 데이터 레이크하우스 '아파치 아이스버그'를 6일 공개했다.

데이터 레이크하우스는 데이터 과학자와 비즈니스 분석가, 제품 관리자 및 기타 유형의 최종 사용자가 사용하는 저비용 스토리지 저장소인 ‘데이터 레이크’와 일반적으로 보고 및 예측을 위해 분석 도구에서 준비된 데이터를 특정 형식으로 저장하는 ‘데이터 웨어하우스’를 합한 것으로, 데이터 레이크의 저비용과 유연한 스토리지 간 데이터 이동을 지원한다.

특히 스키마 및 거버넌스를 구현하는 관리 툴에 손쉽게 액세스할 수 있으며, 데이터 정리를 위해 머신러닝과 인공지능을 기반으로 하는 것이 특징이다.

아파치 아이스버그는 방대한 데이터 분석 테이블을 위한 오픈소스이다. 이 컴포넌트를 프라이빗 클라우드에 적용하면 기업은 클라우드와 온프레미스 모두에 존재하는 방대한 양의 필수적인 데이터에 AI를 적용, 궁극적으로 새로운 사용 사례를 창출할 수 있다.

또한 분리된 대형 언어 모델(LLM) 구축을 진행할 수 있는 기능을 제공해 고객에게 향상된 보안과 데이터 프라이버시를 지원한다.

클라우데라의 최고제품책임자(CPO) 딥토 차크라바티(Dipto Chakravarty)는 “이번에 출시된 클라우드 네이티브 솔루션은 필수적인 데이터를 변환하고 혁신적인 AI 애플리케이션을 구축할 수 있다.”고 말했다.

[알림] GTT KOREA와 전자신문인터넷이 공동으로 주최하는 ‘Data Insight & Security Summit(DISS) 2024’에서는 “AI 트랜스포메이션, 데이터 이노베이션”을 주제로 데이터 산업을 이끌고 있는 글로벌 리더들이 AI 기반 데이터 활용과 전략 수립에 난항을 겪고 있는 기업들에게 효과적인 데이터 관리와 인사이트, 강력한 데이터 보안 전략을 제시한다.