글로벌 데이터 기업 클라우데라가 2024년 세계 데이터 산업의 주요 기술에 대한 전망을 발표했다. 이번 발표에서 클라우데라는 지속적으로 생성AI에 대한 관심이 증가될 것이라며, 생성AI의 기반이 되는 데이터 관리와 접근 방식을 위한 5대 주요 기술을 전망했다.

클라우데라는 생성형 AI를 운영하고 개선하기 위한 노력을 강화하고, 특히 기업이 유연성과 성장을 도모하기 위해서는 클라우드 전반에 걸쳐 증가하는 데이터를 관리하기 위해 접근 방식을 조정해야 한다고 권장했다.

다니엘 핸드(Daniel Hand) 클라우데라 아태지역 CTO 는 “생성AI는 모든 주요 산업과 업무 활동에 영향을 끼칠 뿐 아니라, 현재 노동 시간의 60~70%에 해당하는 업무 활동을 자동화할 것으로 전망돼 기업은 이에 대한 준비가 요구된다”고 말했다.

클라우데라가 밝힌 2024년 데이터 관련 5대 기술 전망은 다음과 같다.

강력한 MLOps와 데이터 페더레이션

챗GPT의 출시 이후 기업들은 LLM에 주목하고 있다. 하지만 SaaS(Software-as-a-service)에 기반한 LLM은 심각한 데이터 보안 문제를 일으켜 민감한 데이터를 재사용해야 하는 퍼블릭 멀티 테넌트 서비스에 부적합하다. 또한, 메타의 라마-v2와 같은 오픈소스 LLM은 챗GPT에 필적하는 성능을 가졌지만, 확장 가능하고 안전한 방법으로 상품화하기 힘들고 기존 ML(Machine Learning) 모델에 비해 데이터 페더레이션이 어렵다. 따라서 기업은 2024년에도 더 나은 LLM 모델을 위해 지속적으로 MLOps(Machine Learning Operations)와 데이터 페더레이션 기능 개발에 주력할 것으로 전망된다.

RAG, 파인 튜닝 강조

LLM 성능을 최적화하기 위한 방법으로는 프롬프트 엔지니어링(Prompt Engineering), RAG(Retrieve Augmented Generation), 파인 튜닝 (미세조정) 등이 있다. RAG는 데이터 엔지니어링 파이프라인과 벡터 전문 데이터베이스가 필요하지만 LLM을 훈련하거나 조정할 필요가 없다. PEFT(Performance Efficient Fine Tuning)은 파인 튜닝을 통해 규모가 큰 LLM을 훈련해도 적은 비용과 훈련 데이터로도 비슷한 성능을 제공한다. 2024년에도 RAG는 기업이 생성AI에 대한 좋은 접근 방식이 될 것이다. 기업들은 생성AI에 접근하기 위해 RAG를 사용하고 PEFT와 같은 파인 튜닝을 새로운 프로젝트나 이전 RAG 아키텍처의 일부를 대체하는 데 사용할 것으로 예상된다

클라우드에 대한 신중한 접근

클라우드 컴퓨팅은 2024년에도 기업 데이터 전략에서 중요하고 혁신적인 기술이다. 하지만 클라우드를 우선하던 기업들은 클라우드의 경제성을 고려해 신중하고 균형 잡힌 입장으로 전환했다. 기업은 퍼블릭과 프라이빗 클라우드 모두에서 클라우드 네이티브 아키텍처를 통해 데이터, 클라우드 전략을 지원하고 유연성, 확장성, 비용 절감을 제공한다. 퍼블릭과 프라이빗 클라우드에 걸쳐 데이터 패브릭은 지능적이고 자동화된 정책 중심 데이터 관리 접근 방식의 기반이 된다.

데이터 관리 자동화, 데이터 민주화, 제로 트러스트 보안

데이터는 기하급수적인 속도로 생성, 수집되고 있다. 따라서 더 높은 수준의 자동화와 지능화를 데이터 플랫폼 관리에 도입해야 한다. 따라서 2024년에는 인프라, 플랫폼, 워크로드에 걸친 옵저버빌리티가 더 중요해질 전망이다. 기업과 기술자들은 데이터 과학자, 데이터 엔지니어, 비즈니스 분석가들이 데이터 게이트키퍼를 거치지 않고 더 좋은 인사이트를 얻을 수 있도록 데이터 라이프사이클의 모든 단계에서 마찰을 줄이고 실시간 데이터에 접근하는 데 초점을 맞출 것이다.

하이브리드 클라우드 네이티브 아키텍처, 이기종 SaaS와 PaaS(Platform-as-a-service) 서비스 채택, 사이버 보안 강화는 데이터 보안과 제로 트러스트에 주목하고 데이터 관리에 대한 책임을 분명하게 한다. 제로 트러스트는 지속적으로 인증과 데이터를 활용하는 사용자, 시스템 확인이 필요한데, 데이터 민주화가 진행되면서 늘어나는 수요를 충족하고 데이터 거버넌스와 관리의 혁신을 이끌 것으로 기대한다. 데이터 페더레이션에 대한 관심이 높아짐에 따라, 기업 전반적으로 더 쉽게 제로 트러스트 구현과 실행을 할 수 있는 기술이 개발될 것이다.

개방형 데이터 레이크하우스로 마이그레이션

그동안 많은 데이터 관리 공급사들이 아파치 아이스버그를 채택하면서 데이터 레이크하우스 구현에 상당한 혁신이 일어났다. 아이스버그는 데이터 관리 공급자들이 오픈소스 전략을 수정하고 아이스버그에 대한 지원을 구축하는 데 영향을 끼쳤다. 2024년에는 데이터와 워크로드가 퍼블릭과 프라이빗 클라우드 전반에 걸쳐 개방형 데이터 레이크하우스로 꾸준히 마이그레이션이 시도될 것으로 예상된다.

[알림] GTT KOREA의 동영상 마케팅 플랫폼 GTT SHOW는 오는 12월 14일 목요일 오후 2시부터 오후 3시까지 “기업의 데이터 중심 성과향상과 의사결정 효율 높이는 '전사 기업성과관리' 전략”을 주제로 무료 온라인 세미나를 진행한다. 기업의 다양한 성과 지표의 측정과 분석, 경영계획, 이동계획, 차이 및 변수 별 분석 등 경영 의사결정을 돕고 경쟁력을 강화하는 기업성과관리(CPM) 솔루션 및 ERP와 함께 운용했을 때의 장점과 실제 도입 사례를 통해 전사 CPM과 경영계획 프로세스를 개선하는 전략과 활용법이 소개된다.