LLM과 생성AI가 발전하면서 검색 증강 생성(RAG) 시스템의 필요성이 증가하고 있다. 그러나  RAG 시스템을 구축하려면 여러 솔루션과 데이터베이스, 보안 계층을 수동으로 통합해야 했다. 특히, 벡터 이미지 검색을 활용한 데이터 탐색과 샘플링은 별도의 솔루션을 필요했다. 이에 따라, 효율적인 데이터 분석과 검색 기능을 제공하는 기술이 필요해졌다.

AI 인프라 플랫폼 글로벌 기업 클리어ML(ClearML)가 데이터 탐색과 샘플링을 간소화하고 RAG 시스템을 효율적으로 구축할 수 있는 벡터 이미지 검색 및 벡터 데이터베이스 통합 기능을 출시했다.

이전까지 RAG 시스템을 구축하기 위해 여러 개의 데이터베이스와 검색 솔루션을 개별적으로 연결해야 했다. 그러나 클리어ML은 이러한 복잡한 과정을 단일 플랫폼 내에서 해결할 수 있다. 

이번 업데이트는 클리어ML의 데이터셋 관리 시스템 ‘하이퍼 데이터셋(Hyper-Datasets)’ 내에서 벡터 이미지 검색과 벡터 데이터베이스를 직접 통합하는 방식으로 제공된다. 이를 통해 AI 개발자는 데이터 분석을 신속하게 수행할 수 있으며, 탐색 과정에서 원하는 정보를 빠르게 찾을 수 있다. 또한, 클리어ML의 젠AI 앱 엔진(GenAI App Engine)과 결합하면, 임베딩 모델을 쉽게 배포하고 활용할 수 있다.

이번 벡터 데이터베이스 통합은 보안과 효율 측면에서도 장점이 있다. 클리어ML의 ‘인프라스트럭처 컨트롤 플랜(Infrastructure Control Plane)’을 활용하면 벡터 데이터와 검색 기능을 안전하게 관리할 수 있다. 기업은 검색된 데이터를 활용한 모델 테스트 및 배포 과정을 신속하게 수행하고 보안을 유지할 수 있다.

또한, 자동화된 로깅 및 추적 기능은 벡터 데이터베이스에도 적용된다. 이를 통해 데이터 버전을 관리하고, 필요할 경우 이전 데이터 상태로 쉽게 복원할 수 있다. 이러한 기능은 데이터 무결성 유지뿐만 아니라, 성능 저하 발생 시 신속하게 복구할 수 있다.

클리어ML 모세스 구트만(Moses Guttmann) CEO는 “생성AI 애플리케이션을 개발하는 AI 개발자는 데이터를 탐색하고 관리할 수 있는 원활하고 안전하며 확장 가능한 솔루션이 필요하다. 이번  통합 기능으로 복잡성을 제거하고 RAG 시스템을 빠르고 안전하게 구축할 수 있다.”라고 말했다.