AI 애플리케이션에 필요한 벡터 데이터가 폭증하면서, 이를 효율적으로 저장·검색할 수 있는 고성능 데이터베이스 기술이 중요해지고 있다. 기업들은 대규모 AI 시스템을 운영하면서도 비용을 제어할 수 있는 기술을 요구하고 있으며, 특히 검색 정확도와 시스템 성능을 유지하면서도 스토리지와 운영 부담을 줄이는 솔루션이 절실한 상황이다. 이에 따라 오픈소스 벡터 데이터베이스 솔루션은 유연성과 확장성을 갖춘 핵심 인프라로 주목받고 있다.

오픈소스 벡터 데이터베이스 개발 기업 질리즈(Zilliz)가 대규모 AI 워크로드를 위한 비용 최적화 기능을  강화한 오픈소스 벡터 데이터베이스(DB) ‘밀버스(Milvus)’의 최신 버전인 ‘밀버스 2.6’을 공식 출시했다고 밝혔다. 

이번 버전은 AI 대중화를 위한 접근성과 경제성을 목표로 설계되었으며, 스토리지, 컴퓨팅, 운영, 개발자 생산성 측면에서 전방위적인 비용 절감을 지원한다. 질리즈는 벡터 검색의 효율성을 극대화하면서도 인프라 운영 복잡성을 줄이는 기능들을 대폭 강화했다.

저장·연산 비용 절감 핵심 기술 도입

밀버스 2.6은 스토리와 메모리 사용량을 줄이는 기술을 다수 도입했다.

우선 ‘핫/콜드 계층형 저장소(Tiered Storage)’ 기능은 자주 사용되는 벡터 데이터를 고성능 저장소에, 덜 사용되는 데이터는 저비용 저장소에 자동 분리 저장해 스토리지 비용을 줄이면서도 검색 성능은 유지한다. 이 기능은 미니오(MinIO), 코히시티(Cohesity), 퓨어스토리지(Pure Storage), 넷앱(NetApp) 등 주요 스토리지 솔루션과 통합돼 작동한다.

‘Int8 벡터 압축(Int8 Vector Compression)’은 고밀도 벡터를 8비트 정수로 저장해 메모리 요구량을 줄이면서도 정확도를 유지하며, ‘RabitQ 1비트 양자화(Quantization)’는 더 극단적인 압축을 통해 검색 품질을 유지하면서 메모리 사용량을 절반으로 줄일 수 있다.

또한 디스크 기반 외부 메시지 큐(Kafka, Pulsar 등) 없이 자체 로그 기록 기능을 제공하는 새로운 WAL(Write-Ahead Log) ‘우드페커(Woodpecker)’가 적용돼, 인프라를 간소화하고 쓰기 성능도 향상한다.

운영 효율 향상 및 설치 간소화

밀버스 2.6은 운영 복잡성을 줄이기 위한 아키텍처 혁신도 포함하고 있다.

‘스트리밍 노드(Streaming Node)’는 실시간 데이터 수집 기능을 플랫폼 내에 기본 내장해 외부 메시지 큐 없이도 데이터 수집이 가능하며, 비용을 절감한다. ‘CDC + 벌크인서트(BulkInsert)’ 기능은 지리적으로 떨어진 인스턴스 간 데이터를 손쉽게 복제할 수 있도록 해 글로벌 AI 애플리케이션에 적합한 환경을 제공한다.

‘스토리지 v2 포맷(Storage v2 Format)’은 아파치 스파크(Apache Spark) 등 외부 데이터 처리 프레임워크와의 호환성을 고려한 설계로, 향후 확장성도 강화했다. 또한 APT와 YUM 기반 패키지 배포를 지원해 설치 및 업그레이드가 쉬워졌다.

개발 생산성 향상...AI 개발자 위한 기능 내장

밀버스 2.6은 개발자 생산성 측면에서도 다양한 기능을 제공한다.

‘데이터 인/아웃(Data-In, Data-Out)’ 기능은 텍스트, 이미지, 오디오 등의 원시 콘텐츠를 직접 수집하고 내장된 추론 기능으로 벡터화해 사전 전처리 파이프라인 없이도 처리 가능하다.

또한 ‘커스텀 리랭커(Custom Reranker)’를 통해 사용자 정의 함수와 필드를 활용한 재정렬 논리를 직접 구현할 수 있으며, 텍스트 및 JSON 검색 기능도 강화돼, 한국어·일본어 등 아시아어 토크나이징, JSON 키 경로 기반 질의 등을 지원한다.

‘샘플링 및 집계 질의(Sampling + Aggregation Queries)’는 개발 중 빠른 반복 테스트를 가능하게 해 AI 모델 개발의 생산성을 높인다.

밀버스는 현재 전 세계 1만여 개 이상의 조직에서 벡터 검색을 위해 활용되고 있으며, 오픈소스 아파치 2.0 라이선스를 기반으로 누구나 감사, 수정, 기여가 가능하다.

질리즈 찰스 시에(Charles Xie) CEO는 “AI 기술을 모두가 사용할 수 있도록 만드는 것이 우리의 사명이며, 밀버스 2.6은 이를 실현하기 위한 중요한 진전”이라며 “앞으로도 고성능과 비용 효율성을 동시에 제공하는 기술 개발을 지속할 것”이라고 말했다.