대규모 생성AI 서비스 수요가 증가하며, 대량의 벡터 데이터를 빠르고 효율적으로 처리할 수 있는 기술 필요해지고 있다. 특히 검색 증강 생성(RAG) 시스템에서는 방대한 벡터 데이터베이스 탐색을 위해 높은 처리량과 낮은 지연 시간이 필수적이다. 

그러나 기존 솔루션은 DRAM 용량에 의존해 인덱스 데이터를 저장함으로써 메모리 자원의 한계가 벡터 데이터베이스 확장의 걸림돌로 작용해 왔다. 이에 따라 스토리지 레벨에서 직접 벡터 검색을 수행하고, 메모리 사용량을 줄이면서도 성능을 유지할 수 있는 기술의 필요성이 대두되고 있다. 이러한 상황에서 SSD(솔리드 스테이트 드라이브) 기반 벡터 검색 솔루션이 새로운 대안으로 주목받고 있다.

메모리 솔루션 기업 키오시아(Kioxia Corporation)가 SSD 사용을 최적화해 RAG 시스템 내에서 AI 벡터 데이터베이스 검색의 사용성을 개선하기 위한 지속적인 노력의 일환으로 ‘키오시아 AiSAQ(All-in-Storage ANNS with Product Quantization)’ 소프트웨어에 대한 업데이트를 4일 발표했다. 

이는 시스템 설계자가 시스템의 SSD 스토리지의 고정 용량에 있어 상반되는 두 요소인 검색 성능과 벡터 수 간의 균형점을 정의할 수 있는 유연한 제어 기능을 제공한다. 이를 통해 RAG 시스템 설계자는 하드웨어를 수정하지 않고도 특정 워크로드와 요구 사항 사이의 최적 균형을 미세하게 조정할 수 있다.

2025년 1월에 출시된 키오시아 AiSAQ 소프트웨어는 SSD에 최적화된 새로운 ANNS(Aapproximate Nearest Neighbor Search) 알고리듬을 사용해 DRAM에 인덱스 데이터를 저장할 필요가 없다. SSD에서 직접 벡터 검색을 지원하고 호스트 메모리 요구 사항을 줄여 한정된 DRAM 용량으로 인한 제한 없이 벡터 데이터베이스를 확장할 수 있게 해준다.

시스템에 설치된 SSD 용량이 고정돼 있을 경우 검색 성능(초당 쿼리 수)을 높이려면 벡터당 더 많은 SSD 용량을 소모해야 한다. 이는 벡터의 수를 줄이는 결과를 유발한다. 반대로 벡터의 수를 최대화하려면 벡터당 SSD 용량 소모를 줄여야 하는데, 이는 성능 저하를 유발한다. 이 두 가지 상반된 조건 사이의 최적 균형은 구체적인 워크로드에 따라 달라진다. 적절한 균형을 찾기 위해 키오시아 AiSAQ 소프트웨어는 유연한 구성 옵션을 제공한다. 이번 업데이트는 관리자가 RAG 시스템의 다양한 워크로드에 대해 최적의 균형을 선택할 수 있게 해준다. 

이 업데이트를 통해 키오시아 AiSAQ 기술은 RAG 애플리케이션뿐만 아니라 오프라인 시맨틱 검색과 같은 벡터를 많이 사용하는 다른 애플리케이션에도 적합한 SSD 기반 ANNS가 됐다.

확장 가능한 AI 서비스에 대한 수요가 증가함에 따라 SSD는 RAG 시스템에 필요한 높은 처리량과 낮은 지연 시간을 관리하기 위한 DRAM에 대한 실용적인 대안을 제공한다. 키오시아 AiSAQ 소프트웨어를 사용하면 한정된 메모리 리소스로 인한 제한 없이 대규모 생성AI를 구현해 이러한 수요를 효율적으로 충족할 수 있다.

키오시아는 키오시아 AiSAQ 소프트웨어를 오픈 소스로 출시해 확장 가능한 AI를 위한 SSD 중심 아키텍처의 도입을 촉진할 것으로 기대된다.