인공지능(AI) 기술이 발전하면서 데이터 처리와 검색의 효율성은 기업의 경쟁력을 좌우하는 핵심 요소가 되었다. 특히 생성형 AI 시스템은 방대한 데이터를 학습하고 활용하기 위해 막대한 컴퓨팅 및 메모리 자원을 요구한다. 이러한 요구를 충족하기 위해 기업들은 검색증강생성(Retrieveeval-Augmented Generation, RAG) 기술을 활용해 특정 데이터 기반의 대규모 언어 모델(LLM)을 정교화한다. 하지만 기존의 검색 방식은 대부분 DRAM에 의존해 높은 비용과 리소스 부담을 수반했다.

키옥시아(Kioxia Corporation)는 새로운 ‘ANNS(Approximate Nearest Neighbor)’ 검색 알고리듬을 탑재한 SSD 기반의 ‘올-인-스토리지 키옥시아 AiSAQ(KIOXIA All-in-Storage ANNS with Product Quantization) 소프트웨어를 발표했다.

이 기술은 인덱스 데이터를 DRAM이 아닌 SSD에서 직접 검색하도록 설계되어, RAG 시스템의 성능을 크게 향상시킨다.

기존의 ANNS 알고리듬은 DRAM에 배치되어 높은 속도를 보장하지만, DRAM의 제한적인 용량과 높은 비용이 문제였다. 반면, 키옥시아 AiSAQ는 SSD에서 인덱스를 검색함으로써 동일한 성능을 유지하면서도 비용을 절감하고 확장성을 확보할 수 있도록 한다.

키옥시아는 이 기술을 오픈 소스로 공개하여 AI 연구자와 개발자들이 활용할 수 있도록 지원함으로써 AI 기술 발전을 촉진하고 있다.

키옥시아 AiSAQ 기술의 가장 큰 장점은 제한된 DRAM 리소스를 사용하지 않고도 대규모 벡터 데이터베이스를 운영할 수 있다는 점이다. 이는 RAG 기반의 AI 모델이 더욱 효율적으로 운영될 수 있도록 지원한다.

또한, DRAM에 인덱스를 미리 로드할 필요가 없어 벡터 데이터베이스의 즉각적인 시작이 가능해졌다. 이를 통해 사용자별 혹은 애플리케이션별 데이터베이스 간의 원활한 전환이 가능해져, AI 서비스의 운영 효율성이 극대화된다.

더 나아가 인덱스를 세분화된 스토리지에 저장하여 여러 서버에서 공유할 수 있도록 설계되었다. 이는 클라우드 환경에 최적화된 방식으로, 특정 사용자나 애플리케이션에 맞게 벡터 데이터베이스 검색 성능을 동적으로 조정할 수 있다. 물리적 서버 간의 검색 인스턴스를 신속하게 마이그레이션할 수 있어, 기업이 AI 검색 성능을 보다 유연하게 관리할 수 있도록 한다.

이러한 기술적 혁신은 기업 및 조직이 AI 기반 데이터 검색을 보다 효과적으로 활용할 수 있도록 돕는다. 기존에는 대규모 벡터 데이터베이스를 운영하기 위해 고성능 서버와 대량의 DRAM이 필요했으나, 키옥시아 AiSAQ 기술을 활용하면 SSD를 통해 동일한 성능을 유지하면서도 비용을 절감할 수 있다.

이는 AI를 활용한 검색 서비스, 맞춤형 추천 시스템, 자연어 처리(NLP) 애플리케이션 등 다양한 산업 분야에서 활용 가능하다. 특히, 금융, 헬스케어, 전자상거래 등 방대한 데이터를 빠르게 검색하고 분석해야 하는 산업군에서는 더욱 높은 가치를 발휘할 것으로 기대된다. 또한, 클라우드 서비스 기업들은 이 기술을 도입함으로써 AI 검색 성능을 효율적으로 확장하고, 더 나은 사용자 경험을 제공할 수 있을 것으로 보인다.

향후 키옥시아는 AiSAQ 기술을 지속적으로 발전시키고, AI 검색 기술의 새로운 기준을 제시할 계획이다. 키옥시아 관계자는 “우리의 목표는 AI 및 데이터 처리 기술이 보다 접근 가능하고 효율적으로 발전할 수 있도록 지원하는 것”이라며, “AiSAQ 기술의 오픈 소스화는 AI 연구자와 개발자들이 혁신적인 솔루션을 더욱 쉽게 구현할 수 있도록 하는 중요한 단계”라고 밝혔다.