실시간 AI(Real-Time AI)는 데이터가 생성되는 즉시 분석, 처리, 및 응답할 수 있는 AI 시스템이다. 기존 AI 대비 지연을 최소화하고, 실시간 데이터 흐름 및 트랜잭션 데이터를 활용해 빠르게 의사결정을 내릴 수 있다. 이는 실시간 대응이 필요한 산업에서 핵심적이다.

실시간 AI는 AI 모델을 신속하게 실행할 수 있는 저지연 데이터 인프라가 필수적이다. 이를 위해 벡터 스토어, 피처 스토어, 실시간 캐시 등 고성능 데이터 저장소 및 분산형 데이터 아키텍처가 필요한데, 이는 시스템 복잡성과 지연 시간을 증가시킬 수 있다.

실시간 데이터 처리 및 분석 플랫폼 기업 그리드게인(GridGain)이 실시간 AI 워크로드를 위한 초저지연 데이터 저장 및 처리 플랫폼 ‘그리드게인 포 AI(GridGain for AI)’를 출시했다. 

그리드게인 포 AI는 AI 실험부터 실제 운영 및 실행 프로세스를 간소화해 AI를 빠르고 안정적으로 배포할 수 있다. 특히, 피처 스토어, 예측 캐시, 모델 저장소, 벡터 검색을 단일 플랫폼에서 통합 지원한다. 이를 통한 초저지연, 확장성, 비용 절감으로 최신 AI 애플리케이션의 배포를 가속화할 수 있다.

그리드게인 포 AI는 예측 AI(Predictive AI) 및 생성AI 모델이 원활하게 동작할 수 있도록 실시간 데이터를 제공하고 처리 속도를 극대화한다.

예측 AI

피처 스토어(Feature Store)는 AI 및 머신러닝(ML) 모델이 사용하는 특징(feature) 데이터를 저장, 관리 및 제공한다.

그리드게인 포 AI는 실시간 피처 스토어로 활용 가능해 스트리밍 데이터 및 트랜잭션 데이터에서 실시간으로 특징 추출이 가능하다. 그리고 사전 계산된 예측값을 저장 및 제공하거나, 실시간 예측 모델 실행을 지원한다.

생성AI

RAG 애플리케이션의 핵심 인프라로 활용 가능해 모든 엔터프라이즈 데이터 기반으로 LLM 프롬프트 생성을 최적화할 수 있다. 또한 벡터 검색, 전체 텍스트 검색, SQL 기반 구조적 데이터 검색 제공하고 랭체인(LangChain), 랭플로우(Langflow) 등 주요 AI 프레임워크 및 언어 모델과 연동할 수 있다.

이번 출시로 그리드게인 AI는 실시간 AI 애플리케이션의 성능, 확장성, 운영 효율성을 극대화하는 핵심 기술이 될 것으로 기대된다.