더 개인화된 사용자 경험을 제공하고, 업무 효율성을 높이며, 새로운 데이터 기반 인사이트를 통해 경쟁 우위를 확보하도록 하는 AI 에이전트는 복잡한 작업을 자동화하고, 고객 문의에 실시간으로 대응하며, 데이터 분석과 의사 결정을 지원한다.

그러나 개발 과정에서 데이터 보안 및 개인정보 문제, LLM의 정확성과 신뢰성 확보, 다양한 데이터 형식의 통합, 빠르게 변화하는 AI 도구 및 플랫폼에 적응하는 등의 도전 과제가 있다. 특히, 에이전트-LLM 상호작용 데이터를 분석하고, LLM의 예측 불확실성을 제어하며, 지연 시간과 운영 비용을 줄이는 데 어려움이 있다.

AI 애플리케이션 개발자 데이터 플랫폼 기업 카우치베이스(Couchbase)가 AI 개발과 배포 과정에서 증가하는 데이터 문제를 해결하고, 안전한 에이전트 기반 AI 애플리케이션을 대규모로 구축하는 방식을 간소화하도록 설계된 ‘카펠라 AI 서비스(Capella AI Services)’를 발표했다.

이 솔루션은 모델 호스팅, 자동 벡터화, 비정형 데이터 전처리, AI 에이전트 카탈로그 서비스 등 포괄적인 AI 서비스를 제공한다. 개발자는 모델과 데이터를 긴밀히 결합한 상태로 AI 에이전트를 프로토타입, 개발, 테스트 및 배포할 수 있다. 이를 통해 새로운 기술 요소와 워크플로를 도입할 때 개발 라이프사이클 전반에서 데이터 제어 권한을 제공하고, 조직 외부에서 실행되는 대규모 언어 모델(LLM)의 보안 및 개인정보 문제를 완화해 에이전트 기반 애플리케이션을 안전하게 프로덕션 환경에 도입할 수 있도록 지원한다. 

에이전트 기반 AI 애플리케이션 개발 및 배포 필수 기능 

카펠라 AI 서비스는 데이터 보안 및 개인정보, 성능 및 지연 시간, 제어 및 비용 증가 우려와 서로 다른 데이터 유형 관리, 복잡한 데이터 통합 워크플로, LLM 보안 및 정확성 문제를 해결하고 빠른 애플리케이션 응답 시간과 AI 도구 및 데이터 플랫폼에 대한 적응력을 높인다. 이를 위해 아래와 같은 기능을 제공한다.

카펠라 AI 서비스가 개발 속도를 높이는 주요 기능은 아래와 같다.

모델 서비스 면에서 주요 LLM 및 임베딩 모델용 관리형 엔드포인트를 제공하며, 프롬프트 및 대화 캐싱, 가드레일, 키워드 필터링 등 RAG 및 에이전트 워크플로를 지원하기 위한 부가적인 기능을 포함한다. 데이터와 AI 모델이 동일한 조직 내 경계 안에 있으면 엔터프라이즈급 RAG 애플리케이션에서 개인정보 및 지연 시간 요구사항을 충족하기가 쉬워지며, 비싼 전용 링크나 맞춤형 솔루션이 필요하지 않다. 

비정형 데이터 서비스 기능은 비정형 문서를 추출, 정리, 분할 및 변환하여 벡터화 준비를 한다. 또한 복잡한 문서에서 구조화된 정보를 추출하고 이를 카펠라에서 조회가 가능하다. 이를 통해 개발자는 DIY 전처리 파이프라인을 구축하는 데 필요한 시간을 절약할 수 있다. 

벡터화 서비스는 카펠라에 저장된 데이터를 자동으로 벡터화하고 색인을 생성한다. 카펠라 모델 및 비정형 데이터 서비스와 함께 사용하면 개발자는 더 적은 도구로 RAG 파이프라인을 빠르게 구축할 수 있다. 

AI 에이전트 카탈로그 서비스는 도구, 메타데이터, 프롬프트, 감사 정보를 중앙 집중식으로 제공하여 LLM 흐름, 추적 가능성 및 거버넌스를 지원하며 에이전트 애플리케이션 개발을 가속화한다. 또한, 사용자의 질문에 답변하기 위한 관련 에이전트 도구를 자동으로 검색하고, 에이전트 교환이 시간 경과에 따라 일관되도록 가드레일을 관리한다. 

카펠라 AI 펑션(Capella AI Functions)은 익숙한 SQL++ 구문을 사용하여 AI 기반 데이터 분석을 애플리케이션 워크플로에 직접 통합해 개발자 생산성을 높인다. 외부 도구, 맞춤형 코딩 및 모델 배포 관리를 제거하여 생산성을 가속화한다. 이 기능은 요약, 분류, 감정 분석 및 데이터 마스킹을 포함한다. 

에이전트 기반 AI 애플리케이션 간소화 

카우치베이스는 클라우드와 에지 환경에서 확장 가능한 신뢰할 수 있는 지능형 핵심 애플리케이션을 구축하기 위해 10년 넘게 고성능 엔터프라이즈 NoSQL 데이터 플랫폼으로 개발자를 지원해왔다. 카펠라는 SQL++ 쿼리 언어와 12개 이상의 프로그래밍 언어를 포함하여 개발자의 기존 경험, 기술 및 선호하는 도구를 활용하여 에이전트 기반 AI 애플리케이션을 가속화할 수 있도록 한다. 

카우치베이스의 제품 및 파트너 담당 SVP인 맷 맥도너프(Matt McDonough)는 "우리는 간단한 벡터 검색에서 RAG 챗봇, 정교한 에이전트 기반 AI 애플리케이션에 이르기까지 광범위한 AI 발전을 고객이 활용할 수 있도록 돕고, 개발 복잡성과 운영 비용을 줄이는 동시에 더욱 개인화되고 맥락에 맞는 경험을 제공하고 있다."라며, "프로토타입에서 프로덕션까지 개발을 지원하는 통합 플랫폼을 제공해 클라우드에서 에지에 이르기까지 정교하고 신뢰할 수 있으며 비용 효율적인 AI 애플리케이션의 구축과 배포를 지원하고 있다."고 말했다.