생성AI가 기업 환경에서 빠르게 확산되고 있지만, 정확성과 보안성 문제는 여전히 해결해야 할 주요 과제다. 특히 대규모 언어 모델(LLM)이 신뢰할 수 있는 정보를 기반으로 학습하지 못하면 부정확한 응답을 생성하거나, 민감한 데이터를 외부에 노출하는 보안상의 위험이 발생할 수 있다.

이에 따라 기업들은 검색 증강 생성(RAG, Retrieval-Augmented Generation) 방식을 적용해 AI의 답변을 신뢰할 수 있는 데이터로 보강하는 방안을 모색하고 있다. 그러나 방대한 기업 데이터를 AI가 효과적으로 검색하고 활용하기 위해서는 고도로 정교한 정보 검색 기술이 필수적이다.

이런 상황에 최신 검색 기술을 접목한 문단 검색 API가 등장하며 생성AI의 신뢰성과 정확성을 높이는 핵심 기술로 주목받고 있다. 

생성AI 한계 넘는 정확한 정보 검색을 위한 ‘문단 검색 API’ 

AI 솔루션 기업인 코베오(Coveo)가 최근 생성AI 애플리케이션을 위한 문단 검색 API(Passage Retrieval API)를 출시했다고 발표했다.

이 API는 생성AI가 보다 신뢰할 수 있는 정보를 검색하고 활용할 수 있도록 돕는 헤드리스(Headless) 검색 방식으로, 대규모 언어 모델이 필요한 데이터를 정확하게 가져올 수 있도록 지원한다.

헤드리스 검색 방식은 프론트엔드(UI)와 백엔드(검색 기능)가 분리된 검색 아키텍처를 의미한다. 이는 검색 엔진을 API 기반으로 제공하여 개발자가 원하는 인터페이스와 기능을 자유롭게 구현할 수 있도록 한다. 특히 생성AI, 챗봇, 맞춤형 애플리케이션 등 다양한 환경에서 유연하게 활용될 수 있으며, 기존 시스템과의 통합이 용이하다. 이를 통해 기업은 검색 성능을 최적화하면서도 사용자 경험을 맞춤형으로 제공할 수 있다.

문단 검색 API는 세일즈포스 에이전트포스(Salesforce Agentforce), 마이크로소프트 코파일럿(Microsoft Copilot), 아마존 베드록 에이전트(Amazon Bedrock Agents), SAP 쥴(Joule) 등 다양한 AI 애플리케이션과 연동될 수 있다. 이를 통해 AI의 응답 정확도를 높이고, 보안 요구 사항을 충족하면서도 배포 속도를 개선하고 비용을 절감할 수 있도록 지원한다. 

기업 데이터 검색 최적화

문단 검색 API는 단순한 키워드 검색을 넘어 어휘(lexical) 검색, 벡터(vector) 검색, 사용자 행동 기반 검색을 결합한 하이브리드 검색 방식을 적용하고 있다. 이를 통해 AI가 단순한 키워드 매칭이 아니라 문맥을 이해하고, 의미를 고려한 검색이 가능해진다. 특히 대규모 언어 모델이 환각(hallucination) 현상 없이 신뢰할 수 있는 정보를 바탕으로 응답을 생성하도록 지원하는 것이 강점이다. 

이 API는 통합 인덱스(Unified Index)를 기반으로 작동하며, 기업 내 다양한 데이터 소스를 CRM, ERP, ITSM, CMS 등과 연결할 수 있도록 사전 구축된 커넥터를 제공한다. 이를 통해 중복 인덱싱과 복잡한 데이터 통합 작업을 줄이고 유지보수 비용을 절감하는 동시에, 검색, 추천, 생성AI, 콘텐츠 탐색 등 다양한 AI 애플리케이션을 지원할 수 있다. 

또한, 자동 관련성 조정(Automatic Relevance Tuning, 이하 ART) 기반 머신러닝 모델과 사용자 맞춤형 랭킹 기술을 적용해 지속적으로 검색 성능을 개선하며, AI가 더 나은 답변을 생성할 수 있도록 지원한다. 기업은 쿼리 파이프라인에서 가중치를 조정하거나 비즈니스 규칙을 설정할 수 있어, 보다 정교한 검색 및 AI 결과를 제공할 수 있다. 

다양한 기업에서 활용

문단 검색 API는 출시 전 얼리 액세스 프로그램(Early Access Program)을 통해 여러 기업에서 시험 운영되었으며, 그 결과 높은 성과를 기록했다. 

한 포춘 500대 소프트웨어 기업은 문단 검색 API를 도입한 후, 내부 검색 도구 대비 문서 및 문단 검색 정확도가 22% 향상되었으며, 이로 인해 내부 AI 챗봇의 응답 정확도가 73% 개선되었다. 

또한, 코베오의 시스템 통합 파트너사인 퍼피션트(Perficient)의 검색 및 콘텐츠 실무 디렉터 에릭 이머만(Eric Immermann)은 “문단 검색 API를 도입한 이후, AI 솔루션의 맞춤형 제공 능력이 크게 향상되었다”며 “세일즈 질의 자동화, 글로벌 검색 경험 개선, 내부 RFI 생성 도구 지원 등 여러 영역에서 AI의 응답 정확성이 크게 개선되었다”고 평가했다. 

문단 검색 API는 기업이 생성AI를 보다 정확하고 안전하게 활용할 수 있도록 지원하며, AI 응답의 신뢰성을 보장해 업무 자동화와 고객 서비스 개선에 기여할 수 있다. 

기업은 문단 검색 API를 활용해 고객 서비스 AI 챗봇의 답변 정확도 향상과 고객 문의 해결 시간이 단축될 수 있다. 또한, 내부 직원들이 필요한 정보를 더욱 쉽게 검색할 수 있어 업무 생산성이 증가하고, 기업의 정보 검색 비용이 절감될 수 있다. 

특히, IT, 금융, 의료 등 보안이 중요한 산업에서는 문단 검색 API가 민감한 데이터 보호와 보안 강화를 지원할 수 있어 더욱 큰 도입 효과를 기대할 수 있다. 

코베오는 문단 검색 API를 기반으로 더 다양한 AI 애플리케이션과의 연동을 확대할 계획이며, Microsoft Azure AI, AWS Bedrock, IBM Watson과 같은 주요 AI 플랫폼과의 호환성을 더욱 강화할 예정이다. 

코베오의 공동 창립자이자 CTO인 로랑 시모노(Laurent Simoneau)는 “대규모 언어 모델(LLM)은 엄청난 가능성을 지니고 있지만, 성능의 핵심은 양질의 데이터에 있다.”라며 “문단 검색 API는 분산된 기업 데이터를 AI가 신속하고 정확하게 찾아낼 수 있도록 돕는 핵심 기술로, 생성AI의 신뢰성을 강화할 것”이라고 말했다. 

한편, AI 업계 전문가들은 “문단 검색 API와 같은 정교한 검색 기술이 LLM 기반 AI의 한계를 극복하는 데 필수적”이라며, “이 기술이 기업 내 AI 활용도를 더욱 높이고, 업무 자동화와 정보 검색 효율성을 크게 개선할 것”이라고 전망했다.