생성AI와 에이전트 기반 AI가 점차 기업의 비즈니스에 적용되며, 대규모 언어 모델의 정확성과 개인정보 보호 문제가 핵심 과제로 떠오르고 있다. 특히 LLM의 ‘환각’ 현상과 민감정보 노출에 대한 우려가 커지면서, 이를 제어할 수 있는 인프라 수준의 기술이 필수 요소로 부각되고 있다.

클라우드 API 개발 기업 콩(Kong)이 생성AI와 에이전트형 AI를 안전하게 상용 환경에서 운영할 수 있도록 하는 AI 보안 및 거버넌스 기능을 강화한 ‘콩 AI 게이트웨이(Kong AI Gateway) 3.10’을 출시했다고 발표했다. 

특히 이번 버전은 LLM 환각을 방지하기 위한 자동화된 검색 증강 생성(RAG) 파이프라인과 개인 데이터, 비밀번호, 코드 및 12개 언어와 대부분의 주요 AI 제공업체에서 20개 이상의 개인 식별 정보(PII) 범주를 삭제 및 보호할 수 있는 PII 삭제 플러그인이 포함되어 있다. 이 비전은 API 수명주기관리 플랫폼 ‘콩 코넥트(Konnect)’의 일부로도 제공된다.

LLM 정확도 향상하는 자동 RAG 기능

AI 게이트웨이 3.10에 도입된 자동화 RAG 파이프라인은 LLM의 가장 큰 문제 중 하나인 환각 현상을 줄이는 기능이다. 이 기능은 벡터 데이터베이스를 자동으로 질의하여 관련 정보를 실시간으로 프롬프트에 삽입해 LLM이 검증된 지식 기반을 토대로 결과를 도출하도록 지원한다. 이를 통해 정확도와 일관성이 향상되며, 환각 가능성을 구조적으로 억제할 수 있다.

자동 RAG 기능은 보안성과 컴플라이언스 측면에서도 강점을 가진다. 기존에는 외부에 위치했던 벡터 데이터베이스가 AI 게이트웨이의 보호 계층 안쪽에 배치되어, 시스템 전반의 보안성이 강화된다. 또한 응답의 품질을 지속적으로 개선하고, 대규모로 환각을 줄일 수 있도록 설계되어 기업 환경에 최적화되어 있다.

개발 효율 높이는 로우코드 통합 방식

RAG 파이프라인은 효과적이지만 구현에는 시간과 노력이 많이 드는 것이 일반적이다. 콩 AI 게이트웨이 3.10은 로우코드/노코드 방식의 통합을 지원하여, 개발자가 기존 애플리케이션과 파이프라인을 손쉽게 연동할 수 있다.

이 기능은 프롬프트에 대한 임베딩을 자동 생성하고, 관련 데이터를 불러와 요청에 자동으로 추가하는 ‘기본 제공 자동화 기능’을 통해 구현된다. 이를 통해 개발자 경험이 크게 개선되고, AI 통합 속도도 빨라진다.

PII 자동 삭제로 일관된 보안 구현

콩 AI 게이트웨이 3.10은 민감정보를 자동으로 탐지하고 정제할 수 있는 새로운 PII 삭제 기능을 탑재하였다. 이 기능은 12개 언어와 대부분의 주요 AI 플랫폼에서 개인 데이터, 비밀번호, 코드 등 20개 이상의 PII 항목을 자동으로 보호할 수 있도록 설계되었다. 특히 플랫폼 소유자가 전사적으로 살균 정책을 설정할 수 있어, 모든 애플리케이션에 일관된 보안 기준을 적용할 수 있게 된다.

기존의 민감정보 정제 솔루션이 데이터를 삭제하거나 토큰으로 대체하는 데 그쳤다면, 이번 버전은 필요에 따라 살균된 데이터를 응답에 다시 삽입할 수 있도록 지원한다. 이는 사용자에게 필요한 데이터를 개인화된 방식으로 제공하면서도, 보안 수준을 유지할 수 있게 해준다.

대규모 AI 운영에 적합

AI 콩 AI 게이트웨이 3.10은 콩의 API 라이프사이클 관리 플랫폼 ‘콩 코넥트(Kong Konnect)’에 포함되어 제공된다. 코넥트는 API의 통합, 보안, 자동화, 수익화를 지원하는 플랫폼으로, AI 기반 애플리케이션을 빠르고 안정적으로 개발할 수 있는 환경을 제공한다. 이를 통해 API를 전략 자산으로 전환하고, 디지털 혁신 속도를 높일 수 있다.

콩의 CTO 및 공동 창립자 마르코 팔라디노(Marco Palladino)는 “인공지능이 지속적으로 발전함에 따라 조직은 잠재력을 최대한 활용하기 위해 강력한 AI 인프라를 도입해야 한다.”라며, “이번 최신 버전의 AI 게이트웨이를 통해 고객에게 에이전트 AI를 구현하는 데 필요한 도구를 제공하며, LLM의 가장 큰 문제점인 환각 현상 감소 및 데이터 보안과 거버넌스 개선을 돕는다.”라고 말했다.