기업들은 생성AI에서 큰 잠재력을 보고 AI 프로젝트에 대규모 투자를 하고 있다. 컨설팅 업체들은 생성AI 배포를 통해 비용 절감과 수익 개선의 기회가 있을 것으로 예측하고 있다. 예를 들어 맥킨지는 생성AI가 전 세계 생산성에 2조 6천억~4조 4천억 달러를 추가할 수 있을 것으로 예측한다. 그러나 동시에 AI와 분석 프로젝트들은 역사적으로 개념 증명에서 실제 운영으로 넘어가는 데 어려움을 겪어왔다.

가트너의 조사에 따르면, AI 프로젝트의 54%만이 테스트에서 실제 운영 단계로 진행된다. 이는 상당수의 프로젝트가 진행되지 않거나 예상보다 오래 걸린다는 것을 의미한다. 이러한 프로젝트들은 실제 운영과 확장 단계에서 다른 문제에 직면할 수 있다. 예를 들어 액센츄어는 AI 프로젝트 중 단 2%만이 실제 운영에서 책임 있는 AI 지침을 충족한다고 추정한다.

생성AI 파일럿 프로젝트에 참여하는 기업들은 실제 운영으로 넘어갈 때의 장애물을 살펴볼 필요가 있다. 생성AI 시스템에 사용할 기업 데이터를 준비하는 것과 같은 일부 문제는 예상하고 계획할 수 있다. 그러나 다른 과제들은 더 많은 기업들이 자체 파일럿 프로젝트를 진행하면서 드러난다.

벡터와 데이터 임베딩

생성AI를 위한 벡터 데이터 생성은 모든 프로젝트에서 필요한 첫 단계 중 하나이다. 벡터화된 데이터 없이는 검색 증강 생성(RAG)과 같은 생성AI 프로젝트의 기본 단계를 수행할 수 없다. RAG는 대규모 언어 모델(LLM)에 추가적인 맥락을 제공하기 위해 의미론적으로 유사한 데이터를 검색하는 데 의존한다.

그렇다면 벡터 데이터 세트를 생성할 때 어떤 문제에 직면할 수 있을까? 예를 들어, 데이터를 준비하는 과정에는 텍스트나 내용을 의미 있는 덩어리로 분할한 다음 해당 데이터를 임베딩이라는 수치로 변환하는 과정이 포함된다. 이 임베딩 세트는 RAG와 같은 생성AI 프로세스에서 활용된다.

그렇다면 어떤 분할 전략을 사용할 것인가? 데이터를 벡터화하는 데 어떤 임베딩 모델을 사용할 것인가? 뿐만 아니라 누군가 애플리케이션과 상호작용하고자 할 때마다 벡터 검색에 사용될 요청의 임베딩을 생성해야 한다. 이 과정은 간과될 수 있다. 검색을 위해 자체 데이터를 벡터 임베딩으로 변환하는 데 많은 시간과 노력을 들일 수 있지만, 사용자 요청이 어떻게 들어오고 임베딩으로 변환되는지도 살펴보아야 한다.

미리 준비한 벡터 데이터와 달리, 벡터 데이터 임베딩에 대한 사용자의 요청은 실시간으로 이루어져야 한다. 텍스트를 통해서든 이미지를 보내든 사용자가 만드는 모든 요청은 변환이 필요한 원시의 비정형 데이터이며, 이후 벡터 검색 작업에 사용된다.

이러한 작업을 지원하려면 여기에도 벡터 임베딩 프로세스를 구현해야 한다. 직접 구현하거나 호스팅 서비스를 사용할 수 있다. 여기서 올바른 결정을 내리려면 개발자 생산성과 지연 시간이 트랜잭션에 미치는 영향을 모두 고려해야 한다. 자체 요청 벡터 임베딩 프로세스를 구현하려면 서비스를 구축하고 지원하는 데 시간이 필요하다. 그러나 이는 서비스 제공업체와의 왕복 트랜잭션이 필요한 호스팅 서비스를 사용하는 것에 비해 성능이 더 좋다는 이점이 있다.

임베딩 프로세스의 실행

임베딩을 생성하기 위한 변환은 애플리케이션 워크플로우와 데이터 업로드 프로세스의 일부로 실행하거나 데이터 플랫폼에 위임할 수 있다. 개발자 관점에서는, 애플리케이션에서 그리고 데이터 업로드 프로세스의 일부로 변환을 처리하면 애플리케이션이 해당 요청을 처리하고 결과를 삽입 또는 검색 작업에 전달하는 방식을 더 세밀하게 제어할 수 있다. 그러나 이는 임베딩을 생성하는 코드를 구축하고 유지하는 데 시간이 소요된다.

이미 모든 벡터 검색 작업을 수행하기 위해 해당 인프라를 사용하고 있으므로 이 작업을 데이터 플랫폼에 위임하는 것이 합리적이다. 따라서 이 임베딩 작업이 데이터 플랫폼에서 이루어지는 것은 자연스러운 확장이 될 것이다. 동시에 이를 데이터 플랫폼에서 실행하면 개발자가 직접 기능을 구축할 필요가 없다. 개발자는 생성되는 임베딩을 보거나 알 필요 없이 최종 사용자에게 가장 관련성 높은 결과를 제공하는 데 집중할 수 있다.

생성AI와 데이터에 관한 전반적인 목표는 사용자가 트랜잭션에서 상당한 지연을 느끼지 않아야 하며, 개발자는 고객의 문제 해결에 집중할 수 있어야 한다는 것이다. 생성AI 검색이 기존 검색 요청에 비해 더 많은 처리 작업을 수행할 수 있지만, 다른 데이터 검색과 동일한 방식으로 작동해야 한다. 생성AI 요청과 관련된 벡터 임베딩 변환 작업을 데이터 플랫폼 계층으로 이동함으로써 개발자팀의 작업량을 줄이고 성능을 향상시킬 수 있다.

생성AI에 대한 기대를 충족시키는 데 성능과 개발자 생산성이 핵심 기준이 될 것이다. 지연 시간이나 반환된 결과가 좋지 않으면 사용자가 서비스를 사용해 본 후 다시 돌아올 가능성이 줄어들 것이다.

애플리케이션 개발자에게 임베딩 생성과 관리에 대해 요구하면 기능 개발 속도가 늦어질 것이다. 임베딩이 어떻게 생성되고, 사용되며, 결과가 사용자에게 반환되는지를 포함하여 생성AI에 대한 사용자 여정을 고려함으로써 성공 가능성을 높일 수 있다.

*필자 돔 쿠드웰(Dom Couldwell)은 실시간 데이터 및 AI 업체인 데이터스택스(DataStax) EMEA 현장 엔지니어링 책임자이다. 돔은 오픈소스 스택을 기반으로 실시간 애플리케이션을 구현하도록 돕는다. 그는 데이터스택스에 합류하기 전에 구글, 애피지, 도이체방크 등에서 근무했으며 금융 서비스, 의료 및 소매 등 다양한 산업 분야에서 20년 이상의 경험을 보유하고 있다.

(* 이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)