검색 및 AI가 빠른 속도로 발전하고 있어 개발자와 엔지니어들은 흥미로운 일이지만 기업에 입장에서는 이를 구현한다는 것은 쉬운 일이 아니다. 검색은 사용자들에게 편의성과 정확성을 제공해야하기 때문이다.

글로벌 검색 기술 및 서비스 기업 퓨어인사이트 테크놀로지(Pureinsights Technology Corporation, 이하 퓨어인사이트)가 ‘2023년 검색 및 AI 분야 7대 기술 전망’을 발표했다. 퓨어인사이트는 2023년에도 AI와 검색은 엄청난 속도로 변화한다고 전망했다. 퓨어인사이트의 전망은 단기적으로 검색 기반 응용 프로그램을 개발하려는 계획에 영향을 미칠 수 있는 실용적인 개발 및 추세에 중심을 두었다.

① 진화하는 검색 시장

최근 OpenSearch , MongoDB Atlas Search , Pinecone 및 Vectara 에서 새로운 검색 솔루션을 선보였다. 정형 및 비정형 데이터의 소스와 볼륨이 기하급수적으로 계속 증가함에 따라 이들 및 기타 공급업체가 등장했다. 이는 이 모든 데이터를 검색하고 분석하기 위한 혁신적인 상용 및 오픈 소스 검색 솔루션 시장을 주도하고 있다. 

② 주류가 된 벡터 검색

텍스트 콘텐츠의 양이 폭발적으로 증가함에 따라 벡터 검색 기능이 주류를 이루고 있다. Coveo , Elastic , Sinequa 및 Solr 와 같은 대부분의 기존 검색 솔루션은 플랫폼에 이러한 개선 사항을 추가했다. 새롭게 떠오르는 솔루션은 벡터 검색/고밀도 벡터 검색에 거의 전적으로 초점을 맞추고 있다. 또한 이 기술은 마케팅 목적과 VC 자금 유치에 더 도움이 되는 "신경 검색"이라고도 한다.

③ ‘대화’ 검색 표준이 된 GPT3 및 ChatGPT 등 AI 모델

작년에 퓨어인사이트는 인간과 AI 간의 원활한 "대화"가 아직 존재하지 않는다고 했다. 그러나 GPT3와 같은 LLM(Large Language Models)과 채팅 인터페이스인 ChatGPT의 출현은 큰 파장을 불러일으키고 있다. 이러한 용어를 직접 구글에 검색하면 똑같이 재미있고 감동적이며 걱정스러운 기사를 찾을 수 있다.

전자의 경우 ChatGPT에 "VCR에서 땅콩버터 샌드위치를 ​​제거하는 방법을 설명하는 성경적 스타일의 구절을 작성"하도록 요청할 수 있다. 그러나 학생들이 에세이 과제에서 부정행위를 하는 것에 대해 타당한 우려가 있다. 장기적인 관심사에는 생성된 콘텐츠에 영향을 미치는 이러한 모델에서 코딩 및 작성 작업 또는 내장된 문화적 또는 성차별 제거가 포함된다.

문제는 ChatGPT가 대화형 AI를 대중의 의식에 도입했다는 것이다. 이 기술과 이와 유사한 다른 기술(Google MUM 참조)은 성숙해질 것이다. 이는 검색 애플리케이션 인터페이스가 자연어 대화를 모방할 것이라는 기대감을 갖게 한다.

④ 여전히 비싼 최첨단 AI 모델

검색 응용 프로그램에서 NLP 도구 및 LLM 모델을 배포하는 방법도 문제가 있다. 당면한 과제 중 하나는 GPT3 및 Google BERT와 같은 모델이 '폐쇄'되어 조직이 일반적으로 다른 데이터에 대해 모델을 확장하거나 교육해야 한다는 것이다. 여기에는 벡터 검색/신경 검색 기능이 포함되며, 이는 점점 더 강력해지고 있지만 막대한 스토리지 및 컴퓨팅 성능이 필요하다. 추세는 NLP 요구 사항을 위해 상업용 클라우드 기반 모델을 사용하는 것이지만 이것은 비용 부담이 생길 수 있다. 각 기업이 처음부터 자체 확장 언어 모델을 만드는 것보다 외주를 주거나 다른 비즈니스 모델의 등장을 기다리는 것이 효율적일 수 있다.

⑤ 텍스트 NLP의 낮은 활용률

LLM과 대화형 AI가 검색 애플리케이션의 "프론트 엔드"를 다루는 동안 기존의 자연어 처리(NLP) 도구의 발전이 성숙해 텍스트 콘텐츠를 이해하고 분석하는 데 적용되고 있다는 점을 무시할 수 없다. 최신의 확립된 도구와 기술은 훌륭하지만 여전히 충분히 활용되지 못하고 있다.

고객 서비스 및 기술 지원을 자동화 하기 위한 초기 사용 구현 외에도 소셜 미디어 모니터링, 경쟁 정보 및 인터넷 기반 고객 전망과 같은 새로운 사용 사례가 등장하고 있다. 이제 경쟁 우위를 위해 최신 텍스트 NLP를 활용하기 위해 실행에 옮길 때다.

⑥ 지식 그래프와 시맨틱 모델은 여전히 ​​중요

일부 업계 전문가는 AI 모델이 전통적 지식 관리의 종말을 의미하거나 검색을 위해 데이터를 구성하거나 전처리가 필요 없어질 것이라 예측했다. 그러나 현실은 이러한 기술과 규율이 가져오는 권위 있는  '예측 가능성'과 효율성의 이점을 여전히 누리고 있다는 것이다. 실제로 분류법, 시맨틱 모델 및 AI는 서로 공존하고 보완하는 방법을 찾고 있다.

⑦ 실용성 높은 하이브리드 검색

퓨어인사이트는 GPT3 및 MUM과 같은 AI 언어 모델이 과대 포장되어 있다고 본다. 그러나 전통적인 키워드 기반 검색과 AI 기반 기술을 모두 사용하는 ‘하이브리드 검색’ 접근 방식이 앞으로 가장 실용적인 모델이 될 것이라고 전망한다. 동일한 엔진에서 텍스트와 벡터 검색을 매끄럽게 병합하는 것이 벡터 검색에 의존하는 것보다 더 나은 방법이라고 한다.

퓨어인사이트의 최고 기술 책임자인 필 루이스(Phil Lewis)는 "ChatGPT가 큰 파장을 일으키고 있지만 우리는 업계에서 이러한 돌파구를 기대했다. 검색 및 AI의 빠른 변화 속도는 기술자 및 컨설턴트로서 우리에게 흥미롭지만 구현을 악몽으로 만들 수 있다. 우리의 사명은 고객의 부담을 덜어주는 것이다”고 말했다.