사용자의 자연어 질의를 맥락까지 파악해 관련 데이터를 검색하고, 검색 결과를 다시 자연어로 정리해 제시하는 LLM(Large Language Model) 기반의 생성AI 기술이 각광을 받고 있다. 이런 새로운 검색 방식은 기존의 검색 결과를 나열해 사용자가 하나씩 직접 확인해야 했던 과거의 방식을 건너 뛰어 정보에 접근하는 지름길을 제공한다는 점에서 큰 의미를 갖고 있으며, 사용자의 시간을 크게 절약하고 생산성을 높일 수 있다는 기술이라는 점에서 기업들의 관심을 모으고 있다.

그리고 최근에는 일반적인 범용 모델뿐 아니라 의료나 법률, 혹은 재무나 코딩과 같은 다양한 업무나 적용 분야에 특화된 언어 모델들도 속속 등장하면서 비즈니스 환경의 변화를 이끌어 나가고 있다.

하지만 LLM을 기업 업무에 그대로 적용할 경우에는 GPU나 NPU로 구성된 컴퓨팅 인프라를 구축하고, 기업 내부 데이터를 활용한 파인 튜닝 과정을 거쳐야 함은 물론, 제대로 튜닝됐는지 검토하는 동시에 환각 현상을 방지하기 위한 여러 가지 방어책을 마련할 필요가 있다. 따라서 인프라 구축 비용과 데이터 정제 비용, 검수 인원, 모델 서빙 비용 등 엄청난 규모의 자본 투자가 필요하며, 실시간 성격이 강한 데이터를 지속적으로 현행화하는 과정에서도 많은 어려움을 겪게 된다.

정보접근 시간 단축하고 이해도 향상

레인보우브레인의 유레카챗(EurekaChat)은 기업 내에 보유하고 있는 정형, 비정형 데이터를 이용해 자동으로 LLM이 이해할 수 있는 데이터베이스를 구축하고, 사용자의 자연어 질의를 받아 가장 연관이 높은 문서의 해당 부분을 찾아서 생성AI로 요약해서 보여주는 솔루션이다.

이 솔루션은 클라우드는 물론이고 온프레미스 환경에서도 운용할 수 있어, 기업 외부로 데이터가 유출되는 미연에 방지할 수 있다. 따라서 보안이 중요한 문서에 대해서도 안전하게 적용할 수 있으며, 부서별 멀티테넌시를 제공하기 때문에 답변에 포함될 문서 범위를 접근이 가능한 직원으로 제한할 수도 있다.

‘유레카챗’은 전통적인 검색 엔진 알고리즘을 대신해 사용자 질문과 문서의 유사도를 파악해 가장 관련이 있는 내용을 가져오기 때문에 문맥과 의미를 고려한 검색이 가능하다. 또한 일반적인 검색과는 달리 정보가 들어있는 문서의 목록을 제공하는 대신 생성 AI 기술을 활용해 찾아낸 문서 내용을 요약해서 일목요연하게 보여주므로 정보 접근 시간을 대폭 단축하고 결과의 이해도를 높일 수 있다.

‘유레카챗’은 일반 텍스트는 물론이고 PDF를 비롯한 마이크로소프트 오피스 문서와 HTML까지 지원하기 때문에, 기업 내부의 다양한 문서를 빠르고 정확하게 처리할 수 있도록 도와준다. 또한 사용자의 질문에 해당하는 답변을 제시할 때 답변의 근거로 찾아낸 문서의 위치를 정확하게 표시해주므로, 사용자는 대답의 근거를 확인하기 위해 별도로 해당 문서를 열어서 검색할 필요 없이 답변을 받는 즉시 출처를 확인할 수 있다. 이렇게 기업이 보유한 문서 내부에 포함된 지식만을 대상으로 답변을 만들어내므로 생성AI의 취약점인 환각 현상을 방지할 수 있는 동시에 출처까지 확인할 수 있어 답변의 신뢰도를 높일 수 있다.

RPA와 결합해 진정한 하이퍼오토메이션으로 진화시킬 것

‘유레카챗’은 기업내 문서로 지식을 축적하고 전달하는 금융/보험업, 법률업, 제조업 등 전문 지식을 다루는 분야에 적합하며, 내부 직원이 서로 공유할 수 있는 지식 기반(Knowledge Base)으로 기존의 DMS(Document Management System)나 KMS(Knowledge Management System)의 검색 기능을 생성AI를 적용해 지능화함으로써 업무 생산성을 높일 수 있을 것으로 기대하고 있다.

레인보우브레인은 ‘유레카챗’을 중심으로 LLM 생태계를 활용하면서 기업 내부의 지식 기반을 구축하는 것을 목표로 다양한 업종에 맞는 최적화된 솔루션을 제공하고 있다. 또한 유레카챗을 오토메이션애니웨어(Automation Anywhere)의 RPA 솔루션과 결합해 진정한 의미에서 하이퍼오토메이션이 가능하도록 지능을 부여하는 기업 내의 브레인으로 발전시키고 있다.