생성AI 기반 고객 서비스 자동화 분야의 글로벌 기업 옐로우 에이아이(Yellow.ai)가 맞춤형 대화가 가능한 에이전트 모델 '오케스트레이터(Orchestrator) LLM'을 출시했다.

이 모델은 대화 중 가장 적합한 다음 단계를 결정하며, 컨텍스트를 유지해 신속하고 정확한 문제 해결이 가능해 고객 만족도를 60% 이상 높일 수 있다.

전통적인 챗봇은 상황 인식 부족과 과거 상호작용에 대한 기억 부족으로 인해 종종 불연속적인 대화와 고객 불만족을 초래하곤 했다.

하지만 대규모 언어 모델(LLM)의 등장으로 자동화된 고객 경험에서 개인화를 강화하는 것이 가능해졌다. 오케스트레이터 LLM은 이러한 과제에 직접 대처하는데, 고급 컨텍스트 전환 기능을 통해 쿼리 간 원활한 전환을 보장하고 과거 상호작용을 메모리에 유지해 보다 포괄적이고 인간적인 대화를 구현한다.

또한 사전 훈련 없이도 고객의 요구에 맞춘 최선의 솔루션을 제공하며, 실시간으로 적절한 에이전트 워크플로우나 대화 흐름을 활성화한다. 이를 통해 운영 비용을 60% 절감하고 에이전트 생산성을 50% 높일 수 있다.

한편 옐로우 에이아이는 다양한 고객 서비스 사용 사례를 위해 여러 사내 LLM 개발에서 상당한 진전을 보이고 있다. 설정이 필요 없는 목표 지향적 대화, 요약, Q&A 답변을 위한 YellowG LLM과 11개 이상 지역 언어로 고객 지원이 가능한 인도네시아 최초 모델 코모도-7B(Komodo-7B)를 출시했으며, 이들은 1% 미만의 환각 비율과 0.6초의 평균 응답 시간을 자랑한다. 또 150개 이상의 생성AI 봇을 기업에 성공적으로 배포하는 등 강력한 생성AI 기능을 선보이며 고객 서비스를 위한 AI 우선 솔루션 제공에 주력하고 있다.

라그후 라비누탈라(Raghu Ravinutala) 옐로우 에이아이 CEO 겸 공동 창립자는 "LLM의 잠재력을 완전히 발휘하려면 강력한 오케스트레이션 프레임워크가 필요하다."며, "오케스트레이터 LLM은 다양한 AI 도구 및 백엔드 시스템과 원활히 협력해 일관되고 개인화된 고객 경험을 제공한다. 이번 출시는 AI 우선 솔루션으로 고객 서비스 분야를 재정의하려는 우리의 의지를 보여준다"고 말했다.