클라우드 기업 메가존클라우드가 생성AI를 도입하고자 하는 기업들을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성AI 엔드투엔드 서비스 ‘GenAI360’ 오퍼링을 출시했다.

GenAI360은 ▲기업의 생성형 AI 활용 전략 수립과 파일럿 과제 수행 등 컨설팅 ▲기업별 환경을 고려한 최적 플랫폼 선정과 데이터 학습, 검증 ▲기업 내 활용 대상 서비스 개발과 가이드 제공 ▲생성AI 운영 전략 수립과 서비스 운영 등으로 구성된다.

메가존클라우드는 지난 7월부터 9주간 사내 HR 헬프데스크에 접수된 질의 응답을 한국어 특화 LLM에 학습시키고, 관련 문서와 사내 가이드는 RAG(검색 증강 생성)를 적용해 신뢰할 수 있는 답변을 생성하도록 하는 프로젝트를 수행했다. 그 결과, 첫 질문에 대한 답변의 정확도는 평균 75% 이상으로 확인됐고 이후 질문 수정과 추가 질문을 통해 향상된 답변의 정확도는 90% 이상인 것으로 평가돼 질의 응답과 관련된 단순·저효율 업무가 실제로 감소되는 성과를 확인할 수 있었다.

메가존클라우드는 이번 성과를 기반으로 RLHF(인간 피드백 기반 강화학습)을 통해 답변 품질을 향상시키는 고도화 작업을 추가 진행중이다.

이 파일럿 프로젝트는 아마존 세이지메이커(Amazon SageMaker)/아마존 켄드라(Amazon Kendra) 등 데이터 분석과 AI/ML을 위한 다양한 AWS 서비스를 근간으로 한 클라우드 기반 아키텍처로 구성됐다.  비용 효율적인 아키텍처 구성과 답변 품질을 향상시킬 수 있는 학습 방법 등을 위해 AWS와 생성AI 분야의 기술 협력을 강화했다.

메가존클라우드는 이 과정을 통해 기업들이 생성AI 도입시 고려해야 할 사항과 구축 과정에서 마주할 수 있는 문제점들에 대한 해결 방안 등 고객 서비스에 활용할 수 있는 실질적 노하우를 축적했다. 비용 최적화, 기업의 고유한 데이터 적용과 기준 시간, 유의어 사전 등을 포함한 프롬프트 엔지니어링, 환각 현상(Hallucination), 리소스 비용 최적화과 구현 방법 등이 대표적 사례다.