한국IBM이 21일 기자간담회를 열고, 기업 비즈니스 환경을 위한 에이전틱 AI(Agentic AI) 솔루션과 IBM의 AI 전략을 소개했다.

행사는 한국IBM 최고기술책임자(CTO) 이지은 전무의 IBM의 AI 전략을 주제로 하는 ‘기업을 위한 에이전틱 AI’ 발표와 한국IBM 클라이언트 엔지니어링(Client Engineering) 총괄 김지관 상무의 ‘기업용 에이전트 플랫폼 ’왓슨x 오케스트레이트‘ 소개 순으로 진행됐다.

기업을 위한 ‘엔터프라이즈 AI’ 핵심 기술 5가지

IBM은 소비자보다는 기업이 어떻게 AI를 사용할 것인가를 중점으로 하는 ‘엔터프라이즈 AI’를 연구 및 개발하고 있다.

이를 위해 ▲오픈소스 및 파트너 AI 기술을 유연하게 활용할 수 있는 개방성(Open) ▲영역별로 특화된 고성능 소형 LLM으로 90% 높은 비용효율(Cost Efficient) ▲온프레미스와 클라우드를 포괄하는 유연성을 제공하는 하이브리드(hybrid) ▲산업 및 영역별 전문성을 토대로 한 컨설팅 서비스(Domain Expertise) ▲기업에서 AI를 사용하는 데 있어 다양한 관점의 거버넌스 및 관리 제공(Governance & Security) 총 5가지 측면의 기술을 발전시키고 있다.

한편, AI를 도입해 기업은 새로운 방법으로 일을 진행하게 되는데, 자칫 AI의 잘못된 행동으로 인한 비즈니스 손실, 기업 데이터를 이용한 모델 학습 등의 우려로 도입을 주저하는 경우가 있다.

이에 IBM은 기업이 엔터프라이즈 AI를 고객들에게 제공하기에 앞서 자사의 인사, 재무, IT 서비스, 마케팅 등 70개 이상의 업무 영역에 AI를 도입했다. 고객들에게 도입하기 전, 자사에 도입한 70개 이상의 AI의 데이터와 노하우를 바탕으로 고객들에게 서비스를 제공하는, 자사를 0번 고객으로 삼는 ‘클라이언트 제로’ 전략으로 통해 IBM은 기업 고객을 지원하고 있다.

일례로, 인사(HR) 부문에서는 ‘애스크HR(AskHR)’이라는 AI 기반 디지털 에이전트를 통해 휴가 신청, 급여 명세, 각종 증명서 발급 등 단순 업무의 94%를 자동화했다. 이를 통해 직원들은 좀더 복잡한 이슈를 해결하는데 집중할 수 있게 되었으며, 관리자는 직원 승진 업무를 평균 75% 더 빠르게 처리할 수 있다.

IT 서비스 부문에서는 ‘애스크IT(AskIT)’라는 AI 에이전트를 통해 주요 IT 이슈의 80%를 해결하며, IT 지원팀의 통화 및 채팅량을 70% 줄이는 성과를 냈다. 고객 지원 부문에서는 AI 디지털 상담원을 도입해 문의의 70%를 자동 처리하고 있으며, 복잡한 문제는 기존보다 26% 더 빠르게 해결할 수 있게 됐다.

에이전틱 AI 플랫폼 ‘왓슨x’ 플랫폼 전사 프로세스에 적용해 생산성 극대화

최근 부상하는 ‘에이전틱 AI’에 대해 이지은 전무는 “에이전틱 AI는 AI 에이전트는 물론 다양한 AI 어시스턴트 및 비즈니스 애플리케이션 등을 연계한 환경을 의미”한다며, “사용자나 다른 시스템을 위해 과제를 자율적으로 수행하는 AI 에이전트들이 맞춤형 혹은 제공된 형태로 결합되어, 기존의 AI에 비해 사람의 개입을 최소화하고 다양한 시스템과 연계해 자율적으로 복합적인 업무 수행이 가능하다.”라고 말했다.

IBM은 여러 에이전트들이 엮어서 일할 수 있게끔 오케스트레이션이 이뤄지도록 자사의 에이전틱 AI 플랫폼 ‘왓슨x’를 기반으로 맞춤화된 에이전트를 만들거나, 오케스트레이션 기능 ‘왓슨x 오케스트레이트(watsonx Orchestrate)’를 기반으로 미리 만들어진 에이전트를 활용하게 하는 등을 통해 다양한 사례를 지원하고 있다.

이지은 전무는 “IBM은 왓슨x 플랫폼을 활용한 AI와 자동화를 전사 프로세스 전반에 적용하고 있다.”라며, “그 결과, 2023년 1월 이후 약 2년간 35억 달러의 생산성 향상을 이루었고, 자유 현금 흐름은 127억 달러로 확대됐다. 이는 인재 확보, 첨단 기술 연구개발, 에코시스템을 포함한 시장 진출 역량 강화, 그리고 전략적 인수에 이르기까지 다양한 성장 동력을 뒷받침하고 있다.”라고 설명했다.

왓슨x 오케스트레이트, 기업 맞춤형 에이전틱 AI 빌더

에이전틱 AI 개발을 위한 핵심 솔루션에 대해 한국IBM 클라이언트 엔지니어링 총괄 김지관 상무가 IBM의 왓슨x 오케스트레이트(watsonx Orchestrate)를 소개했다.

왓슨x 오케스트레이트는 생성AI를 포함한 다양한 인공지능 기술이 기본 내장돼 있는 사전 구축된 AI 에이전트를 제공, 개발자가 아닌 비전문가도 별도의 코딩 없이 간편하게 에이전틱 AI를 구축할 수 있도록 지원한다.

또한, ‘스킬 카탈로그’와 ‘스튜디오’ 기능은 필요한 스킬을 직접 생성하고 다단계 흐름으로 구성한 후, 수천 개의 자동화 작업 중에서 선택해 적용해 맞춤형 에이전틱 AI를 쉽게 구축할 수 있다.

이 솔루션은 자연어 기반의 직관적인 대화형 인터페이스를 통해 직원, 고객 등 최종 사용자의 요청을 수집하고, 이를 다양한 비즈니스 애플리케이션과 연결해 자동화된 방식으로 처리한다.

LLM 기반의 시스템을 통해 사용자의 요청을 지능적으로 분석하고 가장 적절한 경로로 연결하며, 단순한 질의응답을 넘어 특정 업무 수행, 지식 베이스 검색, 필요 시 사람의 개입(Human-In-The-Loop)까지 확장되며, 이를 통해 기존에 수 분에서 수 시간이 소요되던 업무를 수 초 또는 수 분 이내에 처리할 수 있도록 해준다.

여러 가지 업무들을 통합한 단일 인터페이스로 지원하는 어시스턴트 ‘애스크IBM(AskIBM)’이 탑재됐으며, 프롬프트를 입력할 때마다 적절한 조치 사항과 지속적인 확인 절차를 질문 형태로 사용자에게 보고한다.

특히, 특화된 AI 어시스턴트와 에이전트들이 작업 별로 업무를 처리하며, 이를 모두 유기적으로 결합해 사전에 정의된 단위별 테스크(skill), 의사 결정에 대한 최적화, 인공지능의 판단, 인간 상호작용 워크플로를 지원하는 ‘에이전트 메쉬(Agent Mesh)’아키텍처를 구현했다.

한편, 기업용 에이전트 AI의 전체적인 신뢰성을 확보하는 방법으로, 에이전트의 수명 주기 명세서인 메타데이터의 기록을 자동화하며, 프롬프트의 의도를 파악하는 ‘인텐트 클래서피케이션(Intent Classification)’, 업무 처리 역량에 점수를 매기는 ‘시스템 드리프트(System Drift)’, 업무별 최적화된 툴을 지원하는 ‘셀렉션 퀄리티(Selection Quality)’를 기반으로 작동한다.

IBM 에이전틱 AI 전략은 기업들의 환경과 요구에 부합하도록 ▲사전 구축된 AI 에이전트 컴포넌트와 스킬 기반 신속 구현 역량 ▲다양한 클라우드 및 벤더 AI와 UI/UX통합과 오케스트레이션 ▲기업을 위한 신뢰가능(Trustworthy) AI 구현 및 운영 ▲온프렘 및 클라우드 환경 등에 자유롭게 구축하는 하이브리드 역량 등을 기반으로 한다.

김지관 상무는 “기업을 위해 업무 전문 영역에 컨설팅하는 역량을 가지고 AI들을 실제 서비스화할 수 있느냐가 굉장히 중요하다.”라며 “클라우드와 온프레미스를 넘나드는 그 이식성을 담보하면서 AI를 지원하는 그러한 역량이 하이브리드 클라우드 AI 툴이라는 이론에 의해서 제공하고 있다.”라고 전했다.