기업들은 업무 자동화, 생산성 향상, 고객 맞춤 서비스 제공, 데이터 기반 의사결정 강화를 통한 경쟁력 확보를 위해 AI에 도입과 활용에 적극적이다. 하지만 실제 도입 현황을 보면 많은 기업들이 파일럿 단계를 넘지 못하고 있으며, 데이터 품질 부족, 내부 AI 전문 인력 부족, 비용 대비 불확실한 성과, 거버넌스 체계 미비 등이 주요 문제점으로 지적되고 있다. 기업들은 AI 도입 ROI를 높이는 방안 모색에 고민하고 있다. 

한국IBM이 17일 여의도 국제금융센터(IFC)에서 ‘AI 인사이트 포럼’을 개최하고, IBM 기업가치연구소(IBV)가 수행한 33개국 24개 산업의 CEO 2천 명 대상의 글로벌 CEO 연구 결과를 발표했다. 

이 자리에는 한국IBM 컨설팅 김현정 대표와 함께 서울AI재단 AI 혁신사업본부 주성환 본부장, 미래에셋증권 AI 본부 주세민 본부장, 코웨이 DX 센터 김동현 전무가 패널로 참여해 공공 및 민간 기업의 AI 도입 경험을 공유했다.

IBM의 글로벌 CEO 조사에 따르면, AI 성공의 핵심 전략은 기술보다 조직의 실행력과 구조적 준비도에 있었다. 특히 ▲속도 ▲데이터 활용력 ▲핵심 인재 확보 ▲리더십의 사고 전환이 핵심 요인으로 꼽혔으며, 한국 기업들은 실행 속도와 리스크 감수에서 글로벌 대비 확연히 뒤처진 것으로 나타났다.

속도, 빠르게 실패하고 배우기

글로벌 CEO의 61%가 AI 에이전트를 전사적으로 확산할 준비가 되어 있다고 응답했다. 반면 한국 CEO의 동의율은 45%로 전 세계에서 가장 낮았다. 또한 AI의 가치를 명확히 이해하지 못한 상태에서도 기술 적용을 감행한다고 답한 글로벌 CEO는 64%였지만, 한국은 52%에 그쳤다.

실행 전략에서도 차이를 보였다. 글로벌 CEO 중 37%는 느리게 정확하게 하기보다, 빠르게 시행착오를 겪는 것이 낫다고 답했지만, 한국은 28%에 불과했다.

미래에셋증권 AI 본부 주 본부장은 “좋은 기술이 나올 때까지 기다리는 전략은 맞지 않다. 실행 과정에서 허들은 계속 높아지기 때문에, 빠르게 시작하고 실수하며 학습하는 것이 중요하다.”라고 말했다.

IBM은 이러한 상황을 ‘기술적 용기(Courage)의 시점’이라 표현하며, 리스크 감수를 동반한 빠른 AI 실험이 조직의 우위를 결정짓는 요소라고 강조했다.

이날 패널 토의에 참여한 각 조직은 고유한 비전과 전략을 바탕으로 AI를 조직 내 다양한 영역에 적용하고 있다고 밝혔다. 미래에셋증권은 생성AI가 금융 산업의 투명성과 책임성을 높일 수 있다는 신념 아래, 공시 분석과 내부 백오피스 자동화 등에서 AI를 점진적으로 확산 중이다.

서울AI재단은 AI를 통해 서울시 행정의 효율성을 높이고, 디지털 격차 해소와 글로벌 협력을 위한 기반으로 활용하고 있으며, 특히 공공 데이터를 민간이 활용할 수 있도록 개방 확대에 집중하고 있다.

코웨이는 사내 다양한 PoC를 병행하면서도 확장 가능성을 염두에 둔 클라우드 환경 기반의 인프라를 구축하고 있으며, 전사 프롬프트 엔지니어링 교육과 내부 LLM 실험 등을 통해 조직 전반의 AI 적응력을 높이고 있다.

정적인 데이터 환경으론 성과 못 내

생성AI의 성공은 얼마나 고유하고 동적인 데이터를 효과적으로 활용하느냐에 달려 있다. 글로벌 CEO의 72%는 자사 고유 데이터가 AI 성과의 핵심이라고 밝혔으며, 68%는 데이터 통합 아키텍처가 부서 간 협업의 필수 조건이라고 응답했다.

그러나 절반에 가까운 CEO(50%)는 빠른 투자 속도 탓에 기술이 단절되고, 단편적으로 운영되고 있다고 지적했다. 이처럼 통합되지 못한 데이터 구조는 AI 도입의 걸림돌로 작용하고 있다.

특히 이날 참석한 세 단체가 공통적으로 꼽은 또 다른 과제는 ‘데이터 환경’과 ‘모델 품질’이었다.

서울AI재단은 공공 데이터 활용에 있어 보안 규제와 망분리 환경에서 오는 제약을 가장 큰 장벽으로 꼽았고, 미래에셋증권은 오히려 내부 저항보다는 핵심 인재 확보의 어려움이 가장 큰 리스크였다고 설명했다.

코웨이는 AI 도입 초기, 모델의 일관성과 신뢰성 문제, 제조업 환경에서의 적합한 인재 부족, 데이터 통합 어려움 등 복합적인 장벽에 직면했다. 이를 해결하기 위해 코웨이는 SAP 시스템에 집중된 영업 데이터를 IBM과 협력해 고속으로 처리했고, 넷마블의 빅데이터 기술을 활용해 성능을 높였다. 중앙 집중형 구조가 오히려 데이터 활용의 득이 된 사례다.

인재, “결국 AI는 사람이 한다”

AI 프로젝트의 확산에서 가장 어려운 점은 인재 확보였다. CEO의 56%는 핵심 AI 기술 인재를 구하기 어렵다고 응답했으며, 66%는 전통적 아웃소싱에서 전략적 파트너십 중심으로 전환할 계획이라고 밝혔다.

서울AI재단 AI 혁신사업본부 주 본부장은 “공공 조직은 AI 전문 인력을 확보하는 데 예산과 시스템의 제약이 크다. 내부 인재 양성은 시간이 오래 걸리며, 조직 차원의 대안 마련이 필요하다.”라고 말했다.

미래에셋과 코웨이 역시 인재 부족 문제를 AI 확산의 가장 큰 장벽으로 지목했다. 특히 AI 분야는 한 사람의 역량이 프로젝트 성과를 좌우할 만큼 생산성 격차가 큰 분야라는 점에서, 기존의 HR 전략으로는 한계가 있다.

IBM은 이에 대해 리소스를 내부에만 보유하려 하지 말고, 전략적 파트너와 공유하는 방식으로 전환해야 한다고 조언했다.

리더십, 기술이 아닌 ‘마인드셋’이 조직 변화를 이끈다

AI 트랜스포메이션의 성패는 기술보다는 리더십의 사고 전환에 달려 있다. IBM은 ▲용기를 핵심 가치로 삼기(Make courage your core) ▲AI 기반 창조적 파괴 수용(Embrace AI-fueled creative destruction) ▲살아 있는 데이터 환경 구축(Cultivate a vibrant data environment) ▲FOMO가 아닌 ROI에 집중하기(Igore FOMO, lean into ROI) ▲살 수 없다면, 빌려라-인재 전략 재구성(Borrow the talent you can’t buy) 등 다섯 가지 사고 전환 프레임워크를 제시했다.

이 중 ROI는 도입의 속도와 지속 가능성을 좌우하는 기준으로 지목됐다. 글로벌 CEO의 65%는 ROI를 기반으로 활용 사례를 판단하고 있었고, 68%는 성과 측정 지표를 보유하고 있다고 답했다. 그러나 실제로 기대한 ROI를 달성한 프로젝트는 25%에 불과, 조직 전체로 확산된 경우는 16%에 그쳤다.

김 대표는 “두려움보다 데이터 기반의 ROI로 의사결정 구조를 바꾸는 것이 리더의 역할”이라며 “AI는 단일 기술이 아니라 산업과 경제 구조를 바꾸는 수단인 만큼, 이에 걸맞은 리더십 프레임워크가 요구된다.”라고 강조했다.

ROI 평가 체계, 기술 도입만큼 진화 필요

다만 이날 간담회에서는 AI의 ROI를 비용 절감보다 생산성 향상이나 시간 절약 등으로 판단한다고 설명했지만, 구체적이고 명확한 기준이 제시되지 않았다는 점은 한계로 지적된다.

클라우드 비용 최적화 기업 클라우드제로(CloudZero)가 올해 5월 발표한 ‘AI 비용 현황(State of AI Costs)’ 보고서에 따르면, 미국 보스턴에서 관리자급 이상 소프트웨어 전문가 500명 중 51%만이 AI 프로젝트의 ROI를 명확히 산정할 수 있다고 응답했다. AI가 보안, 자동화, 데이터 처리 등 다양한 기능에 걸쳐 통합되기 때문에 단일 기준으로 성과를 구분하거나 계산하기 어렵다는 현실을 반영한다.

비용 추적 도구 없이 투자를 확대할 경우 오히려 수익성 악화로 이어질 수 있다. 따라서 명확한 비용 구조와 실시간 가시성을 확보한 조직일수록 ROI에 대한 신뢰도가 높을 수 밖에 없다.

이에 따라 ROI 체계 수립을 위해 업무시간, 처리량, 반응속도 등 정량화 가능한 생산성 기준 마련해야 하고, 클라우드/서비스별 비용 추적 도구의 활용이 제시되고 있다. 또한, 어떤 AI 기술이 어떤 부서에서 얼마만큼 성과 기여했는지 기능별 기여도를 분리 평가해야 하고 AI 도입이 아닌 성과 중심으로 사후 평가 체계화도 필요하다.

AI 도입은 이제 선택이 아닌 생존의 문제다. 하지만 기술 도입만으로는 충분하지 않다. 조직이 얼마나 빠르게 실험하고, 데이터를 체계적으로 관리하며, 인재를 유연하게 확보하고, 리더가 사고 전환을 실행하느냐가 진정한 성패의 갈림길이다.

이번 IBM 간담회는 조직 전체가 AI를 받아들이는 방식에 대한 논의를 제시했다. 한국 기업들이 기술 그 자체보다 성과를 판단할 수 있는 구조와 체계의 성숙도를 높일 수 있을 때, 진정한 AI 경쟁력도 뒤따를 것이다.