IT 시장분석 및 컨설팅 기관 인터내셔날데이터코퍼레이션코리아(지사장 한은선, 이하 한국IDC)가 ‘국내 생성AI 업무 적용 사례 연구’ 보고서를 2일 발표했다. 이 보고서는 아시아 태평양 지역 조직의 생성AI 도입에 대한 설문 결과와 국내 10개 기업 및 공공 기관의 생성AI 업무 적용 사례 분석이 포함됐다.

보고서에 따르면 국내 조직의 72%가 생성AI를 이미 ‘현재 사용 중’이며 이는 AP 지역 평균인 59.5%보다 12.5% 포인트 높은 도입률이다. 또한 국내 조직의 47.2%는 2024년에 10개 이상의 생성AI 유즈케이스를 배포할 예정이며, 2025년에는 48%의 한국 조직이 50개 이상의 생성AI 유즈케이스를 배포할 계획이다.

특히, 직원 생산성 면에서 아태 지역 조직의 69.6%, 한국 조직의 78%가 생성AI 도입으로  개선되었다고 평가해 향후 기업 생성AI 도입이 더 가속화될 것으로 전망된다.

보고서에서는 LG전자, 포스코홀딩스, 한화, 스타벅스, 한국은행, 국회도서관, 한국전력 등 국내 기업의 사례가 소개됐다.

LG전자는 제품 기획 및 개발 업무 담당 직원들이 IT 지식 없이 대용량 데이터를 분석할 수 있게 SQL 코드를 생성하는 AI 시스템을 마련했다. 포스코홀딩스는 글로벌 2차전지 시장 뉴스를 준 실시간으로 분석하고, 2차전지 관련 용어까지 처리하는 ‘고성능 RAG 시스템’과 ‘이슈 추천 시스템’을 연계 구축했다.

한화는 법리 해설서를 RAG 파이프라인에 통합해 건설 사업 관련 법조문 검색의 정확성을 개선했으며, 스타벅스는 매장 파트너의 빠른 지식검색에 대응하고자 ‘서버리스 NoSQL 데이터베이스’를 AI 시스템에 결합해 응답시간을 개선한 것으로 나타났다.

그 밖에, 한국은행 정부 데이터 보안 규정을 준수하기 위해 언어모델을 내부에서 직접 구축했으며, 한국어 전용 온프레미스 설치형 소형 언어 모델(sLM)과 빅데이터 분석 서비스를 통합한 국회도서관, 저사양 인프라에서도 거대 언어모델을 운영하고자 다양한 오픈소스 모델과 메모리 효율화 프레임워크를 테스트한 한국전력 등의 사례가 수록됐다.

한편, 한국IDC는 이 보고서의 사례 연구에 나타난 주요 인사이트가 생성AI 업무 적용하려는 국내 기업들에게 구체적인 기준이 될 것으로 평가했다. 아울러, 생성AI 도입으로 엔터프라이즈 데이터 관리 전략에 요구 사항이 추가돼 향후 빅데이터와 AI 애플리케이션 플랫폼을 아키텍처 수준에서 통합하는 추세가 나타날 것이라고 예상했다.

한국IDC 전대일 AI리서치 담당 수석연구원은 “응답자들은 일반적 참조 모델을 신속히 구현하는 ‘전시성 사업'을 경계하고 있으며, 내부 직원 요구에 부합하는 AI 성능을 제공하기 위해 업무 특화된 데이터 엔지니어링 문제 해결에 집중하고 있다. 또한, 다양한 모델을 테스트하고 선정하거나 직접 개발을 검토하는 등 특정 AI 모델에 종속되지 않기 위해 빠르게 도입하면서