초거대 언어모델(LLM)의 도입이 급격히 증가하는 가운데, 기업들은 관련 예산을 공격적으로 확대하고 있다. 동시에 데이터 보안과 통합 복잡성 등 기술적 장벽을 극복할 수 있는 안정적이고 신뢰 가능한 AI 인프라의 필요성이 더욱 커지고 있다.

API 기반 클라우드 기술 기업 콩(Kong)이 보고서 기업 현장의 생성AI 채택 현황과 주요 과제를 분석한 ‘기업의 생성AI 도입 전망(What's Next for Generative AI in the Enterprise)’을 발표했다. 

보고서는 2025년 2월 26일부터 3월 31일까지 IT 리더, 소프트웨어 개발자, 엔지니어, 콩 사용자 등 550명을 대상으로 실시된 조사를 바탕으로 작성됐다.

보고서에 따르면 전체 응답자의 72%는 2025년 자사 LLM 투자 예산을 늘릴 계획이라고 답했으며, 이 중 40%는 투자 규모가 연간 25만 달러(약 34억 원)를 초과할 것이라 응답했다. 이는 생성AI가 기업 경쟁력의 핵심 요소로 부상하며, 기술 도입이 단순 실험 단계를 넘어 본격적인 전략으로 전환되고 있음을 시사한다.

또한 기업들은 이미 유료 또는 엔터프라이즈 버전의 LLM을 적극 활용 중이다. 전체의 63%가 유료 모델을 사용하고 있으며, 무료 모델에 의존하는 비율은 17%에 불과했다. 이는 성능과 신뢰성을 우선시하는 엔터프라이즈 환경의 특성을 반영한 결과다.

구글 모델 사용률 69%...오픈AI 추월

모델별 사용 현황에서는 구글의 AI 모델 사용률이 급등한 점이 눈에 띈다. 2024년까지 가장 널리 사용된 모델은 오픈AI(27%)였으나, 2025년 1분기 기준 최근 90일 내 사용 경험이 있는 응답자 중 69%가 구글 모델을 사용했다고 답해, 오픈AI(55%)를 앞질렀다. 메타(38%), IBM(26%)이 그 뒤를 이었다.

이는 구글이 생성AI 경쟁에서 가시적인 점유율 확대에 성공했음을 보여주며, 기술 커뮤니티 내에서의 영향력 확장도 의미한다. 특히 개발자와 IT 전문가들은 코드 자동화, 문서 생성, API 테스트, 워크플로 최적화 등 실질적 개발 생산성 향상에 LLM을 활용 중이다.

보안·예산·시스템 통합 리스크

한편, LLM 도입의 장벽도 여전히 뚜렷하다. 응답자의 44%는 데이터 보안 및 거버넌스를 가장 큰 장벽으로 지목했으며, 이어 예산 제약(24%), 기존 시스템과의 통합 난이도(14%)가 주요 과제로 언급됐다. 특히 LLM을 운영하기 위한 클라우드 자원, 인프라, 파인튜닝에 드는 비용이 상당하다는 점에서 예산 문제는 지속적인 부담으로 작용하고 있다.

이 외에도 최신 LLM 중 하나인 딥시크(DeepSeek)의 도입에 대해서는 80%가 사용 중이거나 도입을 고려 중이라고 답했으나, 사용하지 않는 응답자 중 68%는 개인정보 보호 우려, 46%는 내부 정책상 제한을 이유로 들었다. 이는 AI 모델의 출처와 데이터 처리 방식에 대한 신중한 접근이 필요함을 반영한다.

보안은 모델 선택 기준 1순위

LLM의 활용 목적에서는 AI 챗봇(27%), 코드 생성 및 개발 생산성 향상(26%)이 가장 많이 언급됐으며, 오픈소스 LLM이 향후 성능 면에서 우위를 가질 것이라고 답한 비율은 51%에 달했다. 37%는 오픈소스와 상용 모델을 병행하는 하이브리드 접근을 선호한다고 밝혔다.

모델 선택 시 가장 중요하게 고려하는 기준으로는 보안과 데이터 프라이버시 준수(31%)가 1순위로 나타났으며, 이는 기업 환경에서의 LLM 도입이 기술력 외에도 신뢰성 및 규제 준수 능력을 요구한다는 점을 보여준다.

멀티 플랫폼 활용도도 증가했다. 최근 90일간 가장 많이 사용된 플랫폼은 마이크로소프트 애저 AI(45%)였으며, 오픈AI 플랫폼(41%), 구글 버텍스(Vertex) AI(35%)가 뒤를 이었다. 이는 다양한 플랫폼이 기업의 AI 인프라 구축 환경에서 병행 활용되고 있으며, 특정 벤더에 종속되지 않는 전략을 채택하는 사례가 증가하고 있음을 시사한다.

콩 마르코 팔라디노(Marco Palladino) 공동 창립자이자 최고기술책임자(CTO)는 “AI 도입이 전례 없이 빠른 속도로 진행 중이며, 이를 따라잡는 조직은 명확한 경쟁 우위를 갖게 될 것”이라며 “향후 기업의 성공은 보안성과 확장성을 갖춘 AI 인프라 확보에 달려 있다.”라고 말했다.

이번 보고서는 LLM의 확산이 단순한 유행이 아닌, 기업의 전략적 전환점에 진입하고 있음을 보여준다. 사용률, 활용 목적, 투자 규모 모두 상승세를 보이고 있으나, 동시에 보안, 예산, 통합 문제는 지속적인 리스크로 존재한다.