글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)가 9천 개 이상 고객을 대상으로 데이터 및 AI 도입의 패턴과 트렌드를 조사해 ‘데이터 동향 2024(Data Trend 2024) 보고서’를 발간했다고 16일 밝혔다.

글로벌 엔터프라이즈 기업들이 AI 기술과 데이터를 비즈니스에 어떻게 활용하고 있는지를 다룬 이 보고서에서는 텍스트 입력 방식의 LLM 앱의 비중은 줄고(2023년 82%, 2024년 54%) 대화형 챗봇이 늘어났으며, LLM 앱 중 챗봇 비중이 지난해 5월 대비 46%까지 증가했다고 전했다.

9개월간 3만 3000개 이상의 LLM 애플리케이션 구축, 핵심은 파이썬

보고서에 따르면 스노우플레이크 스트림릿 커뮤니티에 속한 전세계 약 2만 명 이상의 개발자들은 지난 9개월 동안 3만 3143개 이상의 LLM 앱을 구축했으며, 이들이 가장 선호하는 프로그래밍 언어는 파이썬이라고 전했다.

또한 스노우플레이크의 앱 구축 플랫폼인 스노우파크(Snowpark)에서 지난해 파이썬 사용량은 5.71배 증가했다. 이는 3.87배, 1.31배 늘어난 스칼라, 자바에 비해 높은 수치다. 보고서에 따르면 개발자들이 파이썬을 선택하는 주요인으로 프로토타입 및 테스트 속도를 빠르게 구동하는 것을 꼽았다.

한편, LLM 앱을 개발할 때 데이터 관리 플랫폼 위에서 프로그래밍하는 사례도 늘고 있다. 스노우플레이크 플랫폼에서 직접 앱을 개발할 수 있는 스노우플레이크 네이티브 앱(Snowflake Native App) 활용도는 지난해 7월부터 올해 1월, 7개월 사이 3배 이상 증가했다.

이는 단일 데이터 플랫폼에서 개발한 애플리케이션은 외부 업체로 데이터 복사본을 내보낼 필요가 없어 앱 개발과 배포가 빨라지고 운영 및 유지보수 비용을 줄일 수 있기 때문이라고 전했다.

기업 내 데이터 거버넌스의 중요성 증가

AI 도입과 함께 조직 내 비정형 데이터에 대한 분석과 처리도 늘었다. 이 과정에서 활용되지 않은 새로운 데이터 소스를 발견할 수 있고, 민감한 개인 데이터를 보호하기 위한 데이터 거버넌스도 중요해졌다.

보고서에 따르면 기업들이 지난 한 해 동안 처리한 비정형 데이터의 양은 1.23배 증가했다. 글로벌 시장분석 기관 IDC는 전 세계 데이터의 최대 90%를 비정형 동영상과 이미지 및 문서로 추산하고 있다. 따라서, 언어모델 훈련이 일반화된 정형 데이터와 달리, 비정형 데이터의 가공은 기업의 비즈니스 경쟁력을 높일 수 있다고 전했다.

제니퍼 벨리센트 스노우플레이크 데이터 전략 수석은 “데이터 거버넌스는 데이터를 통제하는 것이 아니라 궁극적으로 데이터의 가치를 활용하는 것”이라며 “스노우플레이크는 거버넌스를 ▲데이터 수집 ▲데이터 보안 ▲데이터 활용, 3가지 축으로 분류하고 고객들은 기업에 적합한 액세스와 사용 정책을 적용하기 위해 데이터를 태그하고 분류할 수 있도록 했다.”라고 밝혔다.

또한 “각각의 데이터들은 기업들이 당면한 문제에 대해 어떻게 대응하는지를 보여준다. 이 개별적인 데이터 포인트들을 전체로 보면, 최신 AI 기술 기회를 활용한 조직의 통합적인 전략을 세울 수 있다.”라며 “생성AI 시대의 핵심 전략은 데이터를 바꾸는 근본적인 변화가 아니라 그 전략을 바로 실행하도록 하는 것이다. 이를 위해서 기업들은 광범위한 데이터 생태계에 펼쳐진 데이터소스를 오픈하고 공유해 데이터 사일로를 허무는 것이 중요하다.”라고 전했다.