AI 황금기라고 할만큼 컴퓨팅 인프라에서 애플리케이션 기업들까지 전 산업에서 AI 활용에 중심을 두고 있어 관련 기업들이 고객들의 AI 활용을 극대화를 돕는 방안을 제시하고 있다.

기업들은 방대한 데이터를 효과적으로 저장, 처리, 관리하는 플랫폼을 제공하여 AI 모델의 훈련과 배포를 지원하고 실시간 데이터 통합과 고속 분석을 통해 기업이 신속하고 정확한 의사결정을 지원한다. 여기에 데이터 사이언티스트와 분석가들이 효율적으로 협업할 수 있는 환경을 제공하면서  AI 기반 혁신을 가속화하고 기업의 경쟁력을 강화하고 있다.

글로벌 데이터 클라우드 기업 스노우플레이크(지사장 최기영)가 19일 인터컨티넨탈 서울 코엑스에서 기자간담회를 열고 지난 6월 3일부터 6일까지 미국에서 열린  연례행사 ‘스노우플레이크 데이터 클라우드 서밋 24’의 주요 내용과 스노우 플레이크의 엔터프라이즈 AI 전략 및 플랫폼과 활용법을 소개했다.

이 자리에는 최기영 스노우플레이크 코리아 지사장과 조성현 세일즈 엔지니어링 전무가 참가해 스노우플레이크의 플랫폼 전략과 고객을 위한 활용법을 설명했다.

엔터프라이즈 AI에 중심 둔 데이터 플랫폼으로

먼저, 최기영 지사장은 ‘스노우플레이크 데이터 클라우드 서밋 24’에는 1만5천명 이상의 참석자, 4000개의 파트너사, 460개의 세션으로 진행돼 성황을 이뤘다고 전했다. 또한 넥슨의 분석 플랫폼 ‘모노레이크’가 데이터 레이크 분야에서 수상했으며, 한국에서 진행하는 파일럿 프로젝트 등에 대해서도 언급했다.

최 지사장은 "스노우플레이크는 2014년 스토리지와 컴퓨팅 데이터를 디컴플링하고, CSP 상에서 데이터 압축률을 높이고 핫 스탠바이 형태의 클라우드 서비스 구현을 시작으로 2018년  ‘커넥티드 데이터’ 비즈니스,  2022년부터 ‘프로그래머블 데이터’ 비즈니스, 현재는 데이터 파운데이션 기반의 엔터프라이즈 AI에 특화된 사업을 전개하고 있다."스노우플레이크의 비즈니스 진화의 과정을 소개했다.

스노우플레이크는 기업의 AI 활용을 돕기 위해 데이터 거버넌스 및 컨트롤을 유지하면서 AI를 데이터 플랫폼에서 운용할 수 있도록 AI 레이어 위로 데이터 플랫폼을 설계하고, 이를 멀티 클라우드와 연동 및 마켓플레이스 개발 등으로 협업을 지원하고 있다고 한다. 최근에는 아파치 아이스버그를 지원하면서 외부 스토리지도 스노우플레이크의 데이터 플랫품에서 활용할 수 있게 했다.

최 지사장은 "폴라리스 카탈로그 등 오픈소스 플랫폼을 통해 이기종 데이터 간 상호작용을 위해 다양한 데이터 플랫폼과 상호작용할 계획이다. 또한 AI를 활용한 애플리케이션이 빠르게 개발되고, 거버넌스가 이뤄지며, 부서나 기업 간의 장벽을 허물도록 지원할 예정이다."이라고 한다.

AI 데이터 클라우드 플랫폼, AI·ML 기능으로 데이터 통합

조성현 스노우플레이크 한국 세일즈 엔지니어링 전무는 서밋에서 발표된 스노우플레이크의 ‘AI 데이터 클라우드 플랫폼’과 기술에 대해 소개했다.

조 전무는 "스노우플레이크의 AI 데이터 클라우드 플랫폼은 온프레미스에서 설계된 데이터 아키텍처의 탄력성과 유연성을 지원하는 클라우드 스택 기반의 플랫폼에 AI를 접목시켜, AI, ML 등의 기능을 제공한다고 했다.  이는 기업 내 존재하는 여러 데이터들을 플랫폼에 통합하고, 통일된 워크로드를 실행한다. 데이터 레이크, 메쉬, 패브릭 등의 모든 데이터 유형을 단일 플랫픔오로 제공하며, 유즈 케이스마다 별도의 실행 환경을 구축할 필요가 없다."고 강조한다.

AI 데이터 클라우드 플랫폼에는 ‘폴라리스 카탈로그(이하 ‘폴라리스’)’와 ‘스노우플레이크 호라이즌(이하 ‘호라이즌’)’가 추가됐다. 

폴라리스는 데이터 플랫폼 아파치 아이스버그를 기반으로 케이스별 데이터를 선택하고 관리하는 등 파일의 메타정보를 관리하는 오픈소스 카탈로그로 ‘벤더 종속’을 해결하고, 엔터프라이즈 환경 안에서만 활용도를 높이도록 개발됐다. 폴라리스는 이 카탈로그 사일로를 극복하고, 데이터 소유권, 단일 데이터 활용성 증가, 실행 엔진에 대한 취사 선택을 해결하는 통합된 글로벌 카탈로그(Unified Global Catalog)를 지원한다.

호라이즌은 분산된 보안과 거버넌스를 통합하고 표준화해 접근 히스토리나 거버넌스의 UI를 지원하며, 계정 내의 파이프라인 등 데이터 객체 간의 관계 모니터링을 지원한다. 또한 민감한 데이터를 자동 분류하고, 태그를 통한 유사 정보 자동 분석 기능을 지원한다. 이는 AI가 데이터마다 자동으로 주석을 달아주는 기능으로, 관리하는 테이블이 많은 경우, 데이터를 자동으로 분류한다.

한편 서밋에서 키워드 기반 데이터베이스 통합 검색 솔루션 ‘유니버셜 서치’와 스노우플레이크 플랫폼 구성 관련 질문을 자연어로 처리하는 LLM 기반의 검색 기능, 동일하고 반복적 워크로드 쿼리 실행을 단축하도록 시간 경과에 따라 성능을 측정하는 매트릭 정보인 ‘스노우플레이크 퍼포먼스 인덱스’가 추가됐다고 전했다.

엔터프라이즈 AI 확장해 AI 활용 극대화

조성현 전무는 기업들이 AI 활용을 극대화할 수 있는 엔터프라이즈 AI  확장 기능도 소개했다.

우선 기업의 AI 활용을 돕기 위해 조 전무는 "데이터가 있는 환경에서 AI와 ML에 관련된 작업을 쉽게 개발·배포·활용하는 것에 초점을 맞췄다. 이에 별도의 인프라 구축 없이 데이터가 제공되는 통합된 글로벌 데이터 플랫폼를 지원한다."라며, 스노우플레이크의 글로벌 통합 데이터 플랫폼 전략에 대해 AI와 ML의 기능 제공, 쉬운 개발 도구, 보안(컴플라이언스)을 꼽았다.

조 전무는 "스노우플레이크 플랫폼 내에는 ▲여러 비정형 및 반정형 데이터를 챗봇 서비스로 구현하는 Cortex Analyst 및 Search ▲pdf같은 비정형 데이터를 분석하는 도큐먼트 AI ▲SQL 도우미 코파일럿 등 여러 AI 모델이 포함됐다."고 설명했다.

플랫폼에 탑재된 LLM 모델로는 Summerize, Sentiment, Extract Answer, Translate와 같이 특정한 작업 맞춤형 모델과, 아틱이나 젬마, 라마2-3 등 오픈소스 범용형 파운데이션 모델이 있다고 했다. 또한 특정한 산업에 특화된 모델의 경우 스노우플레이크의 마켓플레이스에서 다운로드 할 수 있다고 전했다.

AI와 ML의 쉬운 개발 도구로, AI/ML 관련 UI 기반 노코드 인터페이스 ‘AI & ML 스튜디오’ 와 최적화된 LLM 모델을 탐색하는 모델 테스트 인터페이스 ‘챗 플레이그라운드’가 있다고 설명했다. 

데이터 파운데이션 강화된 애플리케이션 빌드 및 배포

기업에서 활용되려면 애플리케이션의 빌드와 배포가 중요하다. 이에 대해 조 전무는 "데이터 파운데이션을 강화하고 AI 및 ML 모델을 개발해서 새로운 비즈니스 인사이트를 찾았다. 그러나 현재는 전문 지식이 없는 현업 사용자들도 데이터 과학자들이 찾은 인사이트에 쉽게 접근해서 이를 활용하는 것에 방점을 뒀다."고 전했다.

스노우플레이크는 데이터가 있는 환경에서 애플리케이션을 개발할 수 있는 풀스택을 제공하며, 애플리케이션 라이프사이클 전반 데브옵스 자동화, 옵저버빌리티를 개선했다.

맞춤형 AI 앱 구축을 위해 엔비디아와 협력을 강화했다.  엔비디아에서 제공하는 여러 가지 애플리케이션 프레임워크를 스노우플레이크의 마켓플레이스에서 공급해 엔비디아에서 제공하는 라이브러리를 통해 쉽게 개발할 수 있다고 밝혔다.

기존의 사용자가 원하는 실행환경을 만들 수 있도록, 모든 언어를 통해 컨테이너를 빌드할 수 있게 했다. 특히 완전 관리형 서비스로 지원하므로 쿠버네티스와 도커 이미지 등을 관리할 필요가 없다.

‘깃 인테그레이션(Git Integration)’은 스노우플레이크 컨테이너를 통해 만든 ‘네이티브 애플리케이션(이하 ‘네이티브 앱’)’과 데이터 파이프라인, SPCS 등에 대해 자동화된 CI/CD 파이프라인을 구축할 수 있다고 한다.

또한 데이터독, 그라파나, 메타플레인 등 서드 옵저버빌리티 도구를 통합해 스노우플레이크에서 제공하는 옵저버빌리티에 관련된 모든 기능을 감독할 수 있는 ‘스노우플레이크 트레일(Snowflake Trail)’도 기업에 도움이 된다고 했다.

카피 히스토리, 테스크 그래프, 다이나믹 테이블 그래프 등의 플랫폼 UI를 개선과 스노우파크 작업 모니터링을 지원하는 트레이싱 기능, 스노우파크 코드에서 작성된 로그를 검색하는 로그 익스플로러(Log Explorer), 고객사 전용 데이터 공유 포털 ‘인터널 마켓플레이스(Internal Marketplace)’ 등도 주목할 기능이라고 덧붙였다.

최 지사장은 기술 향상에 대해 “스노우플레이크는 데이터, 모델, 애플리케이션만 지원하는 다른 데이터 플랫폼과 달리 전반적 거버넌스를 지원하는 통합 데이터 플랫폼이다."라며, 국내 비즈니스에 대해서는 “2년 만에 국내 고객사 100곳 이상을 확보했으며, 삼성, LG 같은 국내 10대 대기업 중 절반은 스노우플레이크 서비스를 사용하고 있다."라고 자신한다.

향후 비즈니스 확대 전략에 대해서 최 지사장은 "고객이 더 안전하고 신뢰할 수 있는 AI를 이용할 수 있도록 AI 애플리케이션 개발의 엔드 투 엔드 솔루션으로 ROI를 고려하는 기업의 요구에 맞게 토큰이나 파라미터, GPU 차지를 최적화하고, 오픈소스의 개방성을 이용해 자동화와 생산성을 향상시킬 것이다."고 강조했다.