글로벌 AI 및 데이터 서비스 기업 스노우플레이크(지사장 최기영)가 25일 기자간담회를 통해 자사의 비즈니스 철학, 데이터 상호운용성 및 AI 데이터 클라우드 생태계 등을 소개했다.

이번 행사는 최기영 지사장과 공동 창립자 베누아 다쥬빌(Benoit Dageville)와 티에리 크루아네스(Thierry Cruanes)가 참석했으며, 최 지사장의 스노우플레이크 키노트 이후 창립자들의 대담이 진행됐다.

데이터 상호운용성을 위한 개방형 플랫폼 전략

스노우플레이크는 데이터 웨어하우징부터 데이터 레이크, 사이언스, 엔지니어링, 애플리케이션 개발에 이르기까지 데이터 전 주기를 아우르는 클라우드 기반 플랫폼을 제공하고 있다.

SaaS 애플리케이션, 데이터베이스, IoT 기기 등 다양한 소스의 데이터를 오픈 테이블 형식으로 통합해, 데이터 애플리케이션 간 일관성 있는 트랜잭션 처리를 가능하게 한다.

특히, 메타데이터 기반 카탈로그를 통해 데이터의 검색·정리·관리·보안 통제를 지원하며, 다양한 API 연계를 통해 비즈니스 인사이트 도출, AI 분석, 데이터 공유를 원활하게 수행할 수 있는 데이터 상호운용성을 보장한다.

AI 기반 비정형 데이터 처리…‘AI 데이터 클라우드’ 생태계

한편, 전 세계 데이터의 80%가 온라인으로 전환됨에 따라, 기존에 처리하지 못했던 문서, 이미지 등의 비정형 데이터를 처리하는 것에 대한 요구가 증가하고 있다.

기존에는 비정형 데이터를 처리하는 방법이 없었다. 그러나 스노우플레이크는 상용화된 AI를 이용해 비정형 데이터를 벡터화해 정형화할 수 있게 됐다.

이러한 AI 기술과 클라우드 서비스를 기반으로 고객과 파트너의 서로 다른 데이터 아키텍처, 개별적 컴퓨팅 및 컨테이너 시스템, 프로그래밍 언어, 개별 클라우드, 거버넌스 등을 연결한 ‘적응형 아키텍처’를 통해 데이터 사일로를 극복한다.

특히, 확장성이 있는 아키텍처를 구현하기 위해 처음 아키텍처를 구축할 때 컴퓨팅과 스토리지를 분리해 개발했다. 또한 각각의 단일 엔진을 기반으로 멀티 클라우드를 구축했으며, 이용한 만큼만 비용을 내는 단순화된 관리형 서비스와 단일 거버넌스를 제공하는 ‘AI 데이터 클라우드’ 서비스를 지원하고 있다.

한편, 스노우플레이크는 포브스 글로벌 2000 기업(G2K) 중 745개사를 비롯한 다양한 산업 분야에서 1만 개 이상의 고객을 두고 있다.

고객은 스노우플레이크 마켓플레이스에 등록된 3044건의 데이터 세트, 데이터 서비스 및 스노우플레이크 네이티브 애플리케이션을 자유롭게 구매 및 사용할 수 있으며, 데이터 에이전트, AI 모델 배포, 비정형 데이터 처리를 모두 AI 데이터 클라우드에서 수행할 수 있다.

최 지사장은 “스노우플레이크는 시스템을 쉽게 하는 편의성, 모든 데이터와 컴퓨팅 등을 연결하는 생태계를 구축하는 연결성, 데이터 상호운용성과 대규모의 단일 보편적 거버넌스를 지원하는 신뢰성을 보장하는 완전 관리형 단일 플랫폼을 개발하고 있다.”라고 전했다.

“AI 플랫폼으로 확장”...LLM·코텍스·아크틱 전략 공개

최 지사장의 키노트 세션 이후 공동 창립자 베누아 다쥬빌과 티에리 크루아네스의 대담이 진행됐다. 대담은 스노우 플레이크의 약식 소개 이후, 사전 질문과 현장 질문에 대한 대답 순으로 진행됐다.

스노우플레이크는 페타바이트 급의 빅데이터를 처리 및 분석 함에 있어, 수많은 서버와 느리고 무거운 시스템으로 비용이 많이 들고 관리가 어려웠던 시스템을 온디맨드 형식의 클라우드 서비스를 제공하는 데이터 플랫폼을 시작으로, 클라우드 확장성을 통해 온디맨드 컴퓨팅을 지원해왔다.

기존의 데이터웨어하우스의 정형 데이터를 넘어 비정형 데이터까지 처리할 수 있는 플랫폼을 개발했으며, 이를 정형 데이터와 하나의 플랫폼으로 단순하게 만들고, 이를 대기업 뿐만 아니라 소규모 기업에도 아키텍처를 구축할 수 있도록 연구하고 있다.

먼저, AI의 발전 속도가 빨라짐에 따라 스노우플레이크는 어떤 비전을 갖고 있는가에 대한 질문에, 베누아 댜쥬빌 제품 부문 사장은 데이터 플랫폼으로 출발한 스노우플레이크는 AI 플랫폼으로 확장할 예정이며, 데이터를 확보한 클라우드를 목표로 AI와 데이터를 통합하는 작업을 진행하고 있다고 전했다.

또한, 데이터가 조직 밖으로 나가지 않도록 스노우플레이크 플랫폼 내에서 활용될 수 있도록 보안과 관련된 보장을 지원할 예정이며, LLM과 AI를 활용해 비정형 데이터를 추출하는 방향으로 개발이 진행중이다.

아울러, 누구나 데이터를 이용할 수 있는 데이터 민주화 구현을 위해 조직 내에서 자연어 질문들을 처리하는 ‘코텍스 서치(Cortex Search)’를 지원하고 있다.

다음으로, 오픈소스 프로젝트에 집중하고 있는 이유에 대해 티에리 크루아네스 전 CTO는 다양한 연동을 제공하는 아이스버그의 오픈 테이블로 고객의 선택권을 늘리고, 다양한 시스템을 운용할 수 있는 데이터 운용성을 지원해 데이터를 유동적으로 이용할 수 있다고 설명했다.

이어 그는 데이터 간 협업을 강조하며, 특정 애플리케이션을 온프레미스에 설치하는 경우, 해당하는 코딩에 대한 바운더리를 이해하고, 필요할 때 하이브리드 형태로 연결해 쓸 수 있는 것이 유용함을 설명했다.

향후 기술 개발 투자에 대해 두 사람은 자사의 AI 제품 ‘스노우 코텍스(Snow Cortex)’을 서버리스 서비스로 플랫폼을 이용하도록 개발할 예정이며, 오픈AI, 앤트로픽 등을 클라우드 상에서 플랫폼 상에 제공할 계획이라고 밝혔다.

또한 정보 추출, 문서 학습 등 특정 작업에 특화된 자체 LLM 모델 ‘아크틱(Arctic)’에 코텍스에서 제공하는 벡터 서치 기능을 도입했으며, 이를 기반으로 자연어 이해를 지원하는 코드화 시스템을 제공할 예정이다.

베뉴아 다쥬빌 제품 부문 사장은 “유럽 전역에 새로운 환경을 만들고자 하는 욕구가 증가하고 있다.”라며 “미스트랄 AI 등 새로운 기술이 나올 가능성이 증가하고 있으며, 따라서 프랑스 기업들을 비롯해 유럽 내 다양한 파트너 생태계를 구축하고 있다.”라고 전했다.