"지금까지의 데이터는 AI에 적합하지 않았다. 전세계 데이터의 90% 이상이 비정형 데이터임에도, 이를 제대로 활용할 수 없었기 때문이다. 이런 비정형 데이터를 활용할 수 있는 데이터로 전환하는 과정을 자동화해 고객을 돕는 것이 바로 바스트 데이터의 목표다"

제프 덴워스(Jeff Denworth) 바스트 데이터 공동설립자는 8일 개최된 삼성동 그랜드인터컨티넨탈호텔에서 기자간담회에서 이같이 말하며, 이런 목표를 추구하기 위해 AI에 특화된 데이터 플랫폼인 ‘바스트 데이터 플랫폼(VAST Data Platform)’을 국내 시장에 선보이며 AI 시장 공략 전략을 발표했다.

‘바스트 데이터 플랫폼’은 데이터 수집, 정제, 학습, 추론에 이르는 ‘AI 기반 발견(AI-Assisted Discovery)’을 단일 플랫폼에서 구현하며 가속화해주는 AI 데이터 플랫폼이다.

제프 덴워스 공동설립자는 "지금까지의 AI 파이프라인을 구현하는 것은 상당히 복잡하고 어려운 일이었다. 이런 복잡한 과정을 통합하고 간소화한 것이 바로 데이터 플랫폼"이라고 설명한다.

바스트 데이터 플랫폼은 비디오, 이미지, 프리 텍스트, 데이터 스트림, 계측 데이터 등 정형 데이터와 비정형 데이터를 모두 포함한 전체 데이터 스펙트럼을 염두에 두고 설계됐으며, 이벤트 중심 아키텍처와 데이터 중심 아키텍처간 간극을 좁히기 위해 모든 프라이빗 또는 주요 퍼블릭 클라우드 데이터센터 내 데이터에 대한 액세스와 처리가 가능하고, 쿼리 가능한 시멘틱 계층(semantic layer)의 데이터 내 탑재로 자연 데이터 이해가 가능할 뿐 아니라 연속적, 반복적 데이터 컴퓨팅의 실시간 실행으로 각 상호작용과 함께 발전할 수 있다.

이번에 선보인 바스트 데이터 플랫폼은 VAST 데이터스토어(DataStore), VAST 데이터베이스(DataBase), VAST 데이터엔진(DataEngine), VAST 데이터스페이스(DataSpace) 등 4가지 요소로 구성되어 있다.

VAST 데이터스토어는 자연 데이터를 캡처해 서비스하기 위한 플랫폼으로, 스토리지 계층화를 제거하는 비정형 데이터를 위한 확장가능한 스토리지 아키텍처다. 엔터프라이즈 파일 스토리지와 오브젝트 스토리지 인터페이스를 제공하는 엔터프라이즈 네트워크를 연계하며, 빅데이터, HPC뿐 아니라 NVIDIA DGX SuperPOD 등 AI 슈퍼컴퓨터의 요구를 충족하도록 설계됐다.

VAST 데이터베이스는 비정형 데이터에 정형 데이터를 적용하기 위해 VAST 데이터 플랫폼에 추가된 시멘틱 데이터베이스 계층이다. 규모에 상관없이 신속한 데이터 캡처와 쿼리가 가능하도록 설계됐으며, 이벤트 스트림에서 아카이브에 이르기까지 실시간 분석이 가능하게 해 준다.

VAST 데이터엔진은 데이터센터와 클라우드 영역을 하나의 컴퓨팅 프레임워크로 통합하는 글로벌 기능 실행 엔진. SQL, 파이썬 등 주요 프로그래밍 언어와 이벤트 트리거 함수 등을 지원하며, 구체화되고 재생산 가능한 모델 훈련이 적용돼 AI 파이프라인을 더 쉽게 관리할 수 있게 해 준다.

VAST 데이터스페이스는 어느 위치에서 데이터가 들어오든 모든 액세스 포인트의 엄격한 일관성을 유지하면서도 모든 지점에서 고성능으로 데이터를 저장, 검색, 처리할 수 있도록 해주는 글로벌 네임스페이스다. VAST 데이터스페이스를 통해 온프레미스 데이터센터나 에지 환경에서 바스트 데이터 플랫폼을 구축할 수 있으며, 데이터스페이스 액세스를 AWS, MS 애저, GCP 등 주요 퍼블릭 클라우드 플랫폼으로 확장할 수 있다.

김태훈 바스트 데이터 코리아 상무는 “바스트 데이터 플랫폼은 지금까지 존재한 어떤 데이터 플랫폼과도 완전히 다른 플랫폼”이라면서 “실시간 분석을 통해 전세계에 분산된 고성능 네임스페이스에 정형과 비정형 데이터를 통합해 데이터 액세스나 대기 시간 등 근본적인 DBMS 문제를 해결할 뿐 아니라 AI 기반 기업들이 현재 시도조차 하지 못하는 문제들까지도 해결할 수 있는 근간을 제공하는 데이터 인프라”라고 강조했다.

한편, 지난해 1월 설립된 바스트 데이터 한국 지사는 아시아와 국내에서 아이티센 그룹 계열사인 콤텍시스템과 독점 총판 계약을 맺고 있으며, 대원씨티에스, 클로잇 등 30여개 이상의 파트너사를 두고 있다. 주요 고객사로 삼성전자, 현대차그룹, LX세미콘, 씨젠, 루닛 등을 확보하고 있으며, 이번 바스트 데이터 플랫폼 발표를 기반으로 내년도 폭발적인 성장을 기대하고 있다.

김태훈 상무는 "AI 인프라의 중요도가 점점 높아지고 있다. 실제 AI 개발 환경에서 가장 먼저 봉착하는 문제는 HDD와 플래시로 데이터 티어링돼 있어 원활한 데이터 관리와 활용이 어려우며, AI 개발 속도를 늦추는 원인이 되고 있다"며, "바스트 데이터 플랫폼이 제공하는 강력한 기능으로 성능과 가용성, 저전력, 높은 집적도와 데이터 절감 등의 이점으로 고객은 성능을 향상시키면서도 비용을 절감할 수 있다"고 설명했다.

또한 "과거 유니버설 스토리지와 같은 스토리지 소프트웨어 전문 기업에서 데이터 플랫폼으로 영역을 넓혀나가고 있는 바스트 데이터는 비정형 데이터와 정형 데이터를 하나의 파이프라인으로 수용하는 것이 목표"라며 HPC 분야를 중심으로 내년도 국내 시장 공략에 박차를 가할 계획이라고 밝혔다.

또한 유사한 기능을 제공하는 데이터 플랫폼 기업들은 클라우드 중심의 기능을 제공하고 있지만, 바스트 데이터 플랫폼은 에지에서 클라우드까지 엔드 투 엔드로 지원할 수 있다는 것이 가장 큰 차별화 포인트라고 설명했다.