바야흐로 통신 기술의 발달, 사물인터넷(IoT), 센서 등을 통한 데이터 수집량 증가, 데이터 스토리지 기술의 고도화로 매 순간 엄청난 양의 데이터가 끊임없이 생성되는 빅데이터 시대다. 기업은 어마어마한 양의 데이터 속에서 기업에 필요한 인사이트를 추출해 경영 전략을 수립하고 위기에 대응해야 비즈니스 경쟁력을 갖출 수 있다. 

많은 기업이 ‘데이터 경영’을 내세우며 데이터를 활용해 미래를 예측하고, 분석 결과를 기반으로 의사결정을 내린다.  예를 들어 제조 기업은 자사 생산 비행기 엔진에 센서를 부착해 수집된 데이터를 분석해 실시간 엔진 상태를 점검하고, 정비 시기 알람을 받는다. 금융권은 데이터 분석으로 고객 성별·연령대별 소비 생활을 파악하고, 각각의 관심사에 맞는 금융상품을 설계해 출시한다. 이처럼 데이터 분석을 통해 도출된 인사이트는 고객 경험을 향상시킬 수 있는 서비스를 하고, 경영 전략 수립을 위한 의사결정의 기반이 되고 있다.

신기술로 진화하는 데이터 분석

데이터에서 인사이트를 추출하려는 노력은 오래전부터 시도 돼 왔다. 1980년대부터 연구된 의사결정 지원 시스템(DDS)이 바로 그것이다. 하지만 DSS로 분석할 수 있는 데이터는 정형화된 데이터로 한정돼 있었다. 또한 관계형 데이터베이스를 주로 사용함에 따라 정량화할 수 없는 비정형 데이터를 처리하지 못해 심층 분석이 어렵고, 처리 속도가 느리다는 단점이 있었다. 인력과 시간을 비롯한 자원도 많이 필요했다. 그러나 이제는 과거와는 달리 정형과 비정형을 막론하고 수많은 데이터를 실시간으로 수집해 분석해야 한다.

최근의 세계 경제 상황은 글로벌 공급망 재편, 유동성 공급으로 인한 인플레이션, 지정학적 위기 등 다양한 원인으로 불확실성이 높아만 가고 있다. 기업들은 불확실하고 빠르게 변하는 환경에 유연하고 정교하게 대응해야 비즈니스를 지속할 수 있고 새로운 기회도 찾을 수 있다.  결국 정확한 의사결정을 위한 정교하고 신속한 데이터 분석이 절실하다.

다양한 돌발 상황에 빠르게 대처하고, 유리한 의사결정에 필요한 인사이트를 도출하는 데이터 분석 기술은 지속적으로 발전하고 있다. 데이터 분석은 실시간으로 수집한 데이터를 활용하고 정형과 비정형을 비롯한 모든 데이터를 분석해 패턴을 식별하고 인사이트를 도출하는 방식으로 진화해왔다. 이러한 기술의 발전에 따라 데이터 분석 솔루션은 데이터 레이크를 통해 비정형 데이터를 축적하고, 데이터 웨어하우스를 구축해 대량의 데이터를 관리할 수 있으며, 통합된 플랫폼상에서 BI, 자동 리포팅 등을 구현하고 있다.

최근에는 인공지능/머신러닝(AI/ML) 등의 신기술이 접목돼 방대한 데이터를 빠르게 분석하고 있다. AI는 데이터 생성에서 폐기에 이르는 라이프사이클 전반을 아우르는 관리가 가능하게 한다. 데브옵스(DevOps)와 동기화된 AI 모델을 운영하는 모델옵스(ModelOps) 접근 방식을 활용해 비즈니스와 AI의 긴밀한 협력으로 실패 확률을 낮추고 빠른 분석이 가능해졌다. 이처럼 데이터 분석 솔루션은 점차 고도화되고 있으며, 현대적인 데이터 분석 솔루션에 대한 사용자의 기대감 또한 늘어가고 있다.

기업들의 데이터 분석에 대한 요구가 높아지면서 이 시장은 급격한 성장세를 보이고 있다. 글로벌 시장조사기관 GII는 세계 빅데이터 시장 규모는 2021년부터 연평균 성장률 18%로 2025년에는 2473억 달러의 규모에 이른다고 전망한다.

IDC는 국내 빅데이터 및 분석 시장은 향후 5년간 연평균 성장률 6.9%를 기록하며, 2025년까지 2조 8353억 원의 규모에 이를 것으로 예상한다. 기업들의 디지털 전환으로 인해 급증한 기업 내 데이터를 효율적으로 분석해, 비즈니스 경쟁력을 확보하려는 시도가 확대되며 데이터 분석 솔루션에 대한 수요는 지속적으로 높아질 것으로 예상하고 있다.

현대적인 데이터 분석 방법

과거와  달리 현재의 데이터는 양적으로나 숫적으로나 어마어마하다. 때문에 느리고 정형화됐던 기존의 방식이 아닌 새로운 방식의 데이터 분석이 필요하다. 최근의 데이터 분석 과정은 대부분 수집, 저장, 처리, 분석 이후 시각화라는 순서를 거친다.

우선 데이터 수집 단계에서는 데이터 소스를 식별하고 수집하는데, 정형, 반정형, 비정형 데이터 유형에 따라 수집하는 데이터의 종류와 기술이 달라진다. 수집이 끝나면, 분석을 위한 별도의 저장소에 저장되고 추출, 전환, 적재(Extract, Transform, Load, 이하 ETL) 또는 추출, 적재, 전환 (Extract, Load, Transform, 이하 ELT) 프로세스로 이어진다. 

ETL은 다양한 소스의 데이터를 데이터 웨어하우스와 같은 대형 중앙 집중식 리퍼지토리(Repository)에 결합하는 과정이다. 정형 및 비정제 데이터를 정리하고 구성하며, 개별 원시 데이터 세트를 분석에 적합한 형식과 구조로 수정한다. 이는 데이터를 스토리지, 데이터 분석, 머신러닝용으로 쓸 수 있게 준비하는 과정으로 데이터를 소스 시스템에서 대상 시스템으로 정기적으로 이동하는 방식이다.

ETL 프로세스는 모든 BI 애플리케이션에서 설계 및 개발되는 복잡한 프로세스다. 새로운 BI가 만들어질 때마다 ETL 프로그램을 확장하면 복잡해지는 단점이 있다. ELT는 ETL의 확장 기능으로, 데이터 처리 전 대상 시스템에 직접 데이터를 로드할 수 있다. 사용하는 데이터 웨어하우스 내에 데이터 매핑 기능이 있어 중간의 대기 장소인 스테이징 환경을 만들지 않아도 되는 장점이 있다. 최근에는 이동시킬 데이터베이스로 변환할 때 필요한 처리 능력을 제공하는 클라우드 인프라가 주목받고 있다. ELT는 로드가 잦은 대량의 비정형 데이터 세트 또는 빅데이터를 다룰 때 적합하다.

최근엔 데이터를 물리적으로 이동하는 것에 대한 우려로 물리적으로 추출, 변환 또는 로드하지 않는 데이터 가상화 기술도 쓰이고 있다. 데이터 가상화는 이기종 시스템에 분리되어 있는 엔터프라이즈 데이터를 통합하고, 통합 데이터의 보안과 거버넌스를 중앙에서 처리하며, 현업 비즈니스 사용자에게 통합 데이터를 실시간으로 제공한다. 애플리케이션이 데이터에 접근하는데 있어 데이터가 어떠한 형식이건, 어디에 저장되어 있건 세부적인 기술 사항을 요구하지 않으면서 데이터를 검색하거나 수정할 수 있다.

데이터를 이동하고 저장하기 위한 소스 및 타깃용이라는 별도의 플랫폼 구축과 관리가 필요 없고, 가상 통합 데이터 리퍼지토리로도 사용할 수 있어 ETL과  물리적 웨어하우징 등의 대안으로 떠오르고 있다.

저장 이후에는 전처리(pre-processing)와 과정을 거친다. 전처리는 데이터를 분석과 처리에 적합한 형태로 만드는 과정으로, 필터링, 유형 변환, 정제 방식이 있다. 

데이터 수집이 끝나면, 데이터로부터 의미를 뽑아내고 합리적인 의사결정에 활용할 수 있는 인사이트를 도출하는 분석이 이어진다. 이 단계에서 분석 쿼리에서 정확한 결과를 얻도록 데이터를 변환하고 구성한다. 여기서 기술 분석, 진단 분석, 예측 분석, 처방 분석 등 처리 유형을 정한다.

분석 단계는 기계 학습이나 데이터 마이닝 분야에서 이미 사용되던 분석 기법의 알고리즘을 개선해 사용하는 경우가 많다. 패턴과 행동을 예측하는 분석 모델을 빌드하는 예측 분석과 사용자가 즉각적으로 인사이트를 확보할 수 있도록 플랫폼 간 데이터를 저장, 처리 및 분석하는 실시간 분석 방식 등이 이용된다. 분석에 불필요한 데이터를 필터링한 후, 마지막 분석 단계에서 원시 데이터를 실행할 수 있는 인사이트로 변환한다. 

시각화의 과정은 도출된 의미 있는 결과를 바탕으로 직관적으로 알 수 있도록 표현한다. 시각화는 막대그래프, 선 도표, 면적그래프, 원그래프 등 다양한 유형이 제공된다.

각축전 뜨거운 데이터 분석 플랫폼

높은 데이터 분석 플랫폼 시장 성장 가능성으로 많은 기업들이 시장 선점을 다투고 있다. 기존 업체들의 분석 솔루션에 AI, 빅데이터, 클라우드 등 최신 기술을 적용하면서 현대적인 데이터 분석 플랫폼으로 재무장 하는 경우도 늘고 있다. 현재 이 시장에는 구글이나 AWS, 마이크로소프트 애저(Azure) 등의 주요 퍼블릭 클라우드 서비스 업체는 물론이고, 전통적인 데이터 관리 솔루션 업체, 데이터 시각화 특화 업체 등 다양한 기업에서 활발한 경쟁을 벌이고 있다.

① IBM, AI 기반 올인원 데이터 분석 지향

점차 기업의 데이터 담당자, 데이터 사이언스 엔지니어, App 개발자 등 다양한 직군의 데이터 접근이 늘어나고 있다. 다양한 데이터 분석을 원한다면 IBM 클라우드 팩트 포 데이터(Cloud Pak for Data)가 추천된다. IBM 클라우드 팩트 포 데이터는 데이터 패브릭 아키텍처를 채택해 프라이빗, 퍼블릭 클라우드 등 구축 환경과 정형, 비정형 데이터 등을 모두 지원하고, 환경의 제약이 적고, 데이터 이동 없이 동일한 인터페이스를 사용할 수 있어 여러 부서의 협업에 적합하다. 

AI 기반으로 데이터 수집, 통합(구성), 분석, 적용 단계가 이뤄진다.  데이터옵스(DataOps)의 관점으로 ‘왓슨 날리지 카탈로그’가 구동되며 데이터 수집과 구성에 관여한다. 이후 구성과 분석은 MLOps를 위해 ‘왓슨 스튜디오’, ‘오토 에이아이’, ‘오픈 스케일’ 등을 활용하며, 구축된 AI의 의사결정 과정을 이해하고 편향성을 모니터링 하며, 모델 관리에 대한 거버넌스 수립이 '오픈스케일', ‘오픈페이지스’ 등을 통해 이뤄진다. 

셀프서비스 기능도 갖춰 모든 사용자가 자유로운 데이터 활용이 가능하다. 또한, 하나의 클라우드·데이터 센터에서 분석과 활용이 가능하고, 다른 클라우드 환경으로의 배포와 확산도 자유롭다. AI 기반으로 자동화해 도입 시 데이터 및 AI로부터 인사이트를 얻는 주기를 12개월에서 6주까지 단축할 수 있다. 

② AWS, 데이터 레이크·데이터 웨어하우스·오픈 소스 분석까지

AWS는 모든 데이터 분석 요구사항에 부합하는 포괄적인 분석을 서비스한다. ‘Amazon S3’ 클라우드에서 확장할 수 있는 객체 스토리지를 서비스하는데 이것을 데이터 레이크로 구축할 수 있는 ‘AWS 레이크 포메이션(AWS Lake Formation)’ 솔루션을 제공한다. 데이터 레이크는 대량의 데이터를 간단하게 원시 형식으로 저장할 수 있다. 짧은 대기 시간에 적게 쓰기를 처리하도록 고안돼 대규모 데이터 처리에 적합하다. 더불어 AWS는 데이터 웨어하우스 서비스 ‘아마존 레드시프트(AWS Amazon RedShift)’도 지원한다.

‘AWS Amazon EMR’은 워크로드에서 아파치 스파크, 아파치 하이브, 하둡, 프레스토 등 다양한 오픈소스 프레임워크를 지원한다. EMR은 쉽게 구동할 수 있고, 페타바이트급 데이터 처리, 대화식 분석 및 기계 학습을 할 수 있다. 프레임워크와 버전을 선택하고 이후 ‘Amazon EC2’, ‘Amazon EKS’, ‘AWS Outposts’ 같은 오픈소스 프레임워크 혹은 서버리스를 선택해 데이터 플랫폼 내 다양한 인프라 기반에서 애플리케이션을 설치할 수 있다.

③ 마이크로소프트, 데이터 관리에서 분석까지

마이크로소프트는 사용 목적에 맞는 분석 솔루션으로 ▲데이터 통합, 엔터프라이즈 데이터 웨어하우징, 빅데이터 분석을 결합한 무제한 분석 서비스 ‘애저 시냅스 애널리틱스’ ▲대규모 중요 비즈니스용 기계 학습 모델을 위한 ‘애저 머신 러닝’ ▲조직 내 모든 수준의 사용자가 셀프서비스 분석을 할 수 있도록 돕는 ‘파워 BI’ ▲아파치 스파크 기반 빅데이터 분석 및 AI 기능을 제공하는 ‘애저 데이터브릭스’ ▲엔터프라이즈의 고객 데이터 분석 플랫폼 ‘커스터머 인사이츠’ 등을 제공하고 있다.

간소화된 하이브리드 데이터 통합을 위해서는 ‘애저 데이터 팩토리’를 제공한다. 이를 통해 환경 내에서 ETL 및 ELT 프로세스를 코딩 없이 손쉽게 생성하거나 코드를 직접 작성할 수 있다. 통합된 데이터는 애저 시냅스 애널리틱스로 제공돼비즈니스 인사이트를 추출할 수 있다. 

④ 구글 클라우드, 경제적인 데이터처리와 지능형 데이터 패브릭 제공

구글 클라우드의 ‘데이터플로우(Dataflow)’는 빠르고 경제적인 가격의 서버리스 방식인 통합 스트리밍 및 일괄 데이터 처리를 제공한다. 데이터 생성 즉시 활용할 수 있어 스트림 분석에 유용하다. 구글은 ‘펍/섭(Pub/Sub)’을 통한 수집, 서버리스 멀티 클라우드 엔터프라이즈용 데이터 웨어하우스 빅쿼리와 데이터플로우의 조합을 추천한다. 

데이터플렉스(Dataplex)는 일관된 제어로 데이터 레이크, 데이터 웨어하우스 및 데이터 마트 전반에서 조직이 데이터를 중앙 집중식으로 관리, 모니터링 할 수 있는 지능형 데이터 패브릭이다. 데이터 이동 없이 분산된 데이터를 검색, 조정 및 통합하고 비즈니스 요구사항에 따라 구성하고 중앙에서 관리, 모니터링 및 통제할 수 있다.

데이터플렉스는 데이터 이동이나 복제가 필요하지 않은 방식으로 데이터를 관리한다. 새로운 데이터 소스를 식별하면, 플랫폼 내에서 내장된 데이터 품질 검사를 사용해 구조화된 데이터와 구조화되지 않은 데이터 모두에 대한 메타데이터를 수집해 데이터 무결성을 지킨다.

⑤ SAP, 다양한 환경의 데이터 인텔리전스 구현

SAP의 솔루션은 구축 환경에 구애받지 않고 데이터 통합, 모델링, 관리가 가능하다. ‘SAP 하나 클라우드(SAP HANA Cloud)’ 데이터베이스가 DBaaS(Database as a Service) 형태로 제공된다. 클라우드 기반으로 실시간 데이터를 비즈니스 의사결정 방식에 반영하며, 높은 클라우드 네이티브 확장성, 속도, 성능을 제공한다. 

SAP의 솔루션은 계획 기능을 통합해 인사이트 및 예측을 엔터프라이즈 전반에 걸친 빠른 실행 계획으로 전환해 일관성 있는 운영 관리가 가능하다. ‘SAP 데이터 인텔리전스’, ‘SAP 마스터 데이터 거버넌스’ 등으로 데이터 관리, 식별, 수집, 분석을 실행한다. 분석과 비즈니스 인텔리전스는 AI 기반으로 이뤄지며 분석 및 계획 외에도 ‘SAP 애널리틱스 클라우드’를 통해 ▲셀프서비스 데이터 모델링 및 준비 ▲데이터 탐색 및 시각화 ▲증강 분석 ▲What-if 시뮬레이션 등을 지원한다.

⑥ 태블로, 셀프 서비스까지 가능한 데이터관리 플랫폼

태블로 데이터 관리 플랫폼은 전체 데이터 및 분석 주기에 걸쳐 데이터 자동화 및 운용을 확장하여 신뢰할 수 있는 셀프 서비스 분석을 제공한다. 인텔리전트 데이터 흐름, 데이터 준비, 모든 데이터를 더 쉽게 탐색, 이해, 연결, 신뢰할 수 있는 카탈로그 기능의 힘을 한데 모아 플랫폼의 거버넌스와 보안 기능을 강화한다.

이 플랫폼은 중요한 메타데이터와 데이터를 탐색하여 인사이트를 발견하고 이용할 수 있고 데이터 컨텍스트와 관계를 이해하여 분석 주기의 모든 단계에서 해답을 제공한다. 엔터프라이즈 데이터와 원본을 비즈니스 성장과 혁신을 추진하는 데 사용되는 응용 프로그램에 연결한다. 데이터 무결성과 보안을 신뢰할 수 있어서 적시에 데이터에 액세스하고 사용할 수 있다.

⑦ 팁코, 실시간 BI 도출에 강점

팁코 하이퍼 컨버지드 분석(TIBCO Hyperconverged Analytics)은 상황에 맞는 시각적 분석, 데이터 과학 및 스트리밍 기능으로 실시간 비즈니스 인사이트 도출을 지원한다. 이를 위해 진단, 예측 및 규범적 분석을 위한 몰입형 스마트 실시간 분석 환경을 제공한다. 비즈니스 이벤트, 이벤트에 대한 실시간 분석 및 이에 대한 조치 사이의 시간을 단축해 더 나은 통찰력을 제공해 비즈니스 결과를 향상시킨다.

팁코의 하이버 컨버지드 데이터 분석 솔루션은 유연하게 통합된 분석 접근 방식과 BI가 강한시각화 솔루션 팁코 스팟파이어(TIBCO Spotfire)를 활용하면 시각적 분석, 데이터 검색 및 포인트 앤 클릭 통찰력을 위한 단일 창에서 관리가 가능하다. 맞춤형 분석 애플리케이션도 빠르게 생성하며, 연결된 반응형 시각화를 사용하여 다층 데이터 소스를 내리거나 교차하여 서로 다른 데이터를 대화형으로 탐색한다.

팁코 스팟파이어 솔루션은 애플리케이션을 사용하여 규모에 맞게 현명하고 예측 가능한 통찰력을 쉽게 제공한다. 협업적이고, 통제되고, 안전한 엔드 투 엔드 분석 라이프사이클을 지원하는 플랫폼으로 분석 모델을 원활하게 구현, 관리 및 모니터링할 수 있다.

IoT 및 기타 스트리밍 데이터의 데이터를 빠른 속도로 분석, 지속적으로 쿼리 및 작업할 수 있다. 팁코 스팟파이어 데이터 스트림 또는 팁코 스트림 소프트웨어로 초고속 연속 쿼리 처리 엔진을 통해 신속하게 구현하여 새로운 의사 결정 및 모델에 따라 조치를 취하는 지능형 실시간 애플리케이션으로 운영 분석의 수준을 향상시킬 수 있다.

⑧ 효성인포메이션시스템, 빅데이터 통합과 분석 강화 플랫폼

효성인포메이션시스템의 펜타호(Pentaho)는 세계 수 천여 고객을 확보한 빅데이터 통합 분석 플랫폼이다. 하이브리드 및 멀티 클라우드 환경 연동이 쉽고 정형 및 비정형 데이터에 대한 실시간 수집 및 통합 작업부터 머신러닝 모델 구축 및 업데이트, 모델 기반 고급 분석, 시각화와 리포팅까지 데이터 분석의 전 과정을 모두 제공한다.

전통적인 DBMS를 비롯해 웹에서 발생하는 Json, xml, 각종 로그, 빅데이터 환경인 하둡 또는 S3(클라우드 볼륨), AWS, 애저 클라우드 환경에서도 데이터를 수집한다. 여러 형태의 데이터를 수집하고 통합 및 전처리 과정을 통해 분석 가능한 데이터로 가공한다. OLAP 배치 작업뿐만 아니라 실시간 데이터 처리도 원활하게 지원한다.

다양한 소스에서 수집된 데이터를 블랜딩(전처리, 변환작업 등)하는 과정을 하나의 워크플로로 구현한다. 또 R과 파이선 등 오픈소스 분석엔진 라이브러리를 직접 사용해 머신러닝 및 딥러닝 알고리즘 기반 분석·예측 모형을 개발할 수 있다. 머신러닝 기반 모형 구축부터 실시간 업데이트까지 전 과정 자동화를 구현한다. 기존 워크플로 단계별 엔터프라이즈 레벨의 보안 및 관리가 가능해 보안 운영도 강화됐다.

⑨ 스노우플레이크, 3단계 데이터 클라우드 플랫폼

스노우플레이크 데이터 분석 플랫폼은 데이터 사일로를 제거할 수 있고, 물리적으로는 분리됐지만 논리적으로 통합된 스토리지를 갖췄다. 하나의 데이터 복사본에 대해 무제한 동시 워크로드를 적용할 수 있다. 내장된 레플리케이션 및 페일오버·페일백 기능은 비즈니스 연속성 요구사항을 충족한다. 또한, 완전 관리형 데이터 클라우드로 반응형·협업형·예측형을 지원한다. 

스노우플레이크의 데이터 클라우드 아키텍처는 스토리지 계층과 멀티 클러스터 컴퓨팅, 클라우드 서비스로 나뉜다. 스토리지는 중앙 집중식으로 데이터를 명시적으로 분할하지 않아도 페타바이트 단위의 테이블 크기에 대한 쿼리 응답 시간이 1초 미만이다. 스토리지 계층에서 완전히 분리된 컴퓨팅 계층이 자체 전용 컴퓨팅 클러스터에서 숫자 제한 없이 거의 모든 워크로드 실행이 가능하다. 클라우드 서비스는 클라이언트 세션, 메타데이터, 트랜잭션, 쿼리 계획, 보안/거버넌스, 기타 여러 가지 서비스를 관리한다.

⑩ 마이크로스트래티지, 강화된 엔터프라이즈와 임베디드 분석

마이크로스트래티지는 엔터프라이즈 분석과 임베디드 분석 솔루션을 제공하고 있다. 엔터프라이즈 분석 플랫폼 상에서 셀프서비스 탐색을 지원하는 ‘마이크로스트래티지 도시에(MicroStrategy Dossier)’는 사용자 친화적인 도구로 드래그 앤 드롭 방식과 직관적인 포맷 옵션으로 누구나 쉽고 빠르게 개인화된 대화형 분석 콘텐츠를 만들 수 있다. 이 외에 협업과 통제할 수 있는 중앙화된 플랫폼 아키텍처를 지원한다.

임베디드 분석 플랫폼은 오픈 클라우드 네이티브 아키텍처로 데이터 액세스 제한을 줄였다. ISO 27002 프레임워크, NIST SP 800-53 요건 등을 충족해 보안을 강화했으며, DevOps 자동화가 가능하다. 테넌트 온보딩, 프로비저닝 및 액세스 제어를 자동화해 속도와 안정성이 높다.