‘벅 로저스(Buck Rogers, 1939)’와 ‘더 플라이(The Fly, 1950)’와 같은 초기 공상 과학 영화들에서 순간이동 기술이 묘사되긴 했지만, 실시간으로 생명체를 옮기는 것을 SF 기술로 만든 것은 스타트랙의 수송실이었다.

실시간 물질 전송이 가능한 기술은 아직 구현되지 않았지만 현대 과학은 빛보다 빠른 속도로 모든 거리에서 정보 전달을 용이하게 하기 위해 중첩과 양자 순간이동과 같은 개념을 추구하고 있다. 알베르트 아인슈타인 덕분이다.

이러한 미래 기술이 도래할 때까지 기다릴 필요가 없다. 오늘날 데이터 실무자들은 이미 실시간 데이터 파이프라인을 사용해 웹사이트 최적화부터 반응적이고 예측 가능한 이행 및 배송 라우팅에 이르는 광범위한 사용 사례를 지원하고 있다. iPaaS와 ETL 서비스를 포함한 최신 데이터 흐름은 유용한 데이터를 거의 즉시 다운스트림 앱으로 이동할 수 있다. 생성AI의 출현으로 예측 소프트웨어 애플리케이션 및 분석을 위한 실시간 데이터의 사용과 가치가 크게 증가하고 있다.

일괄 처리에서 스트리밍까지

데이터 일괄 처리는 펀치 카드 컴퓨팅 시대부터 저장 및 처리 능력에 대한 실질적인 제한 기능이 확립된 패러다임이다. 클라우드 컴퓨팅의 등장으로 일괄 처리에서 실시간 또는 ‘인스트림’ 처리로 전환하는 것이 실용적이고 저렴해졌다. 데이터 스트리밍은 이제 새로운 비즈니스 기능의 원동력이자 경쟁 우위의 원천이다. 실시간 데이터 스트리밍을 통해 기업은 몇 분, 몇 시간, 며칠이 아닌 단 몇 초 만에 결정과 작업을 최적화할 수 있다.

일괄 처리에서 실시간 스트리밍 데이터 전송으로 전환하면 이전에 운영(예: 결제 처리) 및 분석(예: BI 대시보드) 작업을 수행했던 이질적이고 중복될 가능성이 있는 데이터 흐름을 통합할 수 있다. 소매 업계에서 실시간 데이터 애플리케이션은 쇼핑객 행동에 즉각적으로 반응하는 것부터 운영 예외가 발생할 때 이를 표시하고 해결하는 것까지 다양하다.

실제 활용 

현재 DTC(고객 직접 판매) 및 옴니채널 브랜드가 실제로 실시간 데이터 스트리밍을 활용하는 방법은 다음과 같다.

• 실시간 재고 관리: 재고 수준을 실시간으로 추적하고 재고가 특정 임계값에 도달하면 자동 재주문을 실행하여 재고 부족 및 과잉 재고를 방지할 수 있다.

• 실시간 주문 라우팅: 실시간 데이터를 사용해 주문 이행 사이클을 추적하고, 제품을 선택하고, 포장하며, 라우팅하고 배송해야 하는 위치와 방법을 결정해 문앞까지 배송하는 데 걸리는 시간과 이행 비용을 최적화할 수 있다.

• 개인화된 마케팅: 고객 행동을 실시간으로 분석해 개별 고객을 대상으로 하는 개인화된 마케팅 캠페인을 만들 수 있다.

• 사기 및 손실 감지: 전자상거래 및 POS 플랫폼은 실시간 데이터 분석을 사용해 사기 거래를 식별 및 방지하여 금전적 손실과 평판 손상 위험을 줄일 수 있다.

• 동적 가격 책정: 실시간 데이터를 사용해 수요와 공급, 경쟁, 기타 시장 요인에 따라 가격을 동적으로 조정해 수익과 이익을 최적화할 수 있다.

• 고객 지원: 고객에게 맞춤형 지원과 관련 권장 사항을 제공하고, 질문이나 우려 사항에 답변할 수 있다.

• 공급망 최적화: 공급망 운영을 최적화하고 배송 시간을 개선하며 비용을 절감할 수 있다.

• 소셜 미디어 모니터링: 소셜 미디어 채널에서 브랜드나 제품에 대한 언급을 모니터링하고 고객 피드백과 우려 사항에 신속하게 대응할 수 있다.

• 매장 레이아웃 최적화: 소매 업체는 실시간 데이터를 사용해 실제 매장에서 고객 행동을 분석하고 매장 레이아웃, 제품 배치, 인력 수준을 최적화해 효율성과 매출을 극대화할 수 있다.

• 예측 유지 관리: 장비 오류를 식별 및 방지하고 가동 중지 시간과 유지 관리 비용을 줄일 수 있다.

소매업에서 실시간 데이터 스트리밍의 이점

위에서 설명한 것과 같은 사용 사례를 해결하기 위한 스트리밍 데이터는 소매 브랜드에 여러 가지 이점을 제공한다. 실시간 데이터 파이프라인 조직이 변화하는 비즈니스 요구와 시장 상황에 신속하게 대응할 수 있도록 지원해 더욱 민첩하고 경쟁력 있는 브랜드를 만들 수 있다.

스트리밍 데이터 파이프라인은 실시간 통찰력을 제공해 더 빠르고 정확한 의사결정을 가능하게 한다. 실시간 데이터 처리를 통해 데이터가 생성되는 즉시 처리돼 분석에 사용할 수 있으므로 처리 시간과 대기 시간이 단축된다.

실시간 처리를 통해 조직은 데이터 처리 워크플로우를 간소화하고 자동화하여 수동 작업을 줄이고 운영 효율성을 높일 수 있다. 그리고 가장 중요한 것은 고객 행동과 선호도에 대한 실시간 통찰력을 통해 조직이 더욱 개인화되고 관련성 높은 경험을 제공해 고객 만족도와 충성도를 높일 수 있다는 것이다.

데이터 엔지니어링 및 분석팀의 경우 실시간 데이터 처리를 통해 데이터 오류를 더 빠르게 식별하고 수정함으로써 분석에 사용되는 데이터의 정확성을 높일 수 있다. 실시간 데이터 처리를 통해 깨끗하고 검증된 데이터만 분석에 사용할 수 있다.

이러한 이점은 분석 및 비즈니스 인텔리전스 사용 사례에 직접 적용된다. 이를 통해 조직은 데이터를 더 빠르고 정확하게 처리 및 분석하고 변화하는 비즈니스 요구에 효과적으로 대응할 수 있다.

IT 투자 수익 최적화

실시간 데이터 기능을 추구하는 조직에서 주목해야 할 위험 요소는 비용이다. 데이터를 일괄 처리하는 것이 아닌 스트리밍으로 인해 추가 스토리지나 컴퓨팅 비용을 발생하지 않을 수 있지만, 스트리밍 데이터 파이프라인과 분석 모델의 비용을 최적화하기 위한 엔지니어링 부담은 상당할 수 있다. 특히 스노우플레이크(Snowflake)나 구글 빅쿼리(Google BigQuery)와 같은 클라우드 데이터 웨어하우스에 스토리지와 컴퓨팅이 집중돼 있는 경우 클라우드 컴퓨팅 비용이 급증할 수 있다.

데이터 파이프라인 초기에 스트리밍 데이터의 로깅, 의미론적 카탈로그 작성과 매핑을 처리하면 데이터를 구체화, 모델링 및 조정해야 할 때 다운스트림 분석 비용을 줄일 수 있다.

실시간 데이터 시작하기

많은 최신 클라우드 서비스와 소매 데이터 플랫폼 들은 이미 스트리밍 데이터 전송과 처리를 지원한다.

우리의 물건과 우리 자신을 어느 곳에서나 다른 곳으로 즉시 이동할 수 있다면 삶이 어떻게 변할까.

운송 장치를 발명하거나 양자 컴퓨팅이 상용화될 때까지 실시간 데이터 스트리밍을 적용해 오늘날 소매업에 불공평한 이점을 창출할 수 있다.

*필자 레이첼 워크맨(Rachel Workman)은 사운드 커머스(Sound Commerce)의 가치 엔지니어링 부문 수석 이사다. 레이첼은 B2B SaaS 분야에서 10년 이상의 관리 경험을 보유하고 있으며, 15년 이상 AI/ML 등 분석 문제를 해결하는 데 주력해왔다.

필자 제러드 스티프(Jared Stiff)는 사운드커머스의 공동 창립자이자 CTO로서 데이터 및 분석 플랫폼을 발전시키는 엔지니어 및 개발자 팀을 이끌고 있다. 사운드커머스에 합류하기 전 제러드는 커머스허브의 엔지니어링 이사였으며, 마인드콥스(MindCorps)의 공동 창립자로서 마인드콥스가 아마존닷컴에 매각되기 전 포춘 500대 기업을 위한 초기 생산 전자상거래 시스템을 개발하기도 했다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)

[알림] GTT KOREA와 전자신문인터넷이 오는 3월 21일 인터컨티넨탈 서울 코엑스에서 공동으로 주최하는 ‘Data Insight & Security Summit(DISS) 2024’에서는 “AI 트랜스포메이션, 데이터 이노베이션”을 주제로 데이터 산업을 이끌고 있는 글로벌 리더들이 AI 기반 데이터 활용과 전략 수립에 난항을 겪고 있는 기업들에게 효과적인 데이터 관리와 인사이트, 강력한 데이터 보안 전략을 제시한다.