데이터 제품은 서비스로 사용되는 데이터를 지원하도록 설계된 전문 도구와 앱 형태의 소프트웨어다. 데이터 세트를 시각화로 변환하는 프로그램만큼 간단할 수도 있고 챗GPT와 같은 LLM(대형 언어 모델)을 기반으로 하는 머신러닝 시스템만큼 복잡할 수도 있다. 모든 데이터 제품의 공통점은 데이터의 적용을 통해 특정 목표를 달성한다는 것이다.

기술의 혼란스러운 측면 중 하나는 데이터 제품과 ‘제품으로서의 데이터’를 구별하는 것이다. 한 사람이든 전체 부서나 조직이든 관계없이 특정 데이터 소비자의 요구 사항을 충족하기 위한 전략과 데이터 도구를 결합한다. 이와 대조적으로, 데이터 제품은 기업이 장단기 전략을 구현하기 위해 고유한 방식으로 결합할 수 있는 원자재 역할을 한다. 이들은 개인, 팀, 부서, 기업 및 전체 산업 수준에서 운영된다.

데이터 제품이란?

AI와 다른 급성장하는 기술들을 통해 조직은 데이터 가치를 극대화하는 방식으로 데이터 자산에서 통찰력을 얻을 수 있다. 데이터 제품은 기업들이 데이터를 효율성, 경쟁력, 수익성을 향상시키는 활동으로 변환하는 수단이 된다.

전 미국 최고 데이터 과학자인 DJ 패틸(DJ Patil)은 2012년에 '데이터를 제품으로 바꾸는 기술'로 '데이터 주짓수'라는 용어를 만들었다.

데이터 요소의 적용을 통해 데이터 주짓수는 문제 자체의 ‘무게’를 사용해서 다루기 힘든 반복 데이터 문제를 해결할 수 있다. 이는 마치 주짓수 전투원이 상대의 무게를 자신에게 유리하게 활용하고 적에게 불리하게 활용하려고 시도하는 것과 같다. 다양한 기술 전문 지식을 사용해 정면으로 공격하는 표준적인 문제 해결 접근 방식은 문제를 복잡하게 만들고 해결을 더욱 어렵게 만드는 경우가 많다.

데이터 제품의 목표는 누가 이 제품을 원하거나 필요로 하는지에 대한 간단한 질문을 해결함으로써 문제 해결을 단순화하는 것이다. 이 질문에 빠르게 답하기 위해 개발자들은 완성된 버전을 만들 수 있는 지름길을 택하거나 프로세스 후반에 더 복잡한 접근 방식으로 대체된다. 핵심은 프로젝트 초반에 수렁에 빠지지 않도록 단순하게 시작하는 것이다.

데이터 제품의 구성 요소

가장 단순한 데이터 제품이라도 의사결정을 지원하고 비즈니스 문제를 해결하기 위해 결합된 다양한 요소 목록으로 구성된다.

데이터 제품의 8가지 핵심 구성 요소는 다음과 같다.

① 데이터 소스는 신뢰할 수 있고, 실시간 또는 일괄적으로 액세스할 수 있어야 하며, 해결 중인 문제와 관련이 있어야 하고, GDPR 및 HIPAA와 같은 데이터 보호 규정과 법적∙윤리적 표준을 준수해야 한다.

② 데이터 파이프라인은 필요한 데이터 변환(예: ETL)을 자동화하고, 증가하는 데이터 세트를 수용하도록 확장하며, 강력한 오류 처리 도구 및 데이터 품질 검사를 포함하고, 구성 변경을 지원하는 모듈식이다.

③ 데이터 스토리지는 성능 요구 사항을 충족하고, 중단 없이 수평 및 수직으로 확장하며, 암호화 및 액세스 제어를 적용하고, 구조화∙반구조화∙비구조화된 데이터 유형을 지원하면서 비용 효율적이어야 한다.

④ 데이터 모델과 알고리즘은 교차 검증과 같은 기술을 증된 정해확한 통찰력과 예측을 제공한다. 이해관계자가 이해하기 쉽고, 계산적으로 효율적이며, 유지 관리가 쉬워야 한다.

⑤ 사용자 인터페이스는 최소한의 사용자 교육이 필요할 정도로 직관적이어야 한다. 피드백 메커니즘과 멀티 디바이스 지원을 포함해 시각화를 활용하고 사용자와 데이터의 상호 작용을 촉진해야 한다.

⑥ API와 엔드포인트에는 보안 승인 및 인증, 각 사용자 또는 시스템의 API 호출 수 제한, 충분한 개발자 문서가 필요하다. 호환성을 보장하려면 JSON과 XML 같은 데이터 형식을 지원해야 한다.

⑦ 실시간 모니터링 및 로그인을 통해 데이터 제품이 문제를 신속하게 파악하고 해결할 수 있다. 관리자는 성능 문제와 오류에 대한 경고를 받고, 감사 추적을 통해 기업이 규정 준수 요구 사항을 충족할 수 있다. 모니터링할 성능 지표에는 대기 시간, 처리량, 오류율이 포함된다.

⑧ 문서에는 사용자 매뉴얼, 기술 사양, API 문서, 변경 로그, 규정 준수 기록이 포함된다.

데이터 제품의 예

데이터 제품의 가장 대표적인 예는 간단하고 복잡한 질문에 대화식으로 대답하고 후속 질문을 허용하며 실수를 인정하고 부정확성에 도전하는 사용자와의 대화에 들어가는 무료 AI 기반 도구인 챗GPT일 수 있다. 챗GPT 시스템은 일반적인 데이터 제품보다 훨씬 복잡하지만 매우 큰 텍스트 데이터 세트에 의존하기 때문에 데이터 제품으로 적합하다.

그러나 현재 상태에서 챗GPT에는 데이터 제품에서 가장 중요한 측면인 정확성이 부족하다. 데이터 제품의 소유자는 긍정적인 사용자 경험과 신뢰할 수 있는 해결 방법을 모두 보장할 책임이 있다. 이를 위해서는 제품 관리의 모범 사례와 비즈니스 결정을 지원하는 분석에 대한 일관되고 안정적인 액세스가 필요하다.

다음 6가지 데이터 제품 범주는 일상 제품에서 기술의 사용을 보여준다.

① 아마존, 넷플릭스, 트립어드바이저와 같은 기업들에서 제공하는 추천 엔진은 고객 참여도와 전환율을 높이기 위해 응답을 개인화한다.

② 예측 분석 도구에는 데이터 추세를 파악하고 고급 데이터 마이닝과 모델링 기술을 기반으로 예측을 생성하는 FICO, 링크드인, 질로우에서 사용하는 도구가 포함된다.

③ 구글 맵, 링크드인 프로파일, IO 웨더와 같은 데이터 API는 서로 다른 시스템 간의 원활한 데이터 흐름을 촉진한다. 일반적인 형식은 REST(Representational State Transfer), SOAP(Simple Object Access Protocol), XML-RPC 및 JSON-RPC 등이다.

④ 실시간 대시보드는 데이터를 시각적으로 표시하고 새로운 정보가 제공되면 자동으로 사용자 화면을 업데이트합니다. 이는 비즈니스 결정을 지원하기 위해 재고, 판매, 운영 데이터를 모니터링하는 데 적용된다. 인기 있는 대시보드로는 태블로, 마이크로소프트 BI, 조호 애널리틱스 등이 있다.

⑤ 개인 금융 도구에는 임파워(이전의 퍼스널 캐피털), 퀴큰, YNAB(You Need a Budget)이 있으며, 모두 개인의 재무 계획에 더욱 명확성과 자신감을 부여하고 있다.

⑥ 애플 워치, 핏빗, 덱스콤의 연속 혈당 측정기와 같은 웨어러블 건강 모니터링 제품은 의료 서비스 제공자와 정보를 공유해 맥박수, 수면 패턴 및 기타 건강 문제 추적 등을 제공한다.

데이터 제품이 중요한 이유

데이터 제품은 여러 가지 이점이 있다.

우선 각 프로젝트를 처음부터 시작하는 대신 사전 구축된 제품을 사용해 더 빠르게 통찰력을 얻을 수 있으며, 데이터의 무결성이 사전에 검증되므로 제품에 대한 신뢰가 구축된다.

실시간 상황 인식은 데이터 분석의 가치를 높이고, 실시간 대응 능력은 더 빠른 정보에 입각한 의사결정을 지원한다.

거버넌스는 데이터 품질 및 규정 준수를 사전에 보장하며, 데이터 제품을 사용하면 다양한 시스템에서 데이터를 쉽게 찾고 액세스할 수 있다.

데이터 제품은 조직의 효율성과 수익성 향상을 지원하고, 조직의 민첩성을 향상하고 점진적으로 가치를 제공하며, 재사용하면 오버헤드가 거의 없이 데이터의 가치가 극대화된다.

데이터 아키텍처는 데이터 제품의 적응성을 통해 미래에도 사용할 수 있고, 기본 데이터의 신뢰성과 무결성에 대한 의문이 줄어들고, 비즈니스 부서와 IT 부서가 동일한 언어를 사용해 의사소통할 수 있다.

데이터 제품이 조직에 제공하는 가장 큰 이점은 물리적 시스템과 데이터 모델링, 비즈니스 프로세스, 사용 사례를 하나로 묶는 접착제 역할을 해 데이터의 가치를 실현할 수 있다는 점일 것이다. 이는 많은 기업이 데이터 운영에 사용하는 단편적인 접근 방식을 대체하고 데이터 관리를 분산시킨다. 이를 통해 사전 처리를 최소화하거나 전혀 하지 않고도 다양한 상황과 조건에서 기본 데이터를 즉시 적용할 수 있다.

맥킨지에 따르면, 데이터 제품 사용 시 새로운 비즈니스 사용 사례를 90% 더 빠르게 구현하고 총 소유 비용을 30% 줄일 수 있다. 또한 거버넌스 운영에 소요되는 위험과 시간 및 비용을 절감할 수 있다.

데이터 제품의 이점을 실현하려면 소규모로 시작해 신속하게 릴리스하고 반복하며 제품의 가치를 입증하는 민첩한 데이터 관리 접근 방식을 채택해야 한다. 각 릴리스마다 몇 가지 기능을 추가해 제품의 가치를 높이고 새로운 제품과 사용 사례에 대한 투자를 늘려야 한다.

데이터 제품이 기업의 일상적인 비즈니스 프로세스에 통합되면 도구의 가치가 사용자와 관리자에게 분명해지면서 도구가 스스로 판매되기 시작할 것이다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)