데이터 협업을 통해 조직은 자체 데이터가 제공하는 것 이상의 통찰력을 얻을 수 있다. 파트너와 정보를 현명하고 선택적으로 공유함으로써 기업은 내부 저장소를 넘어선 새로운 기회와 통찰력을 발견할 수 있다. 또한 챗GPT와 같은 대규모 언어 모델(LLMs) 애플리케이션과 클라우드 기술의 등장으로 이러한 접근 방식이 더욱 매력적으로 보인다.

기업이 더욱 디지털화됨에 따라 거래 조직의 수가 더 적어지고 간소화돼 효율성을 높일 수 있다. 또한 자회사, 파트너 또는 제3자와 데이터를 공유하고 교환하면 더 적은 비용으로 새로운 통찰력과 서비스를 얻을 수 있다. 기업은 데이터 협업을 효과적으로 활용하기 위해 그 기본 사항과 의미를 이해해야 한다.

데이터 협업이란?

데이터 협업은 기업이 기존 데이터 리소스를 보완해야 한다는 것을 인식함으로써 데이터 정렬(이해관계자 간의 합의)을 한 단계 더 발전시킨다. 기업은 다른 기업의 데이터를 사용하여 격차를 메우고 더 나은 통찰력으로부터 새로운 역량을 확보함으로써 데이터를 풍부하게 해야 한다.

기업은 보안과 관리가 이루어진 데이터 환경에서 공동 데이터 생태계를 동기화하고 생성한다. 이 환경은 산업별 요구사항에 맞는 사람, 프로세스, 시스템, AI 모델을 포함한 다양한 리소스에 대한 접근을 제공한다.

윌리엄 소노마(Williams-Sonoma)와 홀푸드(Whole Foods)가 데이터를 협업하는 경우를 보자. 윌리엄 소노마가 특정 지역에서 피자 오븐 판매가 급증한 것을 알게 되면, 이 정보를 공유함으로써 홀푸드는 현지 수요를 충족시키기 위해 도우, 소스, 야채와 같은 피자 재료의 재고를 사전에 늘릴 수 있다.

반대로, 홀푸드가 커피 원두 구매가 급증한 것을 발견하면 윌리엄 소노마에 알려 해당 고객들에게 에스프레소 만들기 강좌를 효과적으로 홍보할 수 있다. 비즈니스 활동이 서로의 데이터 통찰력을 바탕으로 구축되는 이러한 시너지는 데이터 협업의 힘을 보여준다.

효과적인 데이터 협업을 위한 핵심 요구사항

파트너 조직은 데이터 협업의 이점을 얻기 위해 핵심 요소를 갖추어야 한다. 데이터 전략과 데이터 거버넌스라는 이 구성 요소들은 데이터 생산 소비와 내부 전용 및 공유 자산의 사용에 대한 합의를 설정한다.

데이터 전략은 계획과 데이터 활동을 지시한다. 이는 데이터를 활용하고 데이터 전략 로드맵을 통해 목표를 달성하기 위한 단계를 개략적으로 설명함으로써 비즈니스 목표의 큰 그림을 지원한다.

견고한 데이터 전략과 로드맵을 개발하면 사용 사례를 식별하고 우선순위를 정하는 데 도움이 된다. 조직은 제3자와의 파트너십을 탐색하기 전에 현재 역량 협업을 이해하기 위해 내부 템플릿으로 시작해야 한다.

또한 조직은 공동 데이터 생태계를 고려하기 전에 데이터 전략의 주요 요구사항을 해결하고 가치의 증거를 제공해야 한다. 예를 들어, 홀푸드는 분기별 생산 수량을 주요 사용 사례로 식별할 수 있다. 먼저 더 많은 협업이 필요한 사례를 다루기 전에 이 목표를 해결하기 위해 데이터 프로세스와 활동을 업데이트해야 할 수도 있다.

파트너들이 공동 데이터 기반 프로젝트를 구현하기 시작하면 새로운 기회와 과제가 나타날 가능성이 높다. 이러한 현실에 적응하기 위해 각 회사는 개별 데이터 전략을 업데이트해야 한다. 또한 각 파트너 회사는 지속적으로 데이터 전략 로드맵을 함께 재검토하고 재조정해야 한다.

데이터 거버넌스(DG) 프로그램은 조직에서 중심적인 역할을 하며 데이터 전략을 조정하고 정보 전반에 걸쳐 일관된 데이터 관행을 보장하는 데 필수적이다. DG는 데이터 자산을 사용하고 관리하기 위한 역할, 정책 및 절차를 수립한다.

참여하는 각 조직은 데이터 관리 관행을 지원하는 기존의 DG 프로그램을 보유해야 한다. 예를 들어, 윌리엄 소노마와 홀푸드 모두 신뢰할 수 있는 데이터 품질 프로세스가 필요하다.

파트너 거버넌스 프로그램은 새로운 비즈니스 계약에 적응할 수 있어야 한다. 데이터를 공유할 때 기업은 조직 전반에 걸쳐 접근성과 규정 준수를 유지하기 위한 전담 데이터 관리자가 필요하다.

또한 파트너들에게는 공동 외부 거버넌스가 필요하다. 이러한 종류의 프로그램은 파트너 관계, 문제 해결, 데이터 활동 조정을 처리한다.

데이터 협업을 위한 주요 기술 역량

견고한 데이터 전략과 데이터 거버넌스 프로그램이 마련되면 조직은 효과적인 데이터 협업을 위한 기술 역량을 구축해야 한다. 주로 파트너들은 공유된 빅데이터 접근 및 처리를 위해 클라우드 컴퓨팅과 멀티클라우드 환경을 활용할 것이다. 주요 기술 요구사항은 다음과 같다.

⦁셀프 서비스 분석 도구: 셀프 서비스 분석 도구를 통해 파트너는 필요할 때 공유 데이터에 접근하고 분석할 수 있다. 여기에는 중요한 데이터 세트를 목록화하는 데이터 카탈로그와 데이터 시각화를 단순화하는 대시보드가 포함된다. 파트너들은 이러한 공유 데이터 자산에 대한 접근을 적절히 분류, 설명, 관리하기 위해 우수한 메타데이터 관리를 실행해야 한다.

⦁데이터 통합: 공유 데이터에서 작업하려면 각 파트너의 데이터 시스템과 데이터 아키텍처 간의 통신과 통합이 필요하다. 다양한 소스의 데이터세트를 원활하게 공유하고 혼합할 수 있는 통합 데이터 아키텍처가 필수적이다.

⦁지식 공유 도구: 데이터 협업은 조직이 이해관계자와 연결하고 데이터에 대해 대화하고 해석할 수 있는 능력에 달려있다. 지식 공유 도구는 비즈니스 용어집과 같은 중앙 집중식 참조를 통해 이러한 기능을 제공한다. 또한 데이터 관리자에게 문제를 알리고 문제 해결 및 변경 요청 처리를 위한 프로세스 흐름을 제공하는 프로젝트 관리 플랫폼도 포함한다.

이러한 셀프 서비스 분석, 데이터 통합, 지식 공유와 관련된 주요 기술 역량을 구현하는 것은 성공적인 데이터 협업 파트너십을 위해 매우 중요하다.

데이터 협업 파트너십 구현

핵심 요구사항과 주요 기술을 결합한 후, 조직은 데이터를 공유할 다른 회사와의 파트너십을 구축하기 시작할 수 있다. 단계는 다음과 같다.

⦁잠재적인 제3자 파트너 선택: 데이터 전략을 기반으로 잠재적 파트너를 선택하고 데이터를 공유하기 위한 비즈니스 관계를 시작한다. 계약을 체결하고, 각 당사자의 데이터 정책을 이해하며, 신뢰 관계를 구축하는 데는 시간이 걸린다. Gaia-X, Dawe-X, Transformers와 같은 데이터 교환 플랫폼은 잠재적 협력자와의 연결을 용이하게 할 수 있다.

⦁협업 프레임워크 정의: 파트너들은 개별 전략과 거버넌스 요구사항에 맞춰 결합된 역할, 프로세스, 기술을 조정함으로써 공유 데이터 생태계를 활성화해야 한다. 공통 프레임워크에는 공동 데이터 관리 정책의 구축이 포함된다. 이는 신뢰할 수 있는 중개자를 사용하거나 데이터 풀을 만드는 등 다양한 형태를 취할 수 있다.

⦁기술 역량 보장: 공유 데이터 자산을 게시, 통합, 소비하기 위해서는 통합된 데이터 아키텍처가 필요하다. 이를 위해서는 셀프 서비스 분석 도구, 데이터 통합 파이프라인, 보안 프로토콜, 비즈니스 용어집과 같은 지식 저장소, AI 기능이 필요하다. 개별 파트너와 협업 프레임워크는 이러한 기능을 갖추어야 한다.

⦁개념 증명으로 시작: 데이터 협업을 시범적으로 실시하기 위해 좁고 가치가 높은 비즈니스 사용 사례를 목표로 시작한다. 관련 지표를 사용하여 진행 상황을 측정하고 피드백을 기반으로 시간이 지남에 따라 프로세스를 최적화하는 반복적 접근 방식을 구현한다.

이러한 구현 프로세스를 체계적으로 진행하고 효과적인 협업 데이터 생태계를 구축함으로써 기업은 단독으로는 불가능한 새로운 가치와 이점을 얻을 수 있다.

데이터 협업을 통한 새로운 가치 창출

데이터 협업은 많은 이점을 제공한다.

① 더 나은 AI 모델 훈련: 데이터 협업을 통해 조직은 정확한 최신 데이터를 제3자와 공유할 수 있다. 이는 AI 모델 훈련을 위해 더 넓은 범위의 최신 관련 데이터를 제공한다.

② 데이터 강화: 기존 데이터세트에 누락된 세부 정보를 추가하는 데이터 통합의 한 유형인 데이터 강화는 데이터 품질을 향상시킨다. 예를 들어, 윌리엄 소노마는 홀푸드가 사용할 수 있는 고객의 신용 점수를 가지고 있을 수 있다. 그러면 홀푸드는 예산에 맞춰 피자 재료를 주문하는 고객에 대한 통찰력을 얻을 수 있다.

③ 자원의 목표 지향적 사용: 기업은 데이터 관리를 간소화하고 더 효과적으로 만들 수 있다. 조직이 더 빠르게 더 많은 데이터를 축적함에 따라 오류 증가, 보안 침해, 접근성 저하의 위험이 있다. 데이터 협업을 통해 기업은 가장 중요한 내부 데이터세트에 자원을 집중할 수 있다.

데이터 협업 과제

데이터 협업은 어려울 수 있다. 파트너십은 다음과 같은 문제로 어려움을 겪을 수 있다.

⦁데이터 리터러시 격차: 개인과 조직의 낮은 데이터 리터러시는 데이터 협업을 방해할 수 있다. 데이터에 대한 오해나 불신은 데이터의 오용, 회피, 파트너 간에 공유 내용에 대한 혼란으로 이어질 수 있다.

⦁보안 및 개인정보 보호 위험: 제3자와 데이터를 공유하면 보안 문제가 발생한다. 조직은 부적절한 데이터 처리로 인해 개인정보 또는 민감한 정보 노출을 신중하게 방지해야 한다. 외부에서 공유된 데이터를 저장하고 접근하는 것도 개인정보 유출이나 무단 접근의 가능성을 만든다.

⦁부서 간 조정: 더 많은 이해관계자가 공유 데이터와 상호 작용함에 따라 명확한 의사소통, 우선순위 조정, 강력한 소유권/책임 시행, 유연성 유지가 중요하지만 어려워진다. 이를 극복하려면 전담 프로그램과 강력한 파트너 관계가 필요하다.

데이터 리터러시 향상, 엄격한 보안, 부서 간 협업 활성화와 같은 사전 조치를 통해 조직은 데이터 공유 장애물을 극복하고 지속 가능한 데이터 협업 생태계를 구축할 수 있다.

결론

데이터 협업에 대한 관심은 특히 클라우드와 AI 기술과 함께 향후 몇 년 동안 계속 증가할 것이다. 기업들은 그동안 사용할 수 없었던 데이터 역량을 활용하고 효율성이 향상되는 것을 볼 것이다.

핵심 요구사항과 기술 역량을 바탕으로 좋은 토대를 마련하면 데이터 협업의 이점을 얻을 수 있다. 또한 데이터 협업을 어렵게 만들 수 있는 과제들도 완화할 수 있을 것이다.

(* 이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)