데이터 생산성 향상 솔루션 기업 매틸리언(Matillion)과 시장 조사 기관 밴슨 본(Vanson Bourne)은 공동으로 "데이터 생산성: 데이터 전문가 설문 조사" 연구 보고서를 발표했다.

보고서는 데이터 팀 실무자와 리더로부터 전례 없는 양의 데이터, 팀 워크로드 및 직장에서의 전반적인 성능의 증가하는 복잡성을 관리하는 방법에 대한 통찰력을 제공한다.

이 보고서는 데이터 및 비즈니스 요구가 데이터 팀에 미치는 영향을 파악하기 위해 미국과 영국의 900명 이상의 전문가를 대상으로 한 설문조사를 바탕으로 작성됐다. 조사 결과 데이터 팀이 비즈니스 요구를 충족하기 위해 업무가 가중되고 있음이 드러났다.

응답자의 84%가 작업량이 용량을 초과한다고 답했으며, 90%가 지난 1년간 작업량이 증가했다고 보고했으며, 곧 해결하지 않으면 문제가 커질 것이라고 답했다.

팀은 전략적 작업을 수행하기보다는 데이터를 통합, 수집 및 변환하는 데 너무 많은 시간을 할애하는 것으로 나타났다. 응답자의 약 40%는 이 작업을 프로젝트당 수행하는 데 하루에서 일주일 정도 소요되며, 응답자의 34%가 이 프로세스를 완료하는 데 프로젝트당 3~5시간이 소요된다고 답했다. 이는 일반적인 하루 8시간 근무의 상당 부분이다

느리고 유연하지 못한 파이프라인을 사용하는 직원은 필요할 때 올바른 정보를 얻을 수 없다고 답했다. 데이터 전문가는 데이터 파이프라인을 구축하기 위해 많은 양의 데이터 소스를 가져오고 통합하는 데 너무 많은 시간을 소비하므로 변환 프로세스가 지연된다고 했다.

응답자의 41%는 회사에서 51-100개의 데이터 소스를 사용한다고 응답했으며, 응답자의 22%는 회사에서 101-200개의 데이터 소스를 사용하고, 응답자의 6%는 회사에서 201-500개의 데이터 소스를 사용한다고 답했다.

이러한 전문가들이 사용하는 소스의 양이 엄청나게 늘어나 작업량이 크게 증가하기 때문에 부담이 되고 있다. 직원의 번아웃은 재앙적인 수준에 이르지는 않았지만 증가하고 있으며 일을 즐기는 직원의 인재 유지 문제로 이어지고 있다.

응답자의 3분의 1 이상이 적어도 약간의 피로감을 느낀다고 말했다. 응답자의 19%가 번 아웃을 느낀다고 답했다. 직원의 74%가 직장에서 매우 의욕적이라고 응답했다.

회사는 직원의 번아웃을 피하려면 데이터 팀 구성원의 업무량을 완화할 방법을 찾아야 한다. 이런 이유로 로우 코드와 노 코드가 비즈니스용 데이터를 변환하기 위한 기본 전략으로 부상하고 있다.

정교하고 시각적인 로우 코드 환경은 정확하고 유지 관리가 가능하며 자체 문서화되는 코드를 생성하는 데 도움이 된다. 이러한 솔루션을 통해 코딩 전문성이 낮은 팀원들이 필요한 비즈니스 데이터를 추출하고 변환할 수 있다. 비용 효율적이고 민첩한 이러한 솔루션은 기술 부족에 대한 지식을 제공하여 직원 이직과 관련된 문제를 완화할 수 있다

변화가 빠르고, 복잡성이 증가하고 있으며, 적절한 시점에 적절한 통찰력을 얻고자 하는 욕구가 왕성하여 데이터 생산성 문제를 해결하면 비즈니스 경쟁력을 높일 수 있다. 조직이 이러한 문제를 심각하게 받아들이지 않으면 리소스 손실에 따른 비용과 시간이 소요될 뿐만 아니라 인재 파이프라인이 직원의 소진과 이직에 노출될 수 있다는 것을 명심해야 한다.

에드 톰슨(Ed Thompson) 매틸리언 CTO이자 공동 설립자는 "이 연구는 현대 데이터 팀이 일상적으로 경험하는 데이터 생산성 저하를 보여 준다. 기업은 이제 문제를 해결할 수 있는 솔루션 파트너와 함께 데이터 팀이 데이터를 변환하는 대신 효과적인 프로젝트를 수행하고 우선 순위를 지정할 수 있도록 지원해야 한다.”라며, “주요 의사 결정권자에게 비즈니스 의사 결정의 정확성을 보장하며, 데이터를 단순하고 비용 효율적으로 제공할 수 있도록 지원할 수 있다 적절한 데이터를 적절한 시간에 적절한 사람에게 제공해야 한다."고 강조한다.