비즈니스와 데이터 전략을 연결하는 기업의 인프라인 데이터 아키텍처는 2024년에 경쟁적인 우선 순위에 직면하게 될 것이다. 한편으로는 거의 절반의 조직이 운영 실시간 분석을 늘리고 AI 및 ML(머신 러닝)을 활성화하기 위해 데이터 아키텍처를 현대화하는 데 주력할 것이다. 동시에 AI 영향에 대한 우려로 인해 약 80%가 2024년에는 보안과 데이터 거버넌스를 우선시할 것이다.

데이터 설계자는 보안과 분석 사이에서 절충안을 찾아야 했지만, 2024년에는 회사의 데이터 품질 상태에 따라 둘 사이의 보다 섬세한 균형이 이루어질 것으로 보인다. 회사의 데이터 품질이 얼마나 좋은가에 따라 2024년 데이터 아키텍처 트렌드에 적응하는 속도가 결정된다.

2022년부터 2023년까지 데이터 품질 문제가 15시간 증가했다. 2023년 이후에는 매출의 25% 이상이 데이터 품질 문제를 겪게 된다.

경제적 불확실성으로 인한 예산 부족, AI 프로젝트 활용 목표, 데이터 품질에 중점을 두고 조직은 ▲책임 있는 데이터 거버넌스 적용 ▲실시간 데이터를 처리하기 위한 기술 인프라 현대화 ▲신중하게 분산 아키텍처 구현 ▲기계 고객이나 고객 로봇에 대한 관심 증가 ▲조직의 데이터 생태계에 타사 데이터 포함 ▲책임 있는 데이터 거버넌스 적용과 같은 데이터 아키텍처 트렌드를 설정하고 구현하는 데 신중을 기할 것이다.

좋은 데이터 거버넌스와 데이터 아키텍처 사이의 연관성은 비밀이 아니다. 25년 이상의 경험을 보유한 업계 전문가로 인정받는 도너 버뱅크(Donna Burbank)에 따르면 약 54% 의 경영진이 2024년부터 2025년까지 데이터 거버넌스를 최우선 과제로 삼았다. 대신 관리자는 조직의 데이터 인프라를 지원하는 책임 있는 데이터 거버넌스를 추진해야 하는 과제에 직면해 있다.

세계적으로 유명한 여러 조직의 고문인 윌리엄 맥나이트(William McKnight)는 데이터 거버넌스가 도움이 되려면 책임과 실질적인 전달을 확립해야 한다고 강조한다. 이 책임 있는 데이터 거버넌스는 또한 데이터 아키텍처를 발전시키기 위한 조직의 데이터 품질 요구 사항과 일치해야 한다.

데이터 거버넌스 도구의 발전으로 데이터 아키텍처 구성 요소 내에서 데이터 품질 프로세스가 향상되었으며 이는 계속될 것이다. 가트너는 데이터 거버넌스를 통해 관리되는 활성 메타데이터를 수용하는 것이 2020년대 데이터 아키텍처를 현대화하는 데 필수적이라고 했다.

그럼에도 불구하고 데이터 거버넌스 도구만으로는 데이터 아키텍처에 큰 이점을 제공하지 못할 것이다. 데이터 관리(DM) 권위자로 인정받는 피터 애이킨(Peter Aiken) 박사는 데이터 아키텍처를 조직 전략 구현을 지원하는 데이터 기반 자산의 구조로 정의한다 .

이러한 격차를 해결하기 위해 책임 있는 데이터 거버넌스는 조직이 데이터 아키텍처를 보다 효과적으로 사용하는 데 중요한 다리이며 전략 구현을 지원하기 위해 우수한 데이터 품질이 필요하다. 따라서 조직이 2024년에 책임 있는 데이터 거버넌스를 향해 나아가면서 데이터 아키텍처를 발전시키려면 조직 전략과 연결된 견고한 프레임워크를 구현하는 것이 합리적일 것이다.

실시간 데이터 처리를 위한 현대화

센서, 스마트 홈 장치, 소셜 미디어 피드 등과 같은 IoT 장치의 떠오르는 스트리밍 시장은 기업이 데이터 아키텍처를 통해 실시간 분석을 통해 보다 효율적인 통찰력을 얻도록 유도할 것을 약속한다. 그렇게 하는 기업은 연평균 21.5%의 성장률로 성장하는 분야에 진입하게 된다.

게다가 소셜 미디어를 포함한 비정형 데이터는 현재 관리되는 데이터의 33% 미만을 차지한다. 이 수치는 빠르고 관련성이 높은 실시간 통찰력을 위해 클라우드 컴퓨팅을 보다 효율적으로 활용하는 등 데이터 아키텍처를 현대화해야 함을 나타낸다 .

결과적으로, 조직은 충분한 데이터 처리 및 제공을 위해 데이터 통합을 관리 및 확장하고 파이프라인을 업그레이드해야 한다. 컴프라이즈(Komprise) 2023 설문 조사에 따르면 IT 및 기업의 47%가 사용자를 방해하지 않고 데이터를 이동하는 비정형 데이터 문제를 가장 큰 문제로 꼽았다. 따라서 데이터 품질 상태는 실시간 데이터를 처리하기 위해 데이터 아키텍처 구성 요소를 구현하는 속도와 리소스 가용성을 설정한다.

실시간 데이터 처리에 핵심이 되는 AI 및 기계 학습 도구가 증가함에 따라 조직이 2025년까지 핵심 IT 지출의 40% 이상을 AI에 할당함에 따라 이러한 기술을 사용해야 한다는 압력이 커질 것이다. 이는 데이터 아키텍처를 현대화하고 데이터를 관리하기 위한 추진력이다. 품질로 인해 2024년에는 실시간 데이터 처리에 있어 인프라 혼란과 혼합된 결과가 발생할 것이다.

분산 아키텍처를 신중하게 구현하기

여러 플랫폼을 사용하는 분산 데이터 아키텍처는 실시간 데이터를 처리할 뿐만 아니라 데이터 액세스 시간을 줄이고 중복성을 제공하며 유연성을 높인다. 이는 기업이 2024년에 걸쳐 조직에서 구현을 추진하도록 촉진할 것이다.

기업에서는 어떤 분산 아키텍처를 적용할지 고려할 때 신중하게 진행할 것이다. 데이터 품질 문제는 기술 예산의 상당 부분을 차지하며 IT 프로젝트에 대한 비즈니스 승인에 영향을 미치기 때문에 많은 기업에서는 보다 확립되고 이해된 분산 아키텍처 옵션을 조사하게 된다.

결과적으로, 클라우드 데이터 웨어하우스는 클라우드 데이터 웨어하우스 볼륨이 전년 대비 52% 증가하여 목록의 최상위에 머물게 될 것이다. 가트너는 2027년에는 데이터 센터 인프라의 35%가 클라우드 기반 제어 플레인에서 관리될 것으로 예상한다.

클라우드 데이터 웨어하우스 외에도 43%의 기업이 데이터 레이크하우스를 고려할 것이다. 이 데이터 레이크하우스 구현은 분산 아키텍처에 대한 진입점을 제공한다.

처리하는 데 더 적은 리소스가 필요하고 데이터 품질 문제가 적은 기업은 데이터 패브릭, 시스템 전반에 걸쳐 서로 다른 데이터를 통합하는 알고리듬, 엔터프라이즈 데이터 관리에 대한 마이크로서비스 접근 방식인 데이터 메시의 조합을 조사할 것이다.

모든 분산 아키텍처의 경우 성공적인 2024 구현은 데이터 품질을 보장하기 위해 다른 데이터 관리 프로그램 구성 요소와 잘 작동하는 견고한 데이터 아키텍처 프레임워크를 갖추는 데 달려 있다. 데이터에 대한 신뢰가 없으면 모든 분산 아키텍처는 "감탄하고 분석되지만 실행 가능하지 않은" 최고의 보석으로 기능할 것이다. 이 결과는 현대화를 위한 향후 데이터 아키텍처 자금 조달에 좋지 않은 징조이다.

기계 고객 또는 커스토봇에 대한 관심 증가

가트너는 상품과 서비스를 협상하고 구매할 수 있는 인간이 아닌 경제적 행위자, 기계 고객 또는 "커스토봇"을 확인했다. 가트너는 기업이 이러한 알고리듬을 통해 2030년에 매출의 21% 이상을 창출할 것으로 예측한다 .

알고리듬은 이미 데이터 시스템의 API와 상호 작용하지만 관리봇은 데이터 아키텍처 결과, 행동 및 활동을 크게 변화시킬 것이다. 마이크로소프트 빙은 "기계 고객은 전통적인 데이터 아키텍처 패러다임에 도전하고 있다. 관리봇이 더욱 보편화됨에 따라 데이터 설계자는 인간과 인간이 아닌 참가자를 위한 데이터 생태계를 형성하는 데 앞장서게 될 것이다."고 말했다.

AI가 은행 계좌에서 돈을 현금으로 바꾸는 시나리오는 매우 먼 것처럼 보일 수 있지만 기업은 구매를 돕기 위해 생성AI를 시도하기 시작할 가능성이 높다. 구글은 이미 2023년 휴가 쇼핑객을 위해 의류 가격을 비교하는 생성AI 서비스를 추가했다.

구글과 같은 관리봇은 생성AI를 통해 기하급수적으로 더 많은 데이터와 알고리듬을 생성할 것으로 예상된다. 마이크로소프트 빙은 "점점 늘어나는 고객 관리 로봇과 상호 작용을 수용하려면 확장성이 중요한다."라고 말한다. 따라서 기업은 2024년에 이러한 새로운 추세를 관찰하고 증가하는 고객 수를 고려하여 안정적인 데이터 품질을 제공하는 데이터 인프라를 계획하기를 원할 것이다.

조직의 데이터 생태계에 제3자 데이터 포함

2024년에는 시장에서 데이터 생태계가 조직의 중요 자산에서 하나 이상의 타사 데이터 소스를 포함하는 것으로 확장되기 시작할 것이다. 맥나이트는 조직이 자회사, 파트너, 제3자 또는 인터넷 사용자와 데이터를 공유하고 교환할 수 있도록 하는 데이터 아키텍처인 데이터 클라우드를 통해 이러한 추세의 측면을 확인했다 .

학계는 이미 1만 3900명의 개인 회원이 데이터 공유를 촉진하는 인프라를 개발 및 채택하고 있는 RDA(Research Data Alliance)를 통해 이러한 추세의 시작을 확인했다 .

2023년에 기업들은 빠르게 증가하는 데이터 볼륨을 처리하고 새로운 기회를 찾기 위해 제3자 데이터의 사용을 연구해 왔다. 이러한 추세는 2028년까지 35억 달러에 이를 정도로 수익성이 높을 것으로 예상된다.

이러한 발전은 최소한 세 가지 방식으로 조직에 영향을 미칠 것이다.

기업은 타사 데이터를 통합하고 자체 데이터를 강화하기 위해 이미 우수한 데이터 품질을 보유하고 제공하는 데이터 아키텍처를 보유해야 한다.

데이터 품질이 낮은 기업은 데이터 인프라를 발전시켜 여러 파트너와 함께 더욱 광범위하고 공유된 데이터 생태계를 활용하는 것이 더 어렵다는 것을 알게 될 것이다.

데이터 클라우드를 공유하는 기업은 데이터 품질에 세심한 주의를 기울여야 하며, 데이터 리소스를 공유할 때 데이터 아키텍처 구성 요소를 서로 조정해야 한다.

이러한 요구 사항을 고려할 때 조직은 2024년에 혼합된 결과를 가져올 것으로 예상해야 한다. 일부 조직은 이 데이터 공유를 통해 놀라운 성과와 통찰력을 달성하는 반면 다른 조직은 서두르는 데이터 아키텍처 프로세스 및 구현으로 어려움을 겪을 수 있다.

결론

조직은 실시간 데이터, 커스토봇 및 타사 데이터를 통해 기회를 현대화하고 수익을 증대하기 위해 복잡한 데이터 아키텍처 우선순위에 직면해 있다. 기업은 위험을 관리하는 동시에 AI 영향과 같이 점점 더 잠재적인 위협을 처리하면서 이러한 목표를 달성하기를 원한다.

데이터 품질의 정도에 따라 데이터 아키텍처 구현 속도와 성공이 결정된다. 이러한 추세는 조직이 기술 인프라를 현대화하고 분산 아키텍처를 채택함에 따라 더욱 분명해질 것이다.

데이터 품질 문제를 해결하지 못하는 사람들은 데이터 아키텍처를 더 느린 속도로 수용하게 될 것이다. 이러한 상황을 해결하기 위해 기업은 책임 있는 데이터 거버넌스를 채택할 가능성이 높다. 복잡하고 우아한 데이터 아키텍처를 갖춘 기업이라도 책임 있는 데이터 거버넌스를 개선하여 2024년에는 더 나은 예산을 책정하고 데이터 인프라 업데이트를 구현할 것이다.