AI 기반 시스템의 성능은 고품질 데이터에 좌우되며, 이에 따라 데이터 엔지니어링 기술의 중요성이 빠르게 부각되고 있다. 분석 엔지니어링은 데이터를 수집·정제·모델링하여 AI, BI, 자동화 시스템에 적합한 형태로 제공하는 기술로, 금융, 헬스케어, 제조, 리테일 등 고속 데이터 기반 의사결정이 필요한 전 산업군에서 활발히 적용되고 있다.

분석 엔지니어링 솔루션 기업 dbt 랩스(dbt Labs)가 AI 시대의 데이터 팀 운영 전략과 시장 변화에 대한 연례 보고서를 발표했다. 이 보고서는 AI가 기업의 데이터 예산, 팀 구성, 기술 투자의 방향을 어떻게 변화시키고 있는지를 실증적으로 보여준다. AI에 대한 수요 증가는 단순한 기술 도입을 넘어 데이터 팀을 전략적 조직으로 재정의하고 있으며, 고품질 데이터 확보와 신뢰도 확보가 산업 전반의 경쟁력으로 연결되고 있다.

AI 도입이 촉진한 데이터 예산 확대와 팀 성장

보고서에 따르면 응답자의 30%가 데이터 예산이 전년도 대비 증가했다고 밝혔으며, 이는 전년도 9%에 비해 큰 폭의 상승이다. 또한 45%는 향후 AI 툴링을 가장 중요한 투자 분야로 선택해, AI를 중심으로 한 데이터 환경 변화가 예산 집행의 우선순위를 재편하고 있음을 시사한다. AI 애플리케이션 운영을 위한 데이터 인프라 확충이 필수 요건으로 자리 잡고 있는 것이다.

데이터 팀의 규모도 급속히 확대되고 있다. 보고서에 따르면 데이터 팀 인력은 전년도 14% 증가에 비해 올해는 40% 증가했으며, 이는 AI의 성능을 높이기 위해 더 많은 데이터 정제 및 거버넌스 인력이 필요하다는 현실을 반영한다. 이와 함께 북미 지역에서는 개인 기여자의 80%가 연봉 10만 달러 이상, 관리자 중 49%는 20만 달러 이상을 수령하고 있는 것으로 나타났다. 데이터 직무의 전략적 위상이 급상승하고 있음을 보여준다.

데이터 워크플로의 자동화와 생산성 향상

AI는 데이터 전문가의 업무 방식에도 실질적인 변화를 이끌고 있다. 보고서에 따르면 응답자의 80%가 일상적인 업무에 AI를 활용하고 있으며, 이 중 70%는 코드 작성에, 50%는 데이터 문서화에 AI 도구를 사용하고 있다. 이는 AI가 단순한 분석 도구를 넘어 데이터 워크플로의 자동화를 실현하고 있음을 의미한다.

AI 도구 도입은 데이터 전문가의 역량을 대체하기보다 확장하는 방향으로 활용되고 있다. 응답자의 75%는 데이터 팀이 조직에서 핵심적인 기능으로 인식되고 있다고 답했으며, 이는 AI 도입으로 인한 개발 생산성과 데이터 품질 개선이 조직의 전략적 판단에 긍정적 영향을 주고 있다는 방증이다.

dbt Labs CTO 마크 포터는 “AI와 데이터 팀은 상호 공생하며 혁신을 가속화하는 쌍방 관계”라고 강조했다.

데이터 신뢰와 거버넌스가 AI 성공의 핵심 조건

AI 성공의 전제 조건으로 ‘데이터 품질’이 꼽히며, 여전히 낮은 데이터 신뢰성이 가장 빈번한 과제로 지적되고 있다. 응답자의 56%가 낮은 데이터 품질을 주요 문제로 인식하고 있으며, 이에 따라 데이터 모니터링 및 파이프라인 디버깅과 같은 선제적 품질 관리가 중요해지고 있다. AI가 이 과제를 해결할 수 있을 것이라는 기대도 함께 커지고 있다.

Docusign의 글로벌 데이터 및 분석 책임자인 피유시 바르가바는 “AI에 대한 신뢰는 결국 데이터에 대한 신뢰에서 출발한다”며, 이를 위해 dbt 기반의 기술 스택을 활용해 재사용 가능한 데이터 자산을 구축하고 있다고 밝혔다. 그는 또한 dbt 클라우드의 AI 기능이 생산성을 크게 향상시키고 있다고 덧붙였다. 이 발언은 데이터 품질 확보와 AI 도입이 동시에 진행되어야 함을 보여준다.

dbt Labs의 2025년 분석 엔지니어링 보고서는 AI 도입이 단순한 기술 확장에 그치지 않고 데이터 생태계 전반의 구조적 변화를 야기하고 있음을 입증한다. AI의 효율성과 신뢰도는 데이터 품질과 거버넌스에 좌우되며, 이로 인해 데이터 팀은 이제 조직 내 핵심 전략 부서로 재조명받고 있다. 산업의 AI 전환이 가속화될수록, 데이터 엔지니어링의 전략적 가치 또한 지속적으로 상승할 것으로 전망된다.