데이터의 양과 복잡성이 증가함에 따라 비효율적인 수작업 관리의 한계를 극복하고, 신뢰성 높은 데이터 기반 의사결정을 지원하는 기술이 필요해졌다.

한국전자통신연구원(ETRI)이 데이터 프로파일링 기술과 데이터 허브 상호운용 자동화 기술인 ‘자율·협업형 데이터 허브기술’을 개발하고 시연회를 21일 개최했다. 

이번에 개발된 데이터 프로파일링 기술과 데이터 허브 상호운용 자동화 기술은 국제 컨소시엄(W3C)의 웹 표준을 기반으로 한 자율·협업형 데이터 허브기술이다. 세부 기술로는 ▲데이터 허브 협업을 지원하는 개방형 데이터 거버넌스 플랫폼 기술 ▲데이터 카탈로그 교환 및 데이터 변화 동기화 기술 ▲하이퍼 메타데이터 기반 데이터 프로파일링 기술 등이 있다.

이번 시연회에서는 AI 기반의 일자리 정보 실시간 동기화 기반, 구직자 맞춤형 일자리 추천 서비스를 일자리 사이트에 적용한 결과를 선보였다. 그동안 일자리 사이트에는 데이터 형식 및 구조 불일치, 접근성 및 UI/UX 차이, 불필요한 데이터 중복, 너무 많은 웹사이트 존재 등의 장애물로 인해 장애인 구인·구직에 애로가 있었다. 이 기술을 적용한 결과 구인․구직 매칭률이 크게 상승했다.

연구진은 이 기술이 향후 의료 및 공공 등 다양한 분야로 확장할 수 있다고 설명했다.

이 기술은 각 분야에서 만든 데이터 형식과 정보가 제각각이라 데이터 수집, 처리, 활용 시 반복적으로 발생하는 작업과 문제를 해결하고자 개발됐다. ETRI 연구진은 기존 기업별 데이터 관리 방식에서 벗어나 데이터가 공유되고 융합되는 개방형 데이터 생태계를 위해 하이퍼 메타데이터를 관리하는 데이터 거버넌스 플랫폼을 구축했다.

데이터 종류와 양이 폭발적으로 증가함에 따라 데이터에 대한 고정된 메타데이터만으로는 데이터를 정확히 파악하고 활용하기에 어려움이 있었다. 이에 데이터에 대한 정보를 설명하는 정보인 하이퍼메타 데이터 관리가 필요해졌다.

ETRI가 개발한 자율·협업형 데이터 허브는 거버넌스 플랫폼을 중심으로 데이터 협업 생태계를 구성한다. 하이퍼 메타데이터를 기반으로 데이터 구조, 형식, 특성, 데이터 간 관계 등 다양한 정보를 동적으로 구성한 데이터 프로파일을 교환함으로써 데이터 관리를 자동화할 수 있다. W3C에서 제정한 기술을 기반으로 구현된 세계 최초의 기술이다.

아울러, 자율·협업형 데이터 허브 간에는 협의를 통해 데이터 카탈로그를 교환하고 데이터의 변화된 정보를 서로에게 즉시 알려주는 상호운용 기술이 구현되어 있다. 이 기술이 확산되면 국내·외 어디서나 최신 정보를 정확하게 검색할 수 있고 활용성을 높일 수 있다.

ETRI는 데이터 허브 간 상호운용 세션 관리 기술은 한국정보통신기술협회(TTA)에서 국내 표준으로 제정되었다. 현재 국제표준단체 국제전기통신연합(ITU) SG13에서 국제 표준화를 추진 중이다. 또한 관련 SW는 일반에 공개할 계획이다.

또한 이번 시연회를 통해 수요 기업 및 기관과의 협력을 강화하고, 다양한 분야에 기술 확산을 추진할 계획이다. 헬스케어 및 제조 분야에 기술이전도 추진해 오는 2026년경 상용화할 방침이다.

ETRI 원희선 사이버브레인연구실장은 “기술 실증을 위해 여러 일자리 사이트 간에 채용 정보를 수집, 공유하고 변동이 생기는 즉시 반영해 사회적 약자를 대상으로 최적의 일자리를 추천하는 서비스를 개발했다.”라고 말했다.