금융기관은 방대한 정형·비정형 데이터를 통합 관리하고, 실시간 분석 및 인사이트 도출을 통해 빠르고 정확한 의사결정을 지원하고 데이터 활용도를 극대화하여 맞춤형 서비스 제공, 운영 효율성 향상, 규제 준수 강화 등 디지털 전환 시대의 경쟁력을 확보하기 위해 데이터 레이크를 인프라로 구축한다.

최근 한국은행은 디지털 전환 가속화와 데이터 중심 의사결정 체계를 강화하기 위해 데이터 레이크 구축 사업을 추진했다. 이번 사업에 AI∙데이터 인프라 솔루션 전문기업 HS효성인포메이션시스템(대표 양정규)이 참여해 고성능 데이터 레이크 인프라를 성공적으로 구축했다고 11일 밝혔다.

데이터 레이크 구축사업은 실시간, 고빈도, 비정형 데이터 처리에 최적화된 고성능 하드웨어와 이에 친화적인 솔루션을 도입하여 데이터 업무 역량을 강화하는 시스템을 구축하는데 중점을 두고 진행됐다.

HS효성인포메이션시스템은 이번 구축사업에서 설계부터 구축까지 전 과정을 전담했다. 대용량 데이터 적재, 신속한 조회･응답, 가상화 기반 무중단 운영관리 등 기술적 완성도 뿐만 아니라 다양한 데이터 업무환경에 유연한 대응이 가능하도록 운영 효율성까지 고려해 구축했다.

특히, 데이터 또는 사용자 증가 등 외부 변화에도 시스템이 데이터 처리 성능에 대해 항상성을 유지하도록 수평 확장 기능을 내장한 초고성능 병렬 파일 시스템 ‘HCSF(Hitachi Content Software for File)’를 전체 시스템의 근간으로 구축했다. 이를 통해 정형∙비정형∙반정형 데이터 제공 및 활용이 가능하도록 체계적이고 범용성 높은 시스템을 구현했다.

HCSF는 저장 공간의 유연한 할당 및 회수, 메타 데이터의 분산 저장을 통한 수록 데이터의 고속 접근, 온라인 수평 확장(scale-out)을 활용해 운영 효율을 높인다. 이외에도 문서 데이터와 같은 대량의 소형 데이터 집합에도 탁월한 성능을 갖추고 있어 AI 시대에 최적화된 고성능 인프라 환경을 제공한다.

또한, 실시간∙대용량∙고빈도 데이터의 고속 조회∙적재를 지원하는 동시에 AI기반의 지속적인 확장 가능 체계를 만들기 위해 싱글스토어DB를 연계해 벡터(vector) 데이터 저장 기능을 도입하는 등 새로운 유형의 데이터에도 신속한 적응이 가능한 최적의 환경을 완성했다.

데이터 레이크 구축의 결과로 한국은행은 데이터 수집, 처리, 분석 속도를 혁신적으로 개선해 보다 정교한 경제 정책 수립이 가능해졌다. 또한, 다양한 비정형 데이터를 활용할 수 있는 환경을 제공하여 분석 범위를 확대하고, 업무 효율성 높이고 운영 비용도 절감할 수 있게 됐다. 이를 통해 한국은행은 디지털 경제 시대에 대응하는 데이터 중심 기관으로의 전환 기반을 마련했다.

한국은행 디지털혁신실장은 “데이터 레이크 도입으로 비정형∙실시간∙벡터 등 데이터 처리 역량을 강화할 수 있게 되었으며 향후 AI와의 연계를 통해 디지털 역량과 중앙은행 그룹내 선도적 위상을 확보할 것으로 기대된다.”라고 전했다.

HS효성인포메이션시스템 양정규 대표이사는 “HS효성인포메이션시스템의 전문 인력들이 데이터 레이크 구축을 위한 컨설팅부터 아키텍처 수립, 구축까지 전반적으로 고객 맞춤형 서비스를 제공한다. 객들이 원하는 AI 시대에 맞는 데이터 레이크 혁신을 위한 최상의 전략을 제시하겠다.”라고 말했다.