의심할 여지 없이 생성AI와 클라우드 마이그레이션 같은 이니셔티브가 올해 인플루언서들과 데이터 리더들 사이에서 많은 관심을 받았다. 가트너의 주요 전략적 예측은 거의 모두 AI와 그 영향을 중심으로 이루어졌고 이러한 추세는 2024년에도 계속될 것으로 보인다. 또한 분석 업체들은 2027년까지 AI의 생산성 가치가 국력을 나타내는 주요 경제 지표로 인식될 것이라고 전망하고 있다.

다른 데이터 전략과 마찬가지로 생성AI에 대한 소문을 무시해서는 안 되지만, 데이터 및 분석 전문가가 우선순위를 명확히 하고 비즈니스 계획과 목표에 맞게 조정하는 것이 중요하다.

2024년에 조직들은 데이터 관리 관행을 평가하고 현대화해 비즈니스 성과를 높이고, AI 구현 시기를 결정하며, 데이터 패브릭에서 시맨틱 메타데이터의 역할을 더 잘 이해하고, LLM(대형 언어 모델)과 LPG(레이블 속성 그래프) 및 RDF(자원 설명 프레임워크)의 융합을 통해 지식 그래프의 도입을 가속화할 것이다.

2024년에 주목해야 할 데이터 및 지식 관리 동향은 다음과 같다.

AI에 대한 과대광고 관리

조직들은 생성AI에 대한 과대 광고를 억제하고 현실적이고 책임감 있는 접근 방식을 육성해야 할 것이다. GPU 부족으로 인한 AI 위기, 대형 언어 모델 훈련의 기후 영향, 개인정보 보호, 윤리, 편견 또는 거버넌스에 대한 우려 등의 문제들은 더 악화될 것이며, 많은 사람들이 생성AI를 적용할 가치가 있는지 궁금해하게 될 것이다.

조직들은 ‘AI로 무언가를 해야 한다’고 압박받을 수 있지만, 데이터 기반이 최우선으로 유지돼야 한다. 결국, 기초 데이터가 체계적으로 정리되고, 공유 가능하며, 상호 연결되어 있는 것은 생성AI 모델이 신뢰할 수 있고, 결정적이며, 설명 가능하고, 윤리적이며, 편견이 없는지 묻는 것만큼 중요하다.

생성AI 솔루션을 배포하기 전에 지적 재산을 보호하고 잠재적인 책임 문제에 대한 계획을 세워야 한다. 이는 생성AI가 경우에 따라 사람을 대체할 수 있지만 LLM에 대한 전문 책임 보험이 없기 때문이다. 즉, 생성AI와 관련된 비즈니스 프로세스에는 효율성 향상을 상쇄할 수 있는 인간의 참여가 여전히 필요하다.

2024년에는 공급 업체들이 생성AI 시장 추세를 충족하는 데 초점을 맞춘 새로운 인터페이스를 추가해 제품 서비스 개선을 가속화할 것으로 예상된다. 그러나 조직에서는 이것이 단지 일회용 반창고에 불과할 수 있다는 점을 인식해야 한다.

데이터 품질과 같은 문제를 해결하고 정확하고 신뢰할 수 있는 데이터에 대한 통일되고 일관된 액세스를 보장하려면 명확한 데이터 전략을 설정하고 현실적인 비즈니스 중심 접근 방식을 취해야 한다. 그렇지 않으면 AI/ML 모델이 개념 증명(PoC)을 통과하는 데 어려움을 겪고 궁극적으로 과대 광고를 제공하지 못하기 때문에 조직은 계속해서 ‘나쁜 데이터 세금’을 지불하게 될 것이다.

LLM과 기술 융합으로 지식 그래프 도입 가속화

지식 그래프(KG) 도입 속도를 늦추는 주요 요인은 필요한 도메인 모델을 개발하는 광범위한(그리고 비용이 많이 드는) 프로세스다. LLM은 분류학의 발전, 개체 분류, 비정형 데이터에서 새로운 속성 및 관계 추출에 이르는 여러 작업을 최적화할 수 있다.

올바르게 수행되면 LLM은 적절한 도구와 방법론을 통해 현재 필요한 노력의 일부만으로 텍스트 분석 파이프라인의 품질을 관리하고 KG를 부트스트랩/발전시킬 수 있으므로 정보 추출 비용을 낮출 수 있다. 또한 LLM은 자연어 쿼리 및 요약을 적용해 KG를 더 쉽게 사용할 수 있다.

레이블이 있는 속성 그래프와 리소스 설명 프레임워크는 각각 결합 시 강력한 시너지 효과를 발휘하는 강력한 데이터 모델이다. 따라서 데이터 관리자와 기술 공급 업체들은 RDF와 LPG가 함께 데이터 모델링 및 통합에 대한 포괄적이고 유연한 접근 방식을 제공한다는 사실을 깨닫고 있다.

이러한 그래프 기술 스택의 결합을 통해 기업은 데이터 분석, 참조 데이터 및 메타데이터 관리, 데이터 공유 및 재사용이 효율적이고 미래에도 보장되는 방식으로 처리되는 더 나은 데이터 관리 방식을 만들 수 있다. 효과적인 그래프 기반이 구축되면 조직 전체에서 재사용하거나 용도 변경하여 엔터프라이즈 수준의 결과를 제공할 수 있다.

디지털 트윈, IoT, AI, ML과 같은 혁신적이고 새로운 기술이 더 많은 인지도를 얻으면서 데이터 관리가 더욱 중요해질 것이다. LPG와 RDF 기능은 AI와 ML 모델 간의 복잡한 데이터 관계를 나타낼 뿐만 아니라 IoT 데이터를 추적하여 이러한 새로운 사용 사례를 지원할 수 있습니다. 또한 데이터의 규모와 다양성이 증가함에 따라 이 조합은 더 나은 성능에 대한 요구도 충족할  것이다.

이에 따라 기업들이 현재 사용 중인 대용량 데이터 세트를 연결, 처리, 분석, 쿼리하기 위해 2024년에도 지식 그래프 도입이 계속 증가할 것으로 예상된다.

데이터 패브릭의 발전, 시맨틱 메타데이터 사용

올바른 결정은 공유 데이터, 특히 적절한 시기의 올바른 데이터에 달려 있다. 때때로 데이터 자체가 더 많은 의문을 제기하기도 한다.

서로 다른 도구, 플랫폼, 단절된 데이터 사일로로 인해 단절된 데이터 생태계는 계속 악화될 것이다. 이 때문에 데이터를 더 잘 관리하고 공유하기 위한 방법으로 데이터 패브릭의 개념이 등장했다.

데이터 패브릭는 식별, 액세스, 정리, 강화, 변환, 관리, 분석까지 데이터를 관리하도록 설계된 데이터 관리 도구다. 이는 기업 전체에 도입되기까지 몇 년이 걸릴 것이다.

현재 솔루션은 데이터 패브릭의 모든 가능성을 제공하지 않는다. 2024년에 조직들은 메타데이터 관리를 위한 지식 그래프와 인공지능을 통합해 현재의 서비스를 개선할 것이며, 이를 더욱 효과적으로 만드는 핵심 기준이 될 것이다.

시맨틱 메타데이터는 데이터 메시 패러다임에 따라 분산형 데이터 관리를 가능하게 하는 요소로 작용할 것이다. 또한 독립적으로 관리되는 데이터 요소의 의미에 대한 공식적인 맥락을 제공해 다양한 비즈니스 기능을 제공하고 비즈니스 논리와 가정을 구현할 것이다.

이러한 솔루션은 자가 학습 메타데이터 분석을 발전시키고 통합해 데이터 활용 패턴을 파악하고 데이터 제품을 통해 도메인별 데이터를 최적화, 자동화, 액세스할 것이다.

데이터 보안, 액세스, 거버넌스, 편견 문제는 일상적인 비즈니스에 지속적으로 영향을 미치고 있다. 조직들은 시맨틱 기술로 구동되는 데이터 패브릭을 활용해 소유 비용과 운영 비용을 낮추는 동시에 데이터 공유와 신뢰를 개선할 것이다.

필자 아타나스 키랴코프(Atanas Kiryakov)는 온토텍스트(Ontotext)의 CEO로 의미 그래프 데이터베이스, 추론, 지식 그래프, 텍스트 마이닝, 의미 태깅, 연결 및 검색 분야의 최고 전문가이다.

 (*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)