기업들이 의사결정과 혁신을 위해 AI에 점점 더 의존하고 있지만, 다양하고 방대한 데이터 생태계 관리의 복잡성도 더해지고 있다. 일관성 없는 데이터 품질, 수동 검증 프로세스, 민감한 데이터 노출 위험은 AI 도입을 늦추고 결과에 나쁜 영향을 미친다.

이에 AI 기반 데이터 품질 기업인 텔마이(Telmai)가 엔터프라이즈 데이터 품질 플랫폼의 기능을 강화하고 AI 도입을 가속화하는 자동화된 워크플로를 도입한다고 발표했다. 이 새로운 기능을 통해 조직은 AI 구현 전반에 걸쳐 데이터 품질을 자동으로 모니터링, 검증 및 최적화하며, 규제 준수와 대규모 데이터 신뢰성을 확보할 수 있다.

텔마이는 운영을 간소화하고, 정확성을 높이며, 시스템 전반에서 원활하게 확장할 수 있는 업데이트를 제공한다.

오픈 테이블 형식에 대한 통합 지원

텔마이와 아파치 트리노(Apache Trino)의 통합은 네이티브 데이터 품질 모니터링 및 관찰 기능을 제공한다. 아파치 트리노는 분산 SQL 쿼리 엔진으로, 다양한 데이터 소스(MySQL, PostgreSQL, Hadoop, S3 등)에 걸쳐 데이터를 병합하여 빠르게 분석할 수 있다. 고속 데이터 쿼리와 확장성을 제공하며 대규모 데이터 분석에 최적화된 오픈소스 프로젝트이다. 

아파치 트리노의 통합은 아파치 아이스버그(Apache Iceberg) 및 델타 레이크(Delta Lake)와 같은 오픈 테이블 형식에 대한 지원을 확장한다. 이들은 원활한 쿼리, 스키마 진화, 효율적인 확장성을 지원하며 AI 파이프라인의 대규모 동적 데이터세트를 처리하는 데 중요한 역할을 한다.

텔마이는 오픈 형식 내에 자동화된 데이터 품질 검사를 직접 임베딩해 데이터를 사전 처리하거나 샘플링하지 않고도 열 수준의 데이터 품질 모니터링을 기본적으로 지원한다. 이는 사용자의 운영 오버헤드를 최소화하고 데이터 기반 의사결정을 지원하며 AI 도입을 가속화한다.

AI 워크로드에서 민감한 데이터 노출의 자동 탐지 및 방지

텔마이는 규제 환경에서 운영되는 기업을 위해 AI 워크로드에서 민감한 데이터 노출을 탐지하고 방지하는 자동화를 도입했다. AI 기반 패턴 인식을 통해 조직은 AI 훈련 데이터세트에서 신용카드 번호 및 사회보장번호와 같은 개인 식별 정보(PII)를 자동으로 파악하고 보호할 수 있다.

효율적인 메타데이터 스캐닝 기능

텔마이의 메타데이터 전용 스캐닝 기능은 일반적으로 데이터 품질 모니터링과 연관된 연산 오버헤드를 크게 줄여준다. 사용자는 중요한 데이터 요소에 대해 완전한 열 수준의 데이터 검사를 수행하거나 모든 데이터 자산에 걸쳐 메타데이터 검증을 보장할 수 있는 유연성을 갖는다. 이러한 방식은 성능에 영향을 미치거나 상당한 비용을 추가하지 않고도 대규모 데이터세트 전반에 걸쳐 포괄적인 품질 관리를 가능하게 한다.

텔마이의 공동 창업자이자 최고 기술 책임자인 막심 루키체프(Maxim Lukichev)는 “텔마이의 자동화된 워크플로우, 오픈 포맷 통합 및 고급 자동화 워크플로우는 확장 가능하고, 정확하며, 신뢰할 수 있는 AI 시스템을 위한 기반을 제공한다.”고 설명했다.