기업들이 실시간 분석으로 전환함에 따라 모든 것이 즉각 처리되어야 한다. 테이블 크기의 급속한 증가, 테이블 수 증가, 수집 및 쿼리 속도 급증은 동적 데이터 구조 관리의 복잡성을 가중시킨다. 안정적이고 주기적인 데이터 로드의 이점이 있는 일괄 처리 시스템과 달리, 실시간 분석은 전례 없는 규모와 끊임없이 변화하는 조건 속에서도 성능과 보안, 신뢰성을 유지하는 솔루션이 필요하다.

스키마 변경이나 데이터 공백과 같은 스트리밍 파이프라인의 변경은 즉각적인 해결이 필요하며, 고객 대면 애플리케이션의 처리량과 응답성 유지를 위해서는 최적화된 쿼리가 필수적이다.

이를 해결하기 위해 클라우드 기반 실시간 분석 기업인 스타트리(StarTree)가 조직들의 발전하는 데이터 구조의 효율적 처리, 쿼리 성능 향상, 사용자 접근 관리 간소화를 통해 대규모 실시간 분석의 속도와 신뢰성은 높이는 새로운 기능들을 공개했다.

스타트리 클라우드의 새로운 기능은 조직이 엄격한 성능과 보안 기준을 유지하면서 실시간 데이터를 효율적으로 관리할 수 있도록 지원한다.

스타트리 클라우드의 새로운 기능

⦁무중단 수집: 기업들이 초당 수천만 건의 메시지를 수집하는 상황에서 잠깐의 지연도 데이터 정확도와 의사결정에 영향을 미칠 수 있다. 스타트리 클라우드는 세그먼트 구축과 업로드 단계에서도 지속적인 데이터 흐름을 유지하여 대규모의 실시간 통찰력을 안정적으로 제공한다.

⦁성능 관리자: 아파치 피노(Apache Pinot) 사용 시 빠른 확장과 가치 창출 시간 단축을 지원하도록 설계됐다. 직관적인 머신러닝 기반 인터페이스로 쿼리 성능 최적화 과정을 단순화한다. 신규 사용자들은 광범위한 인덱싱 기술 활용에 어려움을 겪는데, 성능 관리자는 쿼리 구조와 지표를 분석해 인덱스, 블룸 필터, 파생 컬럼, 스타-트리 인덱스 등의 개선사항을 추천한다. 사용자는 클릭 한 번으로 이러한 최적화를 적용해 즉각적으로 성능을 높일 수 있다.

⦁스키마 진화: 데이터가 지속적으로 흐르는 실시간 데이터베이스에서 스타트리 클라우드의 스키마 진화를 통해 운영 중단 없이 새로운 필드, 인덱스, 변경된 데이터 유형 등 구조적 수정을 수용할 수 있다. 이는 데이터 일관성 유지와 입력 데이터가 변화하는 상황에서도 데이터베이스 기반 애플리케이션의 원활한 작동을 보장하는 데 필수적이다.

⦁데이터 백필: 과거 이벤트에서 데이터를 원활하게 다시 로드하여 데이터 흐름의 공백을 채울 수 있게 함으로써 부정확하거나 누락된 데이터 문제를 해결한다. 데이터가 제대로 로드되거나 스트리밍되지 않을 때, 백필을 통해 부정확하거나 누락된 정보를 복구하여 데이터세트 전반의 일관성을 유지할 수 있다.

⦁역할 기반 접근 제어(RBAC) 관리: 실시간 데이터 분석의 보안을 강화하고 사용자 관리를 단순화한다. 이 기능은 역할 기반으로 사용자 접근을 쉽게 할당하고 제어할 수 있게 하여, 해당 역할이 1초 미만의 시간 내에 데이터를 수집하고 분석하는 경우에도 민감한 데이터에 대한 안전하고 효율적인 접근을 보장한다.

스타트리의 공동창업자 겸 CEO인 키쇼어 고팔라크리슈나(Kishore Gopalakrishna)는 “스타트리의 새로운 기능들은 실시간 분석의 중요한 격차를 해소하여 조직이 배치 시스템에서 볼 수 있는 신뢰성과 제어 능력을 갖추고 확장할 수 있게 한다. 데이터 관리와 보안의 핵심 과제를 해결함으로써 조직이 실시간 통찰력을 더 잘 활용하고 효율적으로 운영을 확장할 수 있도록 돕는다.”고 말했다.