빠르게 변화하는 오늘날 많은 조직들이 제한적인 예산 내에서 분석 및 AI 워크로드를 수행해야 하는 과제에 직면해 있다. 데이터 레이크하우스 기술은 적은 비용으로 성능 이점을 제공하지만, 데이터 엔지니어링 및 IT 팀에서는 어떤 데이터를 최적화하고 캐싱(caching)이나 데이터 저장 위치를 결정하는데 어려움을 겪을 수 있다.

한국 델 테크놀로지스(Dell Technologies, 대표 김경진)는 AI에 최적화된 개방형의 풀스택 데이터 플랫폼 ‘델 데이터 레이크하우스(Dell Data Lakehouse)’에 쿼리 성능 가속화하는 ‘워프 스피드(Warp Speed)’ 기능을 탑재해 제공한다고 26일 밝혔다.

‘델 데이터 레이크하우스’는 ‘스타버스트(Starburst)’ 쿼리 엔진 기반의 델 S3 호환 스토리지를 기반으로 설계되어 아이스버그(Iceberg)와 같은 개방형 형식의 데이터를 저장하고 쿼리할 수 있는 고성능, 고가용성 스토리지 계층을 제공한다.

이번에 ‘델 데이터 레이크하우스’에 추가된 ‘워프 스피드(Warp Speed)’는 쿼리 패턴을 자율적으로 학습하고 자주 액세스하는 데이터를 식별해 최적의 인덱스와 캐시를 생성하며, 빈번하게 액세스하지 않는 데이터는 제자리에 유지시킬 수 있다.

‘워프 스피드’는 쿼리 성능 가속화와 비용 절감을 만족시킨다. 사용자는 쿼리를 변경할 필요 없이 동일한 클러스터에서 데이터 레이크 쿼리를 3배에서 5배가량 더 빠르게 실행하는 한편 클러스터 크기를 최대 40%까지 줄일 수 있다. 즉 대규모 클러스터에서 더 많은 쿼리를 실행하거나, 더 작은 클러스터에서 동일한 양의 쿼리를 실행할 수 있다.

‘워프 스피드’는 ▲데이터 엔지니어링 없이도 데이터 레이크를 자율적으로 색인하고 온디맨드 방식으로 탐색 데이터 세트를 가속화하고 ▲고성능 대시보드 구축으로 사용자 환경을 변경하지 않고도 테라바이트(TB) 부터 페타바이트(PB) 단위까지 데이터를 더 빠르게 드릴다운(drill down) 할 수 있고 ▲자율 인덱싱으로 각 데이터 블록에 맞는 적절한 인덱스 유형(비트맵, 딕셔너리, 트리)을 생성해 조인(join), 필터, 검색과 같은 작업을 가속화한다. 빠른 액세스를 위해 컴퓨팅 노드의 SSD에 인덱스가 저장되며 ▲스마트 캐싱은 데이터 사용 빈도에 따라 성능을 최적화하는 독점적인 SSD 컬럼형 블록 캐싱을 제공해 불필요한 테이블 스캔을 없애고 쿼리 간 데이터를 더 많이 재사용해 컴퓨팅 비용을 절감한다.

델 데이터 레이크하우스 사용 고객은 현재 새로운 워프 스피드 기능을 사용할 수 있으며, ‘파워스케일(PowerScale)’ 및 ‘델 ECS’와 같이 S3와 호환되는 델 스토리지를 데이터 레이크로 사용하는 고객들에게도 지원된다. 소프트웨어 라이선스 변경 없이 내장형으로 제공되며, 델에서 테스트와 벤치마크를 마친 SSD를 포함해 컴퓨팅 노드 구성을 수정해 워프 스피드 인덱스 및 캐시를 지원한다.

김경진 한국 델 테크놀로지스 총괄사장은 “델은 AI 시대에 알맞은 데이터 레이크 분석의 새로운 기준을 제시하고 있다. 워프 스피드를 통해 지금껏 가능하지 않았던 효율성과 속도로 데이터에 담긴 잠재력으로 합리적인 예산으로도 혁신을 달성하게 지원한다.”고 말했다.