델, 데이터 레이크하우스에 ‘워프 스피드’ 기능 탑재…“쿼리 성능 5배까지 향상”

한국 델 테크놀로지스는 풀스택 데이터 플랫폼 ‘델 데이터 레이크하우스(Dell Data Lakehouse)’에 쿼리 성능 가속화를 위한 ‘워프 스피드(Warp Speed)’ 기능을 탑재해 제공한다고 26일 밝혔다.

이번에 ‘델 데이터 레이크하우스’에 추가된 ‘워프 스피드’는 쿼리 패턴을 자율적으로 학습하고 자주 활용하는 데이터를 식별해 최적의 인덱스, 캐시를 생성하며, 활용 빈도가 적은 데이터는 제자리에 유지시킬 수 있다. 델은 이 ‘워프 스피드’가 동일한 클러스터에서 데이터 레이크 쿼리를 3~5배가량 더 빠르게 실행하거나 동등한 성능에서 클러스터 크기를 최대 40%까지 줄일 수 있다고 설명했다.

델의 ‘워프 스피드’는 사용자는 쿼리를 변경할 필요 없이 동일한 클러스터에서 데이터 레이크 쿼리를 3배에서 5배가량 더 빠르게 실행하는 한편 클러스터 크기를 최대 40%까지 줄일 수 있어, 쿼리 성능 가속화와 비용 절감이라는 상충된 두가지 요구를 모두 만족시킨다. 즉 대규모 클러스터에서 더 많은 쿼리를 실행하거나, 더 작은 클러스터에서 동일한 양의 쿼리를 실행하는 것이 가능하다. 

‘워프 스피드’는 데이터 엔지니어링 없이도 데이터 레이크를 자율적으로 색인하고 온디맨드 방식으로 탐색 데이터 세트를 가속화할 수 있다. 또한 사용자 환경을 변경하지 않고도 테라바이트(TB) 부터 페타바이트(PB) 단위까지 데이터를 더 빠르게 드릴다운(drill down) 할 수 있다.

이 외에도, 각 데이터 블록에 맞는 적절한 인덱스 유형(비트맵, 딕셔너리, 트리)을 생성해 조인(join), 필터, 검색과 같은 작업을 가속화한다. 이 때, 인덱스는 빠른 액세스를 위해 컴퓨팅 노드의 SSD(Solid State Drive)에 저장된다. 이와 함께, 데이터 사용 빈도에 따라 성능을 최적화하는 독점적인 SSD 컬럼형 블록 캐싱을 제공, 불필요한 테이블 스캔을 없애고 쿼리 간 데이터를 더 많이 재사용해 컴퓨팅 비용을 절감한다.

델 데이터 레이크하우스 사용 고객은 현재 새로운 워프 스피드 기능을 사용할 수 있으며, ‘파워스케일(PowerScale)’ 및 ‘델 ECS’와 같이 S3와 호환되는 델 스토리지를 데이터 레이크로 사용하는 고객들에게도 지원된다. 또한 소프트웨어 라이선스 변경 없이 내장형으로 제공되며, 델이 검증한 SSD를 포함해 컴퓨팅 노드 구성을 수정함으로써 워프 스피드 인덱스 및 캐시를 지원할 수 있다.

이 외에도 델 데이터 레이크하우스는 새로운 업데이트에서 아이스버그(Iceberg), 델타 레이크(Delta Lake), 하이브(Hive)와 같은 주요 소스는 물론, Db2, 네테자(Netezza), 레드시프트, SAP HANA, 스노우플레이크, SQL 서버, 시냅스(Synapse) 및 테라데이타(Teradata)에 대한 커넥터를 업그레이드했다고 밝혔다. 

또한 델의 지원 팀에서 자동화된 상태 점검을 사용해 설치 또는 업그레이드 전과 후에 클러스터의 상태를 손쉽게 평가할 수 있게 됐다. 상태 점검은 지속적인 클러스터 모니터링 및 경고와 더불어 다운타임 제로화를 보장하는 데 중요한 역할을 한다. 이 외에도, 델 데이터 레이크하우스에 대한 5년 소프트웨어 구독 옵션이 새롭게 추가됐다. 

김경진 한국 델 테크놀로지스 총괄사장은 “델은 AI 시대에 알맞은 데이터 레이크 분석의 새로운 기준을 제시하고 있다. 새로운 워프 스피드를 통해 지금껏 가능하지 않았던 효율성과 속도로 데이터에 담긴 잠재력을 이끌어냄으로써 합리적인 예산으로도 얼마든지 혁신을 도모할 수 있게끔 지원한다”고 말했다.

권용만 기자 yongman.kwon@chosunbiz.com