빅데이터 최신 트렌드는?
이번 콘퍼러스에 연사로 참가한 김근태 SAS코리아 인포메이션 메니지먼트 1팀 부장은 '고능률 분석(High-Performance Analytics) : 빅데이터 분석을 위한 기술혁신'이라는 주제로 최근 빅데이터의 트렌드와 업계가 사용하고 있는 빅데이터 시각화 및 분석, 실시간 데이터 분석 기술 등을 소개했다.
▲ 김근태 SAS코리아 인포메이션 메니지먼트 1팀 부장
이 자리에서 김 부장은 "빅데이터의 초기가 전통적인 스몰 데이터 처리에 기반한 1.0이었다면, 이후 하둡의 등장으로 빅데이터가 2.0으로 업그레이드 됐다"며 "최근에는 종전 1.0과 2.0이 결합 형태 즉 하둡과 데이터 통계가 결합한 데이터 분석 중심의 3.0 버전이 나왔고 현재 사용되고 있다"고 말했다.
과거 데이터 수집에만 집중했다면, 지금은 이 빅데이터를 어떻게 분석할 것이냐가 중요해지고 있는 것이다.
빅데이터 시각화 기술
빅데이터에서 중요한 것으로 꼽히는 것은 바로 사용자가 데이터를 통해 어떻게 분석할 수 있고, 이를 보기좋게 시각화 하느냐다. 광대한 데이터를 단순 수치로만 보면 이해가 어렵지만, 그래픽이나 표로 데이터를 표현하면 분석 자료를 더 수월하게 이해할 수 있다.
김 부장은 "데이터 시각화는 표나 차트 등을 만드는 것과 같이 사용자가 보기 쉬운 형태로 만드는 것인데, 방대한 데이터를 시각화할 때는 특별한 툴이 필요하다"고 말했다.
오피스 프로그램과 같이 과거 PC 기반 프로그램으로 하던 데이터 분석을 앞으로는 빅데이터 전문 프로그램을 통해 도표나 지도 화면 등에 나올 수 있도록 할 수 있다는 것이다.
예를 들어, 11억 건에 달하는 데이터를 분석할 때, 빅데이터 시절 이전에는 분석 자체가 거의 불가능했는데, 지금은 데이터를 수집한 후 버튼 한번으로 사용자가 원하는 통계 분석 기준에 맞춰 그래프화 할 수 있다.
현재 SAS가 접근하고 있는 빅데이터 시각과 관련해서는 ▲ 매우 빠른 메모리 접근 ▲ 모든 프로세서 코어 기반 병렬 작업 ▲ 다수의 블레이드·노드의 자원 활용 등이 있다.
빅데이터 분석 기술
이와 함께 김 부장은 정형 빅데이터 분석 기술을 소개했다.
빅데이터 분석 기술의 발전은 무엇보다 분석 시간을 대폭 줄였다는 데 의미가 크다. 기존 20시간 걸리던 회계 분석 작업이 서버상 메모리 상에서 데이터 분석을 바로 실시함으로써 50초면 가능해지고 있다. 데이터를 사전에 끌어올 필요 없이 사용자가 필요할 때 실시간으로 원하는 데이터를 가져와 분석할 수 있게 된 것이다.
현재 빅데이터 분석은 금융, 공공, 통신, 유통, 제조 등에서 다양하게 사용되고 있고, 빅데이터를 사용하는 곳은 원하는 데이터에서 필요로하는 정보를 빠르게 정리·분석할 수 있다.
예를들어, 혼다같은 경우에는 빅데이터를 통해 빠르게 리스크를 분석해, 문제점의 사전 해결을 통한 고객 만족도 향상에 기여할 수 있었다.
실시간 데이터 분석
이와 함께 빅데이터 3,0은 실시간으로 발생하는 이벤트를 사용자가 원하는 시점 기준으로 분석할 수 있다. 최근 30분, 1시간 내에 발생한 이벤트를 필요에 따라 분석할 수 있는 길이 열린 것이다.
특히, 실시간으로 분석된 데이터가 분석 후 쉽게 알아볼 수 있는 시각화는 물론, 분석하는데 소요되던 시간을 대폭 줄였다는 점에서 빅데이터의 의미가 크다.
▲ 컴트렌드 2013 행사에서 연사의 발표를 듣고 있는 참가지들 모습
SAS 플랫폼은 무엇이 있나?
이 같은 빅데이터 기술에 대해 SAS는 하둡에 저장된 데이터를 실시간으로 분석할 수 있는 플랫폼, 이를 시각화 할 수 있는 플랫폼 등 다양한 솔루션을 갖추고 있다.
김 부장은 "SAS가 세계적으로 빅데이터 관련해서 좋은 평가를 받고 있는데, 이는 빅데이터를 빠르게 분석하고 시각화 하는 기반 기술을 갖고 있기 때문"이라며 "SAS는 빅데이터를 통한 쉽고 빠른 인사이트, 정형/비정형 데이터를 통합한 인사이트 등을 제공하고 있다"고 강조했다.
이진 기자 miffy@chosunbiz.com