[실시간 분석이 경쟁력] 한국EMC "빅데이터 기반 실시간 역량 제공”

북마크 완료!

마이페이지의 ‘북마크한 기사’에서 읽으실 수 있습니다.

북마크한 기사 보러가기 close
  • 박상훈
입력 2014.06.16 17:12 | 수정 2014.06.16 18:18

 


[실시간 분석
주요 업체 전략 소개] ③ 한국EMC


 


[IT조선 박상훈
기자] 오늘날 기업은
수많은 데이터를 실시간으로 처리, 분석해 이를 바탕으로 주요 사안들에 대해 정확하고
빠르게 의사결정을 해야 하는 과제를 안고 있다. 특히 클라우드, 모바일, 소셜, 빅데이터
등 새로운 IT 플랫폼은 새로운 요구사항에 직면한 기업들에게 기회이자
동시에 위기로 다가오고 있다.


 


기업 IT 환경이 변하고
있다는 명확한 근거는 엄청난 속도로 늘어나는 데이터양에서 확인할 수 있다. 시장조사업체
IDC에 따르면 지난해 생산된 전 세계 총 데이터량은 4.4조 기가바이트로, 2020년에는
약 10배가 증가한 44조 기가바이트에 달할 것으로 전망된다. 지난해 EMC가 한 달에
판매하는 스토리지 용량이 1엑사바이트(EB), 즉 100만 테라바이트(TB) 수준임을 고려하면
디지털 정보가 엄청난 속도로 생성되는 것을 알 수 있다.


 


EMC는 이 같은
데이터 폭발에 대응할 수 있는 IT 인프라 구현을 핵심 과제이자 도전으로 삼고, 대형
글로벌 기업부터 중소기업까지 매일 생산되는 막대한 정보를 이전보다 쉽고, 안전하게
사용할 수 있도록 하는데 역점을 두고 있다.


 


원가절감, 신사업
창출의 시작은 실시간 분석


 


오늘날 기업들은
차세대 애플리케이션의 개발에 몰두하는 동시에 사업과 IT 전략을 합리적으로 개선하기
위해 빅데이터 분석 기술을 이용하고 있다. EMC는 기업들이 애플리케이션을 빠르게
개발해 서비스를 적시에 제공하고, 차세대 애플리케이션이 관리하는 방대한 데이터를
효율적으로 저장, 분석해 더 큰 통찰력, 더 높은 경제적 가치를 창출할 수 있도록
‘서비스 중심(ITaaS)’의 개발 플랫폼 구축을 지원하고 있다.


 


현재 국내에서는
삼성SDI, 코스콤 등 20개 이상 기업이 EMC의 빅데이터 기술을 도입해 데이터 웨어하우스,
하둡 기반 파일시스템, 트랜잭션 데이터베이스 등 모든 데이터를 실시간으로 처리하고
분석하는 통합 플랫폼을 구축했다. 이를 통해 원가를 절감하고 새로운 사업 기회를
창출하고 있다고 업체 측은 설명했다.


 


이밖에 EMC는 ▷PaaS
플랫폼인 ‘클라우드 패브릭(Cloud Fabric) ▷차세대 애플리케이션 개발 툴인 ‘애플리케이션
패브릭(Application Fabric)’ ▷빅데이터 및 실시간 데이터 분석 제품군인 ‘데이터
패브릭(Data Fabric)’ 등 다양한 제품군을 통해 기업이 차세대 애플리케이션
개발과 빅데이터 분석에 집중할 수 있도록 지원한다.


 


EMC는 기업이 실시간
분석 경쟁력을 확보하는 가장 중요한 요소인 데이터 전문가를 키우는데도 상당한
노력을 기울이고 있다. 2012년 IDC가 발표한 '디지털 유니버스: 폭증하는 데이터로부터의
가치 창출’ 보고서를 보면, 2020년까지 서버의 양은 10배, 기업의 데이터센터에
의해 직접 관리되는 정보의 양은 14배로 늘어날 전망이다.


 




우리나라의 디지털 데이터 양 (그림=한국EMC)


 


이에 따라 급속히
증가하는 디지털 정보를 수용하고 관리할 수 있는 데이터 과학자에 대한 수요가 폭발적으로
늘어날 것으로 예상되는 만큼, EMC는 기업의 생산성 향상에 기여할 수 있도록 다양한
커리큘럼을 제공하며 데이터 과학자 양성에 공을 들이고 있다. 현재 EMC가 지원하는
전문가 양성 과정은 데이터 과학 및 빅데이터 분석(Data Science and Big Data Analytics)
과정과 IT 데이터 과학자 양성과정 등 2가지다.


 


먼저 데이터 과학
및 빅데이터 분석 과정을 보면, 한국EMC는 빅데이터 개념부터 분석방법, 분석도구,
기업 유형별 실습 등 다양한 커리큘럼으로 구성된 ‘데이터 과학 및 빅데이터 분석
과정’을 2012년에 개설했다. 첫해에는 정규교육과정과 기업방문교육과정(On-site)을
통해 총 132명의 교육생을, 2013년에는 총 6차례의 정규교육과정과 약 20차례의 방문교육을
진행해 약 430명의 교육생을 배출했다.


 


IT 데이터 과학자
양성과정은 한국EMC가 한국전파진흥협회와 ‘IT 교육 프로그램 개발 및 교육 훈련에
대한 업무 협력’ 양해각서를 체결하며 시작됐다. 지난해 5월과 9월 두 차례 총 40명의
수강생을 대상으로 ‘IT 데이터 과학자 양성과정’을 진행했고 올해 2월에는 취업
희망자를 대상으로 스프링 국제공인자격제도와 연계된 국제공인 ‘스프링’ 인증
교육과정을 개설해 자바 문법과 객체 지향 개념, 실무에서 활용 가능한 자바 클래스와
객체 디자인 패턴 등에 대해 공부할 수 있도록 지원했다.


 


한국EMC 관계자는
"산학협력 프로그램과 양성과정을 통해 빅데이터 분석과 활용 관련 전문인력을
양성하고 역량을 강화하는 데 지속적으로 주력할 계획”이라고 말했다.


 


ECM의 실시간
분석핵심 제품 'EMC 피보탈 HD’, 'EMC 그린플럼 DCA'


 


실시간 분석을 지원하는
한국EMC의 대표 제품은 EMC 그린플럼 DCA, EMC 피보탈 HD, EMC 피보탈 젬파이어 XD
등이다. 먼저 EMC 그린플럼 DCA는 단일 인프라스트럭처 내에서 정형 데이터와
비정형 데이터를 통합 지원하는 통합 분석 플랫폼이다. 폭증하는 다양한 형태의 정보를
빠르고 효율적으로 분석해 더 큰 경제적 가치를 창출할 수 있도록 지원한다.


 


‘EMC 그린플럼
DCA’는 정형 데이터 분석을 위한 ‘EMC 그린플럼’과 BI(Business Intelligence)
애플리케이션들, 그리고 ELT(Extracting, Loading, Transforming) 툴을 같은 DCA내
클러스터로 바로 이동시키는 EMC 그린플럼 데이터 통합 가속기 모듈, 비정형 데이터의
분석 및 처리를 위한 엔터프라이즈 하둡 어플라이언스 ‘EMC 피보탈 HD(EMC Pivotal
HD)’ 등으로 구성돼 있다.


 


‘EMC 그린플럼’은
데이터를 분리하는 대용량병렬처리(MPP) 방식의 데이터베이스다. 아키텍처 자체가
늘어나는 정형 데이터를 병렬 처리하는 데에 강점이 있는 만큼, 속도 면에서 유리하다.
데이터를 공유하지 않기 때문에 데이터베이스간 병목 현상이 생기지 않고 높은 성능을
유지할 수 있다고 업체 측은 설명했다.


 


‘EMC 그린플럼 데이터
통합 가속기’ 모듈은 배치 로드를 줄이거나 마이크로 배치 로딩을 실행할 경우,
업계 최고 수준의 데이터 로딩 성능을 제공한다. ‘EMC 피보탈 HD’는 빅데이터 오픈
소스 플랫폼인 '아파치 하둡 프레임워크'에 빅데이터 분석 플랫폼인 ‘EMC 그린플럼’
기술을 통합한 하둡 배포판으로, 다양한 종류의 데이터 분석 도구와 언어를 단일 SQL 인터페이스에서 구현할 수 있는
것이 특징이다.


 




EMC 피보탈 HD 아키텍처 (그림=한국EMC)


 


이 중에서 특히 ‘EMC
피보탈 HD(EMC Pivotal HD)’는 최고 수준 성능의 하둡 배포판으로 평가받고 있다.
‘EMC 피보탈 HD’는 다양한 종류의 데이터 분석 도구와 언어를 단일 SQL
인터페이스로 제공해 기업은 하둡의 뛰어난 확장성과
고가용성, 비용효율적인 데이터 저장, 관리의 장점을 누리면서 더 유연하게 하둡
기술을 사용할 수 있다.


 


‘EMC 피보탈 HD’의
핵심은 ‘호크(HAWQ)’ 기술이다. EMC가 지난 10년간 연구개발한 것으로, 다양한 쿼리와 데이터 분석 응답 속도를 최소 100배에서 최대 600배까지 획기적으로
높일 수 있다고 업체 측은 설명했다.


 


‘호크’ 기술은
기본적으로 쿼리엔진이다. 한 명령어의 수행이 끝나기 전에 다른 명령어의 수행을 시작하는
연산 기능인 ‘다이나믹 파이프라이닝(Dynamic Pipelining), 적은 리소스로 더
효율적으로 쿼리를 실행할 수 있는 ‘쿼리 옵티마이저(Query Optimizer), 하나의
논리적 공간을 의미하는 단일 네임 스페이스 내에서 용량과 성능의 수평적 확장을
보장하는 ‘호리젠탈 스케일링(Horizontal Scaling)’ 등의 기능을 제공한다.


 


또한 EMC는 ‘EMC
피보탈 HD(EMC Pivotal HD)’와 실시간 인메모리 데이터 그리드 제품인 ‘EMC 피보탈
젬파이어 XD(EMC Pivotal Gemfire XD)’를 결합해 빅데이터 플랫폼에서 패스트 데이터를
처리할 수 있는 통합 분석 플랫폼도 선보였다.


 


‘호크’ 쿼리
엔진 기술과 ‘EMC 피보탈 젬파이어 XD’가 결합된 이 통합 분석 플랫폼은 ‘OLTP(Online
Transaction Processing)’와 ‘OLAP(Online Analytical Processing)’를 단일 플랫폼에서
동시에 지원한다. 이를 통해 기업들은 기업 내에서 발생하는 모든 트랜잭션 데이터를
실시간으로 취합, 분석해 더 빠른 의사결정이 가능하다.


 


‘EMC 피보탈 젬파이어
XD’를 통해 기업들은 위험 분석에 소요되는 시간을 기존 6시간 대에서 20분 대까지
줄일 수 있고, 약 10억 개 이상의 고객 예약을 다운타임 없이 동시에 처리할
수 있는 예약 시스템을 구축할 수 있다고 업체 측은 설명했다.


 


삼성SDI, 100TB
데이터를 단 20분만에 분석


 


대표적인 사례가
삼성SDI다. 소형 이차전지 분야의 선도기업인 삼성SDI는 중국, 말레이시아 등 해외
거점에서 생성되는 방대한 설비, 품질 데이터를 통합 분석, 관리해 품질 시스템을
향상하고자 EMC 솔루션을 도입해 빅데이터 분석을 하고 있다.


      


삼성SDI는 해외 거점에서의
생산 비율이 높아 거점별로 품질 분석을 실시하고 있었으나, 거점별로 품질 분석에
걸리는 시간에 차이가 있고, 엔지니어별 품질 관리 기준이 달라지는 등의 어려움을
겪었다. 또한, 배터리는 국내와 해외를 서로 오가며 반제품 형태로 전달되고
이때 보통 하루 약 6억 건에 이르는 데이터가 생성되는데, 양쪽에서 받은 데이터를
연계해 분석하는 것도 힘들었다.


 


이에 삼성SDI는 EMC의
빅데이터 솔루션인 ‘EMC피보탈 HD’와 ‘EMC 그린플럼’을 도입해 국내와 해외 거점에서
생성되는 제품의 자재, 공정, 출하 등 전 과정에 대한 데이터를 통합해 초 단위로
분석이 가능하고, 추적과 공정 변경 이력이 통합 연계되는 품질 추적 체계를 구축했다.


 


그 결과 100TB의
데이터를 단 20여분 만에 분석하는 등 빅데이터 분석을 통해 더 정확하고 빠른 의사결정을
내리고, 품질 변동 징후를 자동 감지하는 한편, 양품과 불량품을 군으로 나눠 최적의
양품이 생산될 수 있는 경로를 찾아 이를 반영함으로써 생산 수율을 높였다.


 




삼성SDI의 이차전지 제품 (그림=삼성SDI)


 


해외의 대표적인
도입사례는 뉴욕증권거래소 유로넥스트(NYSE Euronext)다. 이 업체는 세계적 금융
서비스 기업으로, 유럽과 미국에서 주식과 파생상품을 거래하고 있다.


 


유로넥스트는 거래
체결 속도를 늦추는 주범인 거래체결 데이터 양이 매년 최대 200%까지 급증함에 따라
방대한 양의 데이터과 트렌젝션 양을 분석할 뿐 아니라, 거래 체결 지연에 영향을
미치는 요인을 파악해 대응할 수 있는 정교한 분석 솔루션을 필요로 했다. 이에 따라
가격, 성능, 속도 등 다양한 요인을 검토해 최종적으로 EMC 빅데이터
솔루션을 채택됐다.


 


유로넥스트는 EMC
빅데이터 솔루션 도입을 통해 각 거래 시스템별로 새롭게 생성되는 데이터를 실시간으로
분석해 거래 체결 속도에 영향을 미치는 요인을 파악, 거래 지연 부분을 해결했고,
방대한 데이터를 분석해야 하는 파생상품과 수익 분석 시뮬레이션 작업을 진행해
더 정확한 분석 자료를 만들 수 있게 됐다.


 


 


 


<인터뷰>


“이제는 예측경영
기업의 시대, 실시간 역량은 더 중요해질 것이다"


유상모 한국EMC
통합마케팅본부 상무


 


오늘날의 IT 환경은
놀라울 정도로 빠른 속도로 변화하고 있다. 유상모 한국EMC
통합마케팅본부 상무는 이러한 변화를 견인하는 요소로 4가지를 지적한다. 먼저 클라우드 기반 환경으로의 이동이 가속화된다는 점,
B2B, B2C,
P2P 등 다양한 솔루션 영역에서 수많은 차세대 애플리케이션이 요구되고 있다는 점,
이러한 차세대 애플리케이션을 더욱 기민하고 효율적으로 개발할 수 있는 환경이
요구되고 있다는 점, 그리고 마지막으로 앞서 거론된 요인에 따라 다양한 형태의 데이터가
빠른 속도로 만들어지고 있다는 점 등이다.


 


이러한 변화는 궁극적으로
새로운 실시간 분석 역량에 대한 요구로 이어진다. 유 상무에게 실시간 역량의 중요성과
이를 위해 우리 기업들에게 필요한 것이 무엇인지 들어봤다.


 


기업들이 실시간
분석 역량을 점점 더 요구하는 이유는?


 


앞서 지적한 4가지
요소는 ‘분석(Analytics)’이라는 측면에서 새로운 순환 구조를 만들어 낸다. 클라우드,
빅데이터, 모바일, 소셜 네트워크로 대변되는 3세대 플랫폼에서 IT가 급속하게 변화하며,
수많은 기기, 시설과 사물이 인터넷에 연결돼 자동으로 데이터를 주고 받는 센서
기반의 ‘사물 인터넷’ 환경에서 방대한 양의 데이터가 생성된다. 생성된 데이터는
비용을 획기적으로 절감하고 정확하고 빠른 예측을 내리는 등 중요한 의사결정의
밑거름이 된다. 기업은 방대한 양의 데이터를 실시간으로 분석해 더 큰 경제적 가치와
더 큰 통찰력을 창출하며 성장을 견인할 수 있다.


 


지난 10년간 많은
기업들이 지속성장(Sustainable Enterprise)에 노력을 기울였다. 이제는 지속성장
기반아래, 경쟁에서 앞서 나가기 위한 예측경영 기업(Predictive Enterprise)의 시대가
도래했고, 많은 기업에게 실시간 분석 역량이 요구되는 이유도 이 때문이다.


 




유상모 한국EMC
통합마케팅본부 상무 (사진= 한국EMC)


 


실시간 분석 역량을
갖추는데 가장 중요한 요소는?


 


IT 기술은 항상 비즈니스의
흐름과 맞물려 발전하고 있다. 앞서 언급한 것처럼, 오늘날 기업들의 가장 큰 화두는
지속성장을 넘어선 예측경영이며, 예측경영을 구현하기 위해서는 기술적, 문화/업무
프로세스 방면에서 여러 새로운 능력을 필요로 한다.


 


우선 기술적 관점에서,
분석하고자 하는 데이터를 보다 기민하게 수집할 수 있는 다양한 애플리케이션을
빠르게 개발해 서비스를 신속하게 제공할 수 있는 높은 개발 생산성이 요구된다.
규모와 업종을 막론하고 제조, 통신 등 다양한 산업에 속한 기업들이 수많은 애플리케이션을
빠르게 개발하고, 테스트하며, 활용해야 하는 상황이 도래했기 때문이다. 문화 또는
업무 프로세스의 관점에서 본다면, 경영진은 물론 실무를 수행하는 개별 임직원 모두가
더 빠르고 정확한 전략 수립을 위해 실시간 분석 역량을 갖추고자 노력해야 한다.


 


최근 거의 모든
IT 업체들이 인메모리 기술을 선보이고 있는데 실제 성능과 가격 대비 효용성을 평가해
본다면?


 


특정 업체의 제품을
거론하기 힘들지만 인메모리 기술의 성능과 가격 대비 효용성을 용량과 성능 측면에서
평가할 수는 있다. 먼저 용량 측면에서 본다면, 아직 HDD 기반 기술에 비해 용량을
많이 수용할 수 없는 한계가 존재한다는 점을 염두에 두어야 한다. 앞으로도 향후
5년 간은 HDD 기반 기술이 수용하는 것에 비해 적은 양의 모수 데이터를 수용할 수
있을 것으로 예상된다. 이를 극복하기 위한 EMC 전략은 빅데이터 하둡 스토리지인
EMC 아이실론 제품과 연동하는 것이다. EMC 아이실론에 하둡 데이터를 저장하면 비용
효율적으로 저장할 수 있고 관리 편의성은 물론, 데이터의 안정성과 시스템의 가용성을
모두 향상시키면서 실시간 분석을 수행할 수 있다.


 


인메모리 기술이라고
해도 분석은 빠르나 데이터 수집(Ingestion) 등은 느린 시스템이 있다. 실시간 분석은
주로 요약된 데이터를 가지고 하게 된다. 요약된 데이터의 원천은 가능하면 모든 모수를
근거로 할수록 좋다. 따라서 인메모리 기술과 비-인메모리 기술이 결합돼야 진정한
실시간 분석이 가능해 진다고 볼 수 있다. 예를 들면, 인메모리 DB 하나로는
진정한 실시간 분석은 할 수 없으며, 이것은 그냥 속도 빠른 작은 규모의 비즈니스인텔리전스(BI)
애플리케이션의 일부라고 볼 수 있다.


 


우리나라 실정에
맞는 실시간 분석 구축 전략을 조언한다면?


 


실시간 분석 전략
수립의 첫 단계로 분석의 목적을 명확히 규정하고, 분석을 통해 도출하려는 결과물과
목표를 수립해야 한다. 이러한 의사결정 과정에서는 조직 내 이해 당사자간의 충분한
의견 수렴이 필요하며, 또한 자사의 방대한 데이터 중 어떠한 데이터가 실시간 분석에
적합한 지 사전에 충분한 조사가 이뤄져야 한다.


 


박상훈 기자 nanugi@chosunbiz.com

상품지식 전문뉴스 IT조선

0
주요 뉴스
지금 주목할 뉴스