"최근 기계학습을 적용해 자동으로 실시간 데이터를 분석하는 사례가 있지만, 기본적으로 데이터와 애플리케이션의 아키텍쳐를 이해하는것이 중요합니다."

김필중 아마존웹서비스(AWS) 솔루션즈 아키텍트는 18일 열린 'AWS 서밋 서울 2018'에서 '데이터 실시간 분석 아키텍쳐'를 주제로 강연을 진행했다.

`
▲김필중 AWS 솔루션 아키텍트. / 백승현 인턴 기자
김필중 아키텍트는 AWS의 실시간 데이터 처리 솔루션 '키네시스 애널리틱스(Kinesis Data Analytics)'를 중심으로 실시간 데이터 처리 디자인 패턴(설계 방식)에 대해 설명했다.

키네시스 애널리틱스는 클라우드 기반 데이터 분석 솔루션으로 데이터 처리용 프로그래밍 언어 SQL(Structured Query Language)을 지원해 비교적 사용하기 쉽다는 것이 특징이다. 키네시스 애널리틱스를 사용하면 복잡한 프로그래밍 언어 및 프레임워크(Framework)를 사용할 필요가 없으며 SQL만으로 데이터를 처리하거나 애플리케이션을 개발할 수 있다.

김필중 아키텍트는 AWS 데이터 실시간 분석 애플리케이션의 3가지 디자인 패턴을 설명했다.

먼저 '스트리밍 수집·변환·적재' 방식은 소스로부터 발생하는 데이터를 일단 스토리지에 보관하는 방식으로 처리속도가 빠르고 구축비용이 저렴한 것이 특징이다. 스토리지에 데이터를 보관하기 때문에 스토리지의 내구성과 경제성에 유의해야 한다.

'지속적인 지표 생성'은 스트리밍 데이터를 받아 원하는 지표를 실시간으로 생성하는 방식이다. 약 30%의 애플리케이션이 이 방식으로 설계되며 웹사이트의 로그, 광고 조회 수 등을 분석할 때 사용된다.

세 번째 디자인 패턴은 '반응형 분석'으로 데이터를 다른 매체에 저장하지 않고 실시간으로 처리하는 방식이다. 일반적으로 감시 카메라 등에서 이상행동을 감지하는 프로그램에 사용된다.

디자인 패턴의 실제 적용과 관련해서는 대전 게임의 사례를 꼽았다.

김필중 아키텍트는 "웹 환경에서 키네시스 애널리틱스를 시연해 간편하게 사용할 수 있다"고 강조하며 강연을 마쳤다.