소프트웨어 전문지 마이크로소프트웨어 395호는 데이터과학을 주제로 담았습니다. 데이터과학에 대한 개론, 학습 방법, 실무 적용 사례, 학계 등 마소 395호 주요 기사들을 IT조선 독자에게도 소개합니다. [편집자주]

‘빅데이터’라는 단어는 실리콘 그래픽스 인터내셔널(SGI)의 수석 과학자였던 마시가 1990년도에 처음으로 사용했다. 빅데이터는 이제는 우리에게 새롭지 않은 단어가 됐다. 필자는 매년 빅데이터 경진대회 심사위원으로 참여해 일반인과 여러 학생의 빅데이터 분석 결과를 볼 기회를 접한다. 3~4년 전과 비교하면, 빅데이터 관련 모델링과 분석 결과의 수준이 매우 높아졌다. 분석 목적에 따라 사용하는 모형과 접근 방법 역시 어느 정도 정형화되고 있는 느낌이다. 그럼에도 불구하고 기업에서 바라보는 빅데이터의 기술과 역할은 경진대회의 문제보다 훨씬 다양하고 복잡하고 어렵다.

2018년에는 경진대회 수상자와 일반인을 대상으로 ‘데이터 분석가가 되기 위한 취업 콘서트'에서 세션 발표를 했다. 발표 내용은 ‘데이터 분석가는 어떤 스킬셋(SKILLSET)을 가져야 하는가?’를 주제로 4~5년 남짓 데이터 분석 관련 업무를 하면서 느꼈던 생각을 담았다. 그때 발표했던 자료를 기반으로 그때 더 들려주지 못했던 이야기를 좀 더 자세하게 해보고자 한다.

빅데이터 업무 구성도(자료: Ning Interactive Inc, Pinterest). / 마이크로소프트웨어 395호
빅데이터 업무 구성도(자료: Ning Interactive Inc, Pinterest). / 마이크로소프트웨어 395호
우선 빅데이터 분야에서 상세 업무 분류를 설명하고, 데이터 분석가의 업무 영역이 어디까지 인지를 이해해야 한다. 일반적인 빅데이터 관련 업무 분류는 ▲데이터 아키텍처링 ▲데이터 엔지니어링 ▲데이터 거버넌스 ▲데이터 품질모니터링 ▲통계 및 모델링 설계 ▲비즈니스 보고서 ▲프로세스 개선 및 분석 서비스 등이다.

기업에서는 일반적으로 플랫폼 및 인프라에 연관된 데이터 엔지니어링 관련 영역은 데이터 분석가가 아닌 소프트웨어 및 인프라 엔지니어가 담당하고 있다. 하지만 데이터 분석가도 빅데이터 관련 인프라 지식과 내용을 잘 알고 있어야만, 분석의 목적에 맞는 데이터 마트(Data Mart)를 구성할 수 있기 때문에 별개의 업무라고 논하기는 어려울 수 있다.

철수의 분식점 창업 과정. / 마이크로소프트웨어 395호
철수의 분식점 창업 과정. / 마이크로소프트웨어 395호
기업이 데이터를 분석하는 목적은 무엇일까? 기업의 본질적인 목적을 먼저 이해할 수 있도록 ‘철수의 분식점 창업 과정’ 예시를 통해 기업 활동을 설명해보고자 한다.

철수의 분식점을 단순화하면 분식을 만들기 위한 비용(1, 2, 3)과 분식을 고객에게 판매해 매출을 얻는 2가지 활동으로 구분할 수 있다. 데이터 분석가는 기업의 2가지 활동(비용과 판매)에 대해 혁신하고 최적화하는 업무를 한다. 제조업에서는 제품 고장에 대한 진단확률모형을 통해, 제품 고장 증상 관련 고객 서비스 응대를 개선하고 더 나아가 운영비용을 최소화해 수익에 기여할 수 있다. 또는 혁신적인 제품 관련 기능을 데이터 기반으로 개발해 기업 매출에 영향을 줄 수 있다. 더 나아가 고객 판촉에 대한 업무 프로세스를 고도화해 매출을 증대시킬 수도 있다.

그렇다면 데이터 분석 업무가 기업에서 효과적으로 실행되고 있는가? 데이터 분석 업무는 자연스럽게 업무 프로세스의 혁신을 요구한다. 경험에 따르면 기업의 조직 구조와 사업의 형태에 따라 결과는 달랐으며, 성공적인 데이터 분석 업무를 위해서는 3가지 고려사항이 사전에 검토돼야 한다.

3가지 고려사항은 ▲조직 변화에 대한 니즈는 존재하는가? ▲분석의 결과가 조직의 업무평가 지표와 연결할 수 있는가? ▲수집된 데이터의 품질은 우수한가? 등이다.

빅데이터 캐즘(Chasm)이라는 말이 있다. 데이터 과학자 혹은 데이터 분석가라는 이름이 근사해 보일 수 있으나, 성공적인 기업의 데이터 분석은 험하고 어렵다. 데이터 분석가에게 필요한 스킬셋은 너무 다양해 보일지 모르겠다. 데이터 분석가는 슈퍼맨이 아니기 때문에, 효과적인 데이터 분석 업무를 위해서는 개인이 아닌 팀 단위의 조직구성이 필요하다.

데이터 분석 조직의 리더는 문제 정의부터 최종 서비스까지 모두 이해할 수 있는 슈퍼맨이 돼야 한다. 하지만 현실은 그리 만만하지 않다. 그럼에도 불구하고 앞에서 논의된 분석가의 스킬셋 각 항목을 본인의 기질과 역량에 대입해보고 발전시켜 나가길 바란다.

서희 필자의 ‘데이터 분석가는 어떤 스킬셋을 가져야 하는가’에 대한 자세한 내용은 ‘마이크로소프트웨어 395호(https://www.imaso.co.kr/archives/4654)’에서 확인할 수 있다.