[이학무의 테크리딩] 빅데이터와 인공지능

기술이 세상을 빠르게 바꾸고 있다. 기술을 직접 개발하지 않는다 하더라도 각자의 영역에서 필요한 만큼의 기술에 대한 이해가 필요한 세상이 되었다. 학생은 미래의 직업을 선택하기 위해서 그리고 이미 직업을 가진 사람은 각자 직업의 미래를 예상하기 위해서 세상을 바꾸는 기술에 대해서 이해해야만 한다. IT조선은 [이학무의 테크리딩]을 통해서 기술을 이해하기 위한 기초 다지기와 이를 기반으로 필수적인 기술 이해 방법을 제공한다.<편집자주>

새로운 것을 이해할 때 용어에서 오는 오류가 많은데 그 중에서 가장 큰 오류로 ‘알고 있다고 착각하는 것’을 꼽을 수 있다. 가장 대표적인 것이 빅데이터이다. ‘빅데이터’의 그 표면적인 뜻은 대부분 알 것이다. 엄청나게 많은 데이터라는 뜻을 모를 사람은 없다. 그러나 단어 상으로 안다고 생각이 되더라도 기술과 관련된 이해가 필요할 때는 일단 사전을 먼저 찾아 볼 것을 권한다.

‘빅데이터’를 사전에서 찾아보면 ‘디지털환경에서 수치뿐 아니라 사진과 영상 등 다양한 형태의 데이터가 짧은 생성 주기로 생성되는 대량의 데이터’로 정리할 수 있다. 그 다음으로 중요한 것은 목적이다. 다른 말로 하면 ‘어디에 어떻게 사용할 수 있느냐’에 대해서 고민하는 것이다. 특정 기술을 이해한다는 것은 다양한 의미가 있을 수 있지만 우리가 이해해야 하는 것은 기술이 어디에 어떻게 사용되는지가 중요한 것이다. 그래야 기술이 바꾸는 미래를 예상해 볼 수 있기 때문이다.

빅데이터로 할 수 있게 된 것을 하나만 꼽으라면 추론의 정확도를 높여 준다는 것에 있다. 추론은 ‘미루어 짐작하는 것’ 좀 더 사전적인 의미로는 ‘이미 알려진 정보를 근거로 특정한 판단을 이끌어 내는 것’이다. 여기서 이미 알려진 정보가 데이터인데 이 데이터가 많아지면 당연히 그 정확도가 올라갈 수 밖에 없는 것이다.

예를 들어서 지하 주차장에 들어오는 차 1대가 물에 젖어서 들어왔다고 하면 밖에 비가 온다고 추론하기에는 부족하다. 주차장에 들어 오는 길에 누군가가 물을 뿌렸을 수도 있고 어딘가에서 떨어지는 물을 맞았을 수 도 있기 때문이다. 그런데 100대의 차가 들어 왔는데 모든 차가 물에 젖어 있다고 하면 비가 온다고 더 확실하게 추론할 수 있을 것이다. 데이터가 많으면 많을수록 더 정확하게 예측해 볼 수 있게 된다.

이와 같은 개념을 적용할 수 있는 유익한 분야가 바로 인공지능이다. 인공지능도 사람이 프로그램을 통해서 교육을 시켜야 한다. 사물을 인식하는 인공지능을 개발한다고 하면 프로그램전에 인간이 그 사물의 특징을 먼저 도출해야 한다.

개와 고양이를 분간하기 위해서는 인간이 알고 있는 개와 고양이의 생김새의 특징을 컴퓨터에 넣어줘서 그것에 부합하는지 여부를 판단하는 것이다. 그래서 인간이 직관적으로 아는 것은 컴퓨터에 가르칠 수가 없는 것이다. 딱 보면 고양이인데 스스로 왜 고양이라고 생각 했는지를 알 수 없기 때문에 컴퓨터에 프로그래밍도 할 수가 없는 것이다. 그런데 빅데이터가 생성되면서 상황은 좀 달라졌다. 디지털 환경에 수없이 많은 고양이와 개 사진이 있다. 인간은 각 사진이 개인지 고양이인지만 분간해 주면 된다.

빅데이터로 인공지능을 학습시키는 방법은 간단하다. 인공지능은 일종의 함수라고 생각하면 된다. ‘y=ax+b’와 같은 원리이다. 함수라는 것은 a와 b가 정해지면 x에 어떤 값을 넣어도 해당하는 y를 구할 수 있다. 따라서 함수를 정하는 것은 (a, b)를 정하는 것이다. (x, y) 데이터가 1개만 있으면 다수의 (a, b)가 가능하다. x가 3일 때 y가 1이라는 데이터 1개만 있다면 (a, b)는 (1/3, 0), (2/3, -1), (1. -2) 등등 무한대의 가능한 데이터가 있다. 하지만 (x, y) 데이터가 1개만 더 있으면 (a, b)는 하나로 정해진다. 갑자기 수학을 길게 설명한 이유는 인공지능이라는 것도 이와 같은 구조이기 때문이다. 단지 a1, a2, a3…..과 이에 대응되는 x1, x2, x3… 등으로 그 변수가 엄청 많다는 것뿐이다.

예를 들어서 개와 고양이를 판별하는 인공지능을 만든다고 하면 개 사진 데이터를 넣었을 때는 1이 나오고 고양이 사진 데이터를 넣었을 때는 2가 나오도록 a1, a2, a3…..의 수없이 많은 인자들을 조정해 주는 것이다. 수천장의 개와 고양이 데이터를 넣어서 학습을 시켰다고 한다면 학습시키지 않은 사진을 넣었을 때도 개의 경우에는 1이 나오고 고양이의 경우에는 2가 나올 것이다.

기존의 방식은 인간이 연구를 해서 a1, a2, a3…..들을 정했다. 인간이 생각할 수 있는 한계 내에서 만 인공지능이 만들어 질 수 있었던 것이다. 하지만 빅데이터가 모아지고 이를 기반으로 인공지능을 학습 시킬 수 있는 알고리즘이 개발되면서 더 똑똑한 인공지능이 개발될 수 있게 되었다. 결국 더 똑똑한 인공지능을 위해서는 더 많은 데이터가 필요하기 때문에 빅데이터가 중요해지고 있다.

이학무 미래에셋증권 통신서비스 애널리스트 leehakmoo@gmail.com

※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.

이학무 미래에셋증권 애널리스트는 반도체, 핸드폰, 디스플레이 등 IT 산업뿐아니라 전기차, 배터리 및 신재생에너지 산업까지 다수의 성장산업을 분석한 신성장 산업 분석 전문가다. 공학을 전공하고 비즈니스를 20년간 분석한 경험을 바탕으로 세상을 이끄는(lead) 기술 읽기(read)를 제공한다.