'포켓몬 고(Pokémon GO)'가 온세상의 난리거리가 됐다. 하루가 멀다하고 관련 사건사고 뉴스가 나는가 하면, 대만에서는 레어 포켓몬을 잡기 위해 1천명 이상이 몰려 다니는 등 미국과 일본을 뛰어 넘는 사회현상을 보이고 있다.

'포켓몬 고'가 성공하자 증강현실(이하 AR)에 대한 대중들의 관심이 높아졌다. 국내에서는 이를 모방한 '뽀로로 고'를 만들겠다고 나섰고, 일본에서는 AR기술을 활용해 죽은 사람을 다시 만나게 하는 '스팟메시지' 서비스가 등장하기도 했다.

탄생 배경과 기술 개념을 공유하는 가상현실과 증강현실은 미래 시장이 밝다. KT경영연구소는 이 두 기술이 2020년 170조원에 달하는 대형 시장을 탄생시킬 것으로 예측했다. 연구소는 '현실과 가상 사이의 교량, 융합현실'이란 보고서를 통해 초기 시장은 VR이 성장을 주도하지만, 2017년 이후부터는 AR이 전체 시장의 성장을 주도할 것이라고 기술했다. 2020년 전세계 VR 시장은 300달러(34조8390억원) 규모지만 AR 시장은 이 보다 큰 1200억달러(139조3560억원) 규모로 성장한다는 것이다.

주목받는 증강현실 기술은 어디에서 출발했는지, 관련 기술인 가상현실 기술과 복합현실에 대해 정리했다.

◆ 증강현실, 어디서 부터 출발했나?

증강현실을 의미하는 'AR(Augmented Reality)'은 현실 환경 속에 문자나 그림 등의 정보를 더하는 것으로 말 그대로 인간이 바라다 보는 현실 속 공간을 정보로 확장시키는 것을 말한다. 세상을 뒤집어 놓은 모바일 AR게임 '포켓몬 고' 역시 사람의 멘 눈으로 볼 수 없는 포켓몬을 카메라와 GPS 위치기반 정보 기술을 사용해 마치 현실세계 속에 포켓몬이 있는 것 마냥 만들어냈다.

'포켓몬 고'가 AR기술을 사용한 첫 사례는 아니다. 아이폰이 보급되기 시작하던 2009년 서비스를 시작했던 '세카이카메라(Sekai Camera)'는 AR기술을 사용한 커뮤니케이션 도구의 가능성을 보여주며, 전세계적으로 크게 히트한 바 있다.

AR에 대한 아이디어를 처음 세상에 말한 사람은 동화 '오즈의 마법사' 원작자로 유명한 라이먼 프랭크 바움(Lyman Frank Baum) 작가다. 그는 1901년 현실세계를 비춘 영상에 사람이 만든 데이터를 덧붙여 표시하는 '캐릭터 마커'라는 전자 디바이스를 고안한 것으로 알려졌다.

첫 번째 AR 디바이스는 '이반 에드워드 서덜랜드(Ivan Edward Sutherland)'가 만든 'HMD(헤드마운트디스플레이)'다. 가상현실(VR) 기기의 시초이기도 한 이반의 HMD는 전투기 조종사가 사용하는 헬맷처럼 눈 앞에 설치된 렌즈에 다양한 정보를 표시할 수 있었다.

1968년 발표된 이반 에드워드 서덜랜드의 ‘HMD’ 장치. / 위키피디아 캡처
1968년 발표된 이반 에드워드 서덜랜드의 ‘HMD’ 장치. / 위키피디아 캡처
'AR'이란 말이 처음 세상으로 끄집어 낸 곳은 항공기 제조사 '보잉'이다. 1990년 보잉의 기술자 톰 카우델(Tom Caudell)이 AR이란 단어를 최초로 언급했으며, 1992년 미국 암스트롱 공군연구소가 '버추어픽처(Virtual Fixtures)'란 AR시스템을 개발해 냈다.

AR은 전투기 조종석 등 군수산업과 자동차, 항공기 제조산업에 주로 이용되던 기술이다. 민간 서비스에 AR을 처음 접목한 것은 2007년 등장한 AR게임 '더 아이 오브 저지먼트(THE EYE OF JUDGMENT)'부터다. 플레이스테이션3로 등장했던 이 게임은 카메라를 사용해 사용자가 손에 든 카드를 인식해 현실을 게임 속에 반영하는 카드 배틀 게임이다.

◆ 가상현실에서 파생된 AR

가상현실과 AR의 차이점은 영상의 바탕이 어디에 있느냐에 의해 구분된다. AR의 경우 현실세계에 컴퓨터그래픽 등의 정보를 입히는 것이지만, 가상현실은 100% 새롭게 만들어낸 영상 공간이다.

컴퓨터그래픽과 가상현실의 선구자인 이반 에드워드 서덜랜드의 'HMD'가 AR, VR 두 개념을 모두 가진 기기로 분류되는 것처럼 증강현실과 가상현실은 땔래야 땔 수 없는 관계다.

가상현실(Virtual reality/ 이하 VR)의 역사는 AR보다 길다. '스트레오스코피', '양안시차' 등 VR의 기초라 불리는 입체영상 기술의 개념은 19세기부터 출발한다. 현재 우리가 받아 들이는 VR의 개념은 1935년작 SF소설 '피그말리온의 안경(Pygmalion's Spectacles)'에서 등장한다. 소설 속에서는 홀로그램 영상과 촉각, 후각에 대한 가상 경험에 대한 묘사를 담아냈다.

첫 번째 VR 디바이스는 1962년 만들어진 입체 영상 기기 '센소라마(Sensorama)'다. 이 기기는 양 눈에 서로 다른 영상을 비춰 시청자가 입체 영상을 느끼게 하는 장치로 최초의 3D 영화관이기도 하다. 놀라운 것은 센소라마는 입체 영상뿐만 아니라 음향, 진동, 냄새까지 모방해 냈던 시스템이란 것이다.

입체 영상에 음향, 진동, 냄새까지 모방해 냈던 최초의 VR디바이스 ‘센소라마(Sensorama)’. / 위키피디아 캡처
입체 영상에 음향, 진동, 냄새까지 모방해 냈던 최초의 VR디바이스 ‘센소라마(Sensorama)’. / 위키피디아 캡처
1966년에는 워싱턴대학 교수인 토마스(Thomas A. Furness III)가 제작에 참여한 것으로 알려진 공군 조종사를 위한 훈련 장치 '플라이트 시뮬레이터'가 등장한다. 1987년에는 사용자의 손의 움직임을 VR에 적용할 수 있는 '데이터 글로브(DataGlove)'가 나온다. 이 기기를 만든 미국 VPL리서치는 1989년 '사이버페이스(Cyberface)'란 이름의 VR헤드셋을 내놓는다.

1990년대에 들어서면 VR이 게임 콘텐츠에 접목되기 시작한다. 1991년 게임 제작사 세가(SEGA)는 미국 시장에 '세가VR'이라는 최초의 '게임용 VR헤드셋' 장치를 선보인다. 세가VR의 게임 화면은 현재의 게임 그래픽과 비교할 바 아니지만 오큘러스리프트 VR헤드셋처럼 사용자의 머리 움직임을 게임 조작에 반영할 수 있었다.

◆ 마이크로소프트가 주장하는 'MR'

페이스북 산하 기업 오큘러스VR과 플레이스테이션의 소니(SIE), 대만 HTC가 각각의 VR헤드셋을 발표하고 VR시장을 만들어 가자, 소프트웨어 거대 기업인 마이크로소프트가 '홀로렌즈(Hololens)'라는 AR 장치를 공개한다.

'홀로렌즈'는 실제 사물 위에 가상의 이미지를 덧대 보여주는 장치로 기존 기기 보다 한발 더 진보 된 AR 기능을 갖추고 있다. 홀로렌즈를 사용하면 현실 속 책상 위에 가상의 3D 모델링 데이터를 입체적으로 표시할 수 있으며, 실제 사물 위에 3D 그래픽을 덧대 사물의 형태를 마음대로 바꿔볼 수도 있다. 실제로 마이크로소프트는 인기 샌드박스 게임 '마인크래프트'를 책상 위에 표시해 게임을 즐기는 데모 영상을 공개하기도 했다.

'홀로렌즈'의 쓰임새는 무궁무진하다. 자동차 목업 모형 없이 입체적으로 자동차 디자인을 가다듬을 수 있으며, 스포츠 경기 내용과 리플레이를 테이블 위에서 입체적으로 재생시키는 것도 가능하다. 업무부터 엔터테인먼트까지 기기 보급 여부에 따라 우리의 라이프스타일을 바꾸어 놓을 수도 있다.

마이크로소프트는 홀로렌즈를 '복합현실(Mixed Reality/ MR)' 장치로 분류하고 있다. 기존 AR과는 차원이 다르다는 것을 대중들에게 인식시키고 싶은 것이다. 마이크로소프트 생각대로 '홀로렌즈'는 기존 AR과 차원을 달리한다. 우선 모션 인식 장치인 '키넥트(Kinect)'에서 배양 된 공간 인식 능력이 대단하다. 홀로렌즈로 바라본 책상 위에 마인크래프트 세상을 펼칠 수 있는 것도 다 이 공간 인식 기술에 기초한다.

AR기술을 접목시킨 ‘홀로렌즈’. / 마이크로소프트 제공
AR기술을 접목시킨 ‘홀로렌즈’. / 마이크로소프트 제공
마이크로소프트 외에 또 다른 MR 기술을 내세운 회사는 매직리프(Magic Leap)다. 이 회사는 체육관 규모의 실내 공간에 고래 같은 거대한 이미지를 투사시키는 기술을 선보였으며 퀄컴과 알리바바 등의 기업으로부터 막대한 투자를 받은 것으로 알려졌다.

매직리프의 기술에 대해서 개발자들은 지켜보자는 모습이다. 소개 영상처럼 생생한 이미지를 넓은 공간에 재현할 수 있을지 의구심이 들기 때문이다.