스마트폰은 전화통화가 가능한 꺼지지 않는 손안의 개인 컴퓨터이다. 여기에는 많은 핵심 부품들이 사용되는데, 가장 중요한 역할은 애프리케이션 프로세서(AP: Application Processor)가 담당한다. AP는 스마트폰의 성능을 결정 짓고 많은 다른 부품들을 전체적으로 제어하므로 사람의 두뇌에 비유되기도 한다. AP에는 중앙처리장치(CPU)가 있다. CPU는 운영체제(OS) 및 응용 프로그램(Applications)들을 구동 시키며, 디스플레이, 카메라 부품, 터치등 모든 부품들을 제어 하는 중앙처리기 역할을 한다.

스마트폰 선두 기업인 삼성, 애플, 화웨이의 경우는 AP를 자체 개발해서 자사 스마트폰에 사용하고 있다. CPU구조를 바꾸거나 개수를 늘리고, 속도를 높이는 방법으로 AP 성능을 개선하여 왔다. 실제 스마트폰의 차별화는 AP를 비롯한 핵심 부품들의 차별화에서 온다.

2007년 첫 번째 아이폰의 큰 혁신은 멀티터치 센서의 적용에서 왔다. 오감을 자극할 만한 센서부품을 최초로 적용한 것이다. 두 개 이상의 손가락 입력을 동시에 인식하는 것이 가능해 지면서 인터넷상에서 쉽게 자료를 다운로드 받고, 손쉽게 글씨의 확대, 축소가 가능해 졌다. 이 작은 변화가 일반 소비자들을 열광하게 했다.

최근 들어 삼성, 애플의 신제품이 발표되면 소비자나 언론들은 ‘큰 혁신이 없다'고 평가한다. 스마트폰의 혁신은 끝난 것 인가? 아니다. 딥러닝(Deep Learning) 이라는 방식의 ‘AI 프로세서’를 AP에 넣는 것이 스마트폰 혁신의 방향이 될 것이다.

딥러닝은 토론토대 제프리 힌튼 교수가 2006년 처음 제안한 개념이다. 그의 딥러닝 덕분에 AI 연구는 최근에 꽃을 피울 수 있었다. 음성인식ㆍ번역, 페이스북의 사진인식 등 최근AI의 대부분이 딥러닝에 기반을 두고 있다.

딥러닝은 크게 보면 AI, 그중 에서도 기계학습(machine learning)의 한 종류다. 인간의 뇌는 학습 과정에서 여러 신경세포를 형성하고 서로 연결해 신경망을 만든다. 딥러닝은 사람의 뇌가 정보를 처리하는 방식과 유사한 인공신경망을 이용해서 많은 데이터를 분석 및 추론하고 스스로 학습한다.

스마트폰에서 이미지, 영상처리, 음성인식을 하려면 많은 데이터와 알고리즘을 통해서 컴퓨터를 학습을 시켜서 작업을 어떻게 수행하는지를 가르쳐줘야 한다. 다시 말하면 딥러닝 모델을 기존의 CPU, GPU 등으로 구현하려면 전력이 너무 많이 소모되고 비효율적이다는 점이다.기존의 방식으로는 한계가 있다. 이의 해결을 위해서, 별도의 기속기를 필요로 하는데, 인간의 뇌신경망을 모방한 신경망 처리장치(NPU·Neural Processing Unit)가 사용된다.

스마트폰안에서 ‘AI 프로세서’가 하는 일은 기존의 카메라 이미지의 영상처리, 영상인식, 음성인식 분야에서 성능을 획기적으로 올리는 것이다. 작년에 화웨이가 세계 첫 모바일용 ‘AI 프로세서’가 내장된 AP ‘기린 970’을 개발한 데 이어, 애플도 ‘아이폰X’에 ‘A11 바이오닉’을 탑재했다. 삼성전자도 갤럭시9 제품에서 충분한 테스트를 끝냈다.

지난 9월 12일의 애플 발표 내용을 토대로 분석해 보면, 아이폰의 세 종류 신제품에는 ‘A12 바이오닉’이라 부르는 AP가 들어가 있다. 이 칩은 8개 코어로 구성된 신경망 처리장치(NPU)를 갖고 있다. 실시간 머신러닝을 지원하는 수준으로 성능을 높여 초당 5조회의 연산을 수행할 수 있으며, 순간적으로 촬영한 여러 장의 사진에서 전문가용 카메라로 찍은 수준의 고해상도 사진을 만들어내는 스마트 HDR기능을 처리해 낸다. 또한 이미지 뒷배경을 흐릿하게 조절할 수 있는 보케(Bokeh) 기능도 가능하다.

더불어 애플은 지난 여름 ‘CoreML’ 이라는 소프트웨어 프레임워크를 공개하며, 머신러닝 모델을 아이폰의 앱에 넣을 수 있도록 하는 소프트웨어 기술을 선보였다. 일반 앱 개발자들도 아이폰의 OS 와 하드웨어가 연동되는 인공지능 앱을 개발할 수 있도록 한 것이다.

향후 AP에 내장된 ‘AI프로세서’가 앞으로의 스마트폰의 혁신을 이끌 것이다. 매년 ‘AI 프로세서’ 성능 진화가 이어지면, 그동안 클라우드 기반으로 진행 되었던 많은 응용들이 스마트폰으로 가능해 질것이다.

작년에는 테스트 수준에서 진행이 되었다면, 올해 애플의 ‘A12바이오닉’ AP를 기점으로, 스마트폰 제조기업간의 기술개발 경쟁이 치열하게 전개 될 것이다. 음성인식이 더욱 발전 되면, 통화중의 실시간 통번역이 될 수도 있을 것 이다. 자연스럽고 편리한 개인 비서화가 스마트폰의 궁극적인 목표이다. 국내 기업의 철저한 준비가 필요하다.