인공지능(AI) 기술이 정보통신기술(ICT) 업계 화두로 떠오르면서 스마트폰 두뇌인 애플리케이션 프로세서(AP)도 사람의 뇌가 정보를 처리하는 방식과 유사하게 동작하는 신경망 처리 장치(NPU)를 품기 시작했다. 신경망 반도체는 미세공정 난도 증가로 과거와 달리 스마트폰의 비약적인 성능 발전을 기대하기 힘들어졌다는 우려를 불식시키며, 스마트폰 혁신의 새로운 가능성으로 주목받는다.
퀄컴은 기존 최상급 스냅드래곤 8시리즈에서는 중앙 처리 장치(CPU)나 그래픽 처리 장치(GPU), 디지털 신호 처리 장치(DSP) 등이 머신러닝(기계학습)에 최적화된 연산을 수행할 수 있도록 별도의 설계를 적용해 AI 기능을 지원했다. 엄밀히 AI만을 위한 특화 처리장치는 없었다는 점에서 애플이나 화웨이와 비교해 상대적으로 뒤쳐진 듯한 인상을 줬다.
애플은 지난해 선보인 ‘아이폰텐(X)’의 두뇌인 ‘A11 바이오닉’에서 처음으로 신경망 코어를 접목했다. 화웨이도 비슷한 시기 전용 NPU를 탑재한 AP ‘기린970’을 내놨다. 두 회사는 올해 한 세대 진화한 ‘A12 바이오닉'과 ‘기린980’을 각각 선보이며 경쟁적으로 AI 처리성능을 강조했다.
반도체 업계가 NPU에 주목하는 이유는 스마트폰이 끊임없이 이미지, 영상, 음성을 처리하는 기기이기 때문이다. 스마트폰 카메라 개수가 늘어나면서 날로 고화질화되는 이미지와 영상을 실시간으로 처리하는 것만도 충분히 버거운데, 여기에 피사체와 초점이 다른 배경을 흐리게 하는 보케 효과 등을 적용하려면 엄청난 연산 능력을 필요로 한다.
CPU와 GPU도 미세공정 기술 발전에 발맞춰 꾸준히 성능과 소비전력을 개선했지만, 공정이 10나노(㎚, 10억분의 1m) 이하대에 진입하면서 진화 속도가 더뎌지기 시작했다. 애플 A12 바이오닉과 화웨이 기린980 모두 대만 파운드리(반도체 위탁생산) 업체 TSMC의 7나노 공정 기반으로 만들어졌다. 기존 10나노에서 올해 7나노로 진화했다고는 하지만 이 숫자가 6, 5, 4, 3으로 줄어드는 데는 앞으로 몇 년이 더 걸릴지 알 수 없다.
최근 많이 쓰이는 AI 스피커의 경우 자체 연산 능력은 높지 않다. AI 스피커는 음성을 인식한 후 디지털로 변환한 정보를 클라우드 서버로 보내는 역할을 하고, 고도의 AI 연산은 서버에서 이뤄진다. 서버가 알맞은 답변을 찾아내면 해당 정보는 다시 AI 스피커로 전송돼 음성으로 전달된다. 이 과정에 비교적 짧은 시간 안에 이뤄지기 때문에 마치 AI 스피커가 실시간으로 모든 명령을 처리하는 것처럼 보일 뿐이다.
스마트폰도 많은 서비스에서 클라우드를 활용 중이지만, 스마트폰 자체적으로 처리해야 하는 일도 많다. 스마트폰 카메라는 인터넷 환경과 무관하게 늘 같은 품질의 결과물을 내놓을 수 있어야 한다. 보케 효과를 적용한 사진을 한 장, 한 장 찍을 때마다 고용량 데이터를 소모할 수도 없는 노릇이다.
애플이 A11 바이오닉에서 처음 신경망 코어를 접목한 가장 큰 이유 중 하나가 바로 아이폰X의 얼굴인식 ‘페이스 ID’다. 전면 카메라로 촬영한 사용자 얼굴 사진 정보를 클라우드 서버에서 분석하는 방식은 거의 실시간에 가까운 반응시간을 요구하는 잠금해제에 어울리지 않는다. 무엇보다 보안 측면에서 민감한 생체 정보를 네트워크에 올려 외부로 전송한다는 발상은 위험하다.
스마트폰 자체적으로 처리해야 하는 일이 늘어나며 신경망 반도체를 적용하려는 시도가 시장 전반으로 확산될 전망이다. 퀄컴 스냅드래곤 8150을 시작으로 인텔, 미디어텍 등도 NPU를 결합한 AP를 조만간 선보일 예정인 만큼 글로벌 스마트폰 제조사의 내년 프리미엄 스마트폰 AP에는 대부분 NPU가 탑재될 것으로 보인다.
삼성전자도 차기작으로 예상되는 ‘엑시노스 9820’에서 NPU를 탑재할 것이 유력하다. 삼성전자는 자체적으로 개발한 1세대 NPU를 부분적으로 활용해왔으나, 엑시노스에 전면 탑재하지는 않았다. 하지만, 최근 공개된 한 삼성 시니어 하드웨어 디자인 엔지니어의 이력에 따르면, 삼성전자는 2017년 12월부터 2세대 NPU 디자인 개발을 시작한 것으로 알려졌다. NPU를 탑재한 엑시노스 9820은 이르면 내년 초 출시 예정인 갤럭시S10에 탑재될 전망이다.