인공지능(AI) 기술이 스마트폰을 비롯해 가전 등으로 적용 분야를 넓혀가며 일상생활에 깊숙이 자리잡기 시작했지만, 사람 수준의 진정한 AI를 구현하기 위해서는 기기 자체에서 AI 연산을 수행하는 ‘온 디바이스 AI’가 구현돼야 한다는 주장이 제기됐다.
온 디바이스 AI를 실현하려면 메모리 등 반도체 성능은 물론, AI 알고리즘을 최적화한 소프트웨어(SW) 기술 발전이 뒷받침돼야 한다는 제언도 이어졌다.
심은수 삼성전자 종합기술원 AI&SW 리서치 센터장(전무)은 23일 강남구 삼성동 코엑스에서 개막한 ‘세미콘코리아 2019’ 기조연설자로 나와 ‘온 디바이스 AI’를 주제로 AI 기술과 반도체 산업의 현주소를 짚고 향후 나아갈 방향을 제시했다.
AI 기술은 최근 몇 년간 빠르게 발전했고, 자율주행과 기계번역 등 대중이 체감할 수 있는 혁신이 눈앞에 다가왔다.
하지만, 현재 스마트폰이나 음성인식 스피커와 같은 기기는 엄밀히 플랫폼 역할만 할뿐 AI와 거리가 있다. 실제로 데이터를 분석하고, 추론을 거쳐 의미 있는 결과물을 내놓는 AI의 실체는 고성능 서버가 모여 있는 클라우드 데이터센터에 있다. AI 연산을 하려면 엄청난 수준의 컴퓨팅 파워가 필요한데, 스마트폰이나 음성인식 스피커의 성능이 아직 서버 수준에 한참 못 미친다.
심은수 전무는 "사람의 경우 지금까지의 경험과 지식, 대화의 맥락 등을 고려해 대화를 주고받지만, 정작 컴퓨터에게는 극히 단편적인 정보만 주면서 똑같은 결과물을 기대한다"며 "결국, 사람 수준의 AI를 구현하기 위해서는 사람이 듣고 보는 모든 정보를 줘야 하는데 이 방대한 데이터를 처리하는 데 지금은 클라우드 데이터센터에 의존할 수밖에 없다"고 말했다.
음성인식 스피커의 예를 들면, 사용자가 "분위기 있는 음악 틀어줘"라고 말하면, 스피커는 음성을 디지털 신호로 변환하고, 그 데이터를 네트워크에 연결된 원격 데이터센터에 전송해주는 역할을 수행한다. 데이터센터는 이 데이터를 기반으로 AI 연산을 수행해 명령의 의미를 추론한다. 추론을 통해 도출한 음악 리스트는 스트리밍 사이트 서버에 요청하고, 스피커에는 적절한 대답을 하라는 신호를 보낸다.
최종적으로 결과값을 수신한 스피커는 이를 다시 음성 신호로 바꿔 사용자에게 "분위기 있는 음악 틀어 드릴께요"라고 보고하고, 스트리밍 사이트 서버로부터 받은 음악을 재생한다. 실제로 스피커가 수행하는 역할은 음성을 데이터로, 데이터를 다시 음성으로 변환하는 역할만 하는 셈이다.
심 전무는 "한국은 네트워크 인프라가 잘 구축돼 있고 5G 시대도 목전에 두고 있어 현재 방식으로도 제법 자연스러운 결과를 기대할 수 있지만, 향후 고도화된 AI 서비스를 위해 전송하는 데이터가 커지기 시작하면 아무리 빠른 네트워크라도 지연이 발생하는 것은 어쩔 수 없다"며 "무엇보다 전송하는 데이터가 커진다는 것은 프라이버시 이슈와도 직결돼 있고, 통신 환경이 좋지 못한 곳에서는 AI를 쓸 수 없다는 점도 온 디바이스 AI의 필요성과 연결된다"고 강조했다.
이어 "자율주행의 경우 차량, 보행자, 신호등, 표지판 등 다양한 정보를 실시간으로 처리해 판단해야 하는데, 네트워크 지연이 조금이라도 발생한다면 이는 안전과 직결되는 문제다"라며 "삼성전자는 2017년부터 지도 정보를 제외하고는 모두 자동차 자체적으로 처리하는 알고리즘을 연구해 실제 주행 테스트를 통해 검증하고 있다"고 덧붙였다.
◇ HW가 끌고, SW가 밀고…’두뇌’가 진화한다
온 디바이스 AI는 실제로 스마트폰을 중심으로 구현되는 중이다. 주요 스마트폰 제조사는 스마트폰의 두뇌인 애플리케이션 프로세서(AP)에 별도의 신경망 처리 유닛(NPU)을 탑재하기 시작했다. 얼굴인식, 음성인식 등을 위한 연산을 스마트폰 자체적으로 처리하기 위해서다. 삼성전자가 2월 20일 미국에서 공개할 예정인 ‘갤럭시S10’ 시리즈에도 삼성전자가 독자 개발한 NPU가 처음으로 탑재된다.
다만, 온 디바이스 AI를 실현하기 위해서는 해결해야 할 과제도 산적해 있다. 우선 D램과 같은 메모리 용량과 대역폭을 더 밀도있게 탑재해야 한다. 서버에서 처리하는 수준의 AI 처리 모델은 일단 용량이 크다. 이를 그대로 스마트폰에서 작동시키면 램을 다 차지해 다른 앱은 구동할 수 없게 될 수도 있다. 메모리 성능과 직결되는 대역폭도 아직은 기대에 못 미친다. 실시간 통역을 위한 AI 프로세스를 온 디바이스로 돌리려면 초당 30~35GB를 처리할 수 있는 수준의 고대역폭 메모리가 필요하다는 게 심 전무의 설명이다.
하드웨어적 한계를 극복하기 위한 소프트웨어 기술 연구도 계속되고 있다. 실제로 삼성전자가 개발한 NPU에는 부하를 최소화하기 위해 결괏값이 0으로 수렴하는 등 불필요한 연산이라고 판단되면 계산을 생략하는 ‘제로 스키핑'과 같은 기법이 최초로 적용됐다. 이 같은 기법은 연산 효율을 높이는 것은 물론, 동일 연산에 필요한 에너지를 줄여 배터리 소모량을 줄이는 효과도 기대할 수 있다.
심 전무는 "앞으로 더욱 다양한 기기에 AI가 탑재되면서 NPU는 이제 범용 프로세싱 코어가 될 것이다"라며 "삼성전자에서도 메모리 대역폭 향상, 알고리즘 개선 등을 꾸준히 연구하면서 우리가 꿈꾸는 사람 수준의 AI를 구현하기 위한 여정을 시작했다"고 말했다.