AI PC 속까지 진화 중 ‘NPU’가 뛴다

PC 업계에서는 일반적으로 AI PC를 “AI 연산을 처리할 수 있는 ‘신경망처리장치(NPU)’가 탑재된 PC”로 정의한다. AI PC 시장은 지난해 인텔의 ‘코어 울트라’ 프로세서 출시 이후 본격적으로 시작돼 올해는 전체 PC 시장의 40% 수준에 이를 것으로 기대된다. 올해 출시된 신제품 노트북 PC의 대부분은 ‘AI PC’로 분류될 수 있으며, 현재 국내 시장에서도 AI PC로 분류 가능한 제품의 판매 비중은 40%에 가까운 것으로 추정된다. 

하지만 이러한 AI PC의 핵심 ‘NPU’를 제대로 활용할 수 있는 곳은 생각보다 찾기 어려웠다. PC 플랫폼에서 AI 처리는 현재 반응성이 필요한 경우는 프로세서가, 성능이 필요한 경우는 그래픽처리장치(GPU)가, 저전력 효율이 필요한 경우는 NPU가 처리하는 것을 이상적으로 보고 있다. 현실적으로는 우리가 ‘AI’라 생각하는 많은 기능들이 GPU를 사용해 처리됐고, NPU의 활용도는 제한적이었다. 하지만 최근 ‘코파일럿+ PC’의 고성능 NPU를 활용한 사례들이 늘면서, AI PC의 가치도 높아지는 모습이다.

마이크로소프트의 ‘코파일럿+ PC’는 기능을 사용하기 위해 40TOPS(초당 40조회 연산) 이상 성능을 갖춘 NPU가 필요하다. 40TOPS 이상 성능의 NPU를 탑재한 PC에 윈도11 24H2 이상 버전을 설치하면 주요 기능들이 활성화된다. 발표 초기에는 퀄컴의 스냅드래곤 X 시리즈 프로세서 탑재 제품에서만 기능이 제공됐는데 지난 3월부터 인텔의 ‘코어 울트라 200V 시리즈’, AMD ‘라이젠 AI 300 시리즈’ 프로세서 탑재 PC에도 코파일럿+ PC의 기능들이 제공되기 시작했다. 물론 윈도11 24H2의 최신 버전을 설치했더라도 NPU가 없거나 성능 요건이 충족되지 않으면 기능이 나타나지 않는다.

‘코파일럿+ PC’의 발표에서 가장 주목받은 기능으로는 ‘리콜’이 꼽힌다. 이 기능은 사용자가 PC를 사용 중일 때 윈도가 사용자의 화면을 캡처하고, 이를 AI로 분석해 검색 가능한 자료로 저장한다. 이후 사용자는 특정 시점에서의 작업에 대한 정보를 단편적인 기억만으로도 찾아갈 수 있다. 이 때 캡처된 화면의 분석에 NPU가 활용돼, 기능 사용에서 성능 부담을 줄였다. 또한 그림판의 ‘코크리에이터’나 사진 앱의 ‘이미지 크리에이터’는 NPU에서 사용할 수 있는 경량 이미지 생성 모델을 활용하고, 여러 언어를 영어로 번역해 주는 ‘라이브 캡션’ 기능도 NPU에서 소형 언어모델을 활용한다.

이외에도 코파일럿+ PC에서는 윈도 기본 검색 기능에도 NPU를 활용해 좀 더 나은 검색 성능을 제공한다. 하지만 아직 윈도의 ‘코파일럿’ 앱은 클라우드 서비스를 기반으로 하고 있다. 한편, 윈도11에서 성능과 무관하게 NPU가 장착된 시스템에서는 ‘윈도 스튜디오 효과’ 기능을 사용할 수 있다. 이는 PC에 장착된 화상 카메라에서 배경 흐림이나 시선 맞춤, 자동 리프레임 등의 고급 기능을 NPU로 처리해 CPU나 GPU의 부담을 줄여 주는 기능이다. 

이러한 NPU 활용 기능들은 윈도 플랫폼에서 기본 제공되는 만큼 다른 앱들에서의 활용 여지도 있다. ‘윈도 스튜디오 효과’의 경우 카메라를 사용하는 앱들에서 앱 자체 기능 대신 윈도 스튜디오 효과를 활용할 수도 있다. 또한 마이크로소프트는 추후 코파일럿+ PC의 기능을 위해 내장된 소형 언어모델들을 서드파티 개발자들도 사용할 수 있게 공개할 예정이라고도 발표한 바 있다. 

NPU는 지금까지의 CPU, GPU와는 다른 유형의 처리 장치고, 제대로 사용하기 위해서는 장치를 가장 잘 알고 있는 ‘제조사’의 직접 지원이 중요하다. 최근에는 인텔과 AMD 모두 이에 대한 지원을 강화하고 있다. 드라이버와 프레임워크 수준의 지원 뿐만 아니라 최신 모델들을 쉽게 설치, 활용할 수 있게 해 주는 애플리케이션까지 직접 선보이고 있을 정도다. 이렇게 NPU를 통한 생성형 AI 모델 활용은 GPU를 쓰는 것보다 전력 효율이나 체감 성능 영향 측면에서 장점이 있다.

인텔은 ‘코어 울트라’ 초기부터 이미지 생성 모델 ‘스테이블 디퓨전(Stable Diffusion)’ 모델을 NPU로 구동할 수 있는 구성을 제공한 바 있다. 지난해 7월 선보인 ‘AI 플레이그라운드’ 앱은 인텔 칩 기반 생태계에 최적화된 AI 기술 구성을 클릭 몇 번으로 쓸 수 있는 편리함을 제공한다. 지난 5월 선보인 ‘AI 플레이그라운드 2.5.5b’ 버전에는 NPU만으로 구동 가능한 ‘파이 3 미니’의 INT4 양자화 모델도 탑재됐다. 

이 모델은 실제 구동시 약 4GB 정도의 메모리가 필요하며, 인텔 코어 울트라 7 258V 프로세서 탑재 시스템에서 NPU로 질의했을 때는 초당 22토큰 정도의 성능을 냈다. 같은 모델을 아크 140V GPU로 돌렸을 때는 초당 약 32토큰 정도의 성능이 나왔다. GPU에서 쓰는 것보다는 느리지만 답답한 정도는 아니며, 노트북 PC에서 사용할 때는 전력 소비량에서 이득을 기대할 수 있다. 무엇보다, 활용이 쉽지 않았던 NPU를 LLM 구동에 활용할 수 있다는 자체만으로 흥미로운 모습이다.

AMD 또한 비슷한 시도를 했다. 지난 5월 AMD는 라이젠 AI 프로세서 기반 PC에서 편리하게 LLM을 쓸 수 있도록 하기 위한 오픈소스 프로젝트 ‘가이아(GAIA)’를 선보였다. 이 ‘가이아’는 LLM을 위해 모델과 프레임워크, 인터페이스까지 통합된 패키지 구성이다. 기본은 내장 GPU와 NPU를 함께 사용하는 ‘하이브리드’ 모드고, NPU 단독 구동은 추후 지원 예정으로 알려졌다. 현재 지원되는 모델은 파이 3와 3.5, 라마2와 라마 3.2, 큐원(Qwen)과 미스트랄 모델 등이 준비됐다. 

또한 AMD는 라이젠 AI 300 시리즈 프로세서에 탑재된 XDNA 2 NPU에서 구동되는 ‘스테이블 디퓨전 3.0 미디움’ 모델을 선보였다. 최신 버전 드라이버와 텐서스택(Tensorstack.ai)의 ‘어뮤즈(Amuse) 3.1 베타’ 애플리케이션을 설치하고, 실행 후 이지 모드에서 ‘XDNA 2 스테이블 디퓨전 오프로드’를 선텍하면 NPU만으로 스테이블 디퓨전 모델을 사용할 수 있다. 이를 사용하기 위해서는 ‘라이젠 AI 300 시리즈’ 프로세서와 24GB 이상의 메모리가 탑재된 PC가 필요하다.

권용만 기자

yongman.kwon@chosunbiz.com