최근 인공지능(AI) 기술 경쟁이 치열하게 펼쳐지면서 대용량 데이터를 보다 빠르고 비용 효율적으로 처리할 수 있는 맞춤형 반도체 수요가 늘어나는 추세다. 범용 AI 연산에는 그래픽 처리 장치(GPU)가 효과적이라고 알려져 있지만, 맞춤형 반도체를 기반으로 특정 애플리케이션이나 서비스에 최적화된 AI 가속기에 주목하는 기업이 그만큼 많아지고 있다는 얘기다.

최근 SK텔레콤은 AI 스피커 ‘누구'의 자동 음성 인식 성능을 높이기 위해 프로그래머블 반도체(FPGA) 기반 AI 가속기를 자사 클라우드 데이터센터에 적용한다고 밝혔다.

SK텔레콤 연구원이 AI 가속기를 테스트하고 있다. / SK텔레콤 제공
SK텔레콤 연구원이 AI 가속기를 테스트하고 있다. / SK텔레콤 제공
SK텔레콤은 2년간 글로벌 FPGA 전문 업체 자일링스와 협력해 자체 AI 가속기를 개발해왔다. 국내 대규모 데이터센터에 FPGA 기반 상용 AI 가속기를 채택한 사례는 이번이 처음이다. 해외의 경우 아마존, 마이크로소프트, 알리바바, 바이두 등이 클라우드 데이터센터에 FPGA를 도입했다.

FPGA는 하드웨어 레벨에서 프로그래밍 가능한 시스템 반도체를 말한다. 컴퓨터의 두뇌 역할을 하는 중앙처리장치(CPU)와 같은 양산형 시스템 반도체는 처음에 설계된 대로 작동하지만, FPGA는 사용자 필요에 따라 논리 회로를 직접 설계된다. 범용 컴퓨팅 용도보다 특정 분야에서 최대 성능을 끌어내기 위한 용도로 쓰인다. 대량 양산에 초점을 둔 주문형 반도체(ASIC)와 시스템 테스트 및 개발용 보드에 탑재되는 반도체의 중간쯤에 위치한 제품인 셈이다.

SK텔레콤이 자체적으로 AI 가속기를 개발한 이유는 AI 서비스가 인터넷 서비스를 넘어 금융, 보안, 쇼핑 등으로 확장된 영향이 크다. 보다 빠른 연산 속도와 서비스 용량이 필요한 것이다.

AI 스피커 ‘누구’ 이용자 수는 2017년 8월 월간 실사용자 수(MAU)가 11만명이었으나, 올해 1분기 300만명으로 급증했다. SK텔레콤은 데이터센터 내 서버의 CPU와 메모리를 증설하는 단순한 스케일 업 방식의 대응으로는 감당하기 힘들어진 상황이라 전용 AI 가속기가 필요하다고 설명했다.

이는 최근 전용 신경망 프로세스 유닛(NPU)을 탑재한 스마트폰이 늘고 있는 것과도 흐름을 같이 한다. 주요 스마트폰 및 반도체 제조사는 지난해부터 별도의 신경망 엔진을 애플리케이션 프로세서(AP)에 통합하기 시작했다. 스마트폰은 배터리로 동작하는 만큼 전력 소모 최소화가 필수다. 많은 연산을 필요로 하는 AI를 효과적으로 수행하려면 전용 AI 가속기가 필요하다.

AI 가속기를 내장한 AP로는 애플의 A11 바이오닉, 퀄컴 스냅드래곤 845, 삼성 엑시노스 9810, 하이실리콘(화웨이) 기린 970 등이 대표적인 예다.

SK텔레콤이 도입한 AI 가속기는 손바닥 크기의 애드인(Add-In) 카드 형태로, 별도의 추가 하드웨어 없이 기존 서버의 빈 슬롯에 꽂아 활용할 수 있는 점이 특징이다. 데이터센터 상면 공간을 그대로 유지하면서 누구의 자동 음성 인식 서버의 성능을 높일 수 있어 자연스레 총소유비용(TCO) 절감에 기여한다.

전기 먹는 귀신인 데이터센터의 평가 지표 중 하나인 와트당 성능 측면에서도 AI 가속기가 기존 CPU나 GPU 기반 컴퓨팅보다 더 낮은 전력으로 더 높은 성능을 낸다. 이는 클라우드 서비스의 최대 단점 중 하나인 지연시간을 줄이는 데 기여한다. 사용자가 누구에게 명령을 하면 이를 SK텔레콤 클라우드 서버에서 분석·처리한 후 결괏값을 다시 누구로 전송해야 하는데, 사용자 입장에서는 이 과정이 거의 실시간으로 이뤄져야 한다.

이강원 SK텔레콤 소프트웨어기술원장은 “자일링스의 ‘킨텍스 울트라스케일’ FPGA 보드와 SK텔레콤의 자체 비트스트림 이미지를 기반으로 솔루션을 설계해 기존 시스템보다 연산 성능은 5배쯤 높이고, 전력 소모량은 16배쯤 줄인 고성능 애플리케이션을 개발할 수 있었다"며 “FPGA를 통해 기존 컴퓨팅 시스템보다 훨씬 더 효율적이고 합리적인 데이터센터 투자가 가능해진 셈이다"라고 말했다.

라민 론 자일링스 솔루션 마케팅 부문 부사장은 “AI 네트워크는 빠르게 발전하고 있지만, 네트워크를 지원할 CPU나 GPU의 개발 속도는 더디다”며 “향후 FPGA를 적응형 가속화 플랫폼으로 진화시켜 나가는 한편, SK텔레콤과도 음성인식 외에 이미지 등 다른 분야로 협력을 늘려 나갈 계획이다"라고 말했다.