나승주 인텔코리아 상무 “AI 인프라, 다양성 대응에는 CPU 중심이 유리해” [AI&CLOUD 2024]

“인공지능(AI) 시대에 IT 인프라에는 다양한 유형의 워크로드가 운영되고, 때로는 그래픽처리장치(GPU)보다 중앙처리장치(CPU) 위주의 인프라가 더 실용적일 수 있다. 인텔은 모든 유형의 AI에, 시작부터 끝까지 전체 생애주기에 걸친 기술을 제공할 수 있는 회사다.”

나승주 인텔코리아 상무는 27일 서울 웨스틴조선 호텔에서 열린 ‘AI&CLOUD 2024’ 콘퍼런스에서 앞으로의 AI 기술과 인프라에 대한 전망과 인텔의 ‘AI 에브리웨어(Everywhere)’ 전략을 소개하며 이와 같이 밝혔다. 

나승주 상무는 이 자리에서 “지금까지 AI라 하면 모두의 관심사는 ‘거대언어모델(LLM)’, 그리고 이를 위한 엄청난 컴퓨팅 성능 요구를 어떻게 처리할 것인지에 대한 것이었다”며  하지만 "AI 기술은 빠르게 진화하고 있으며, 우리는 실제 LLM 뿐만 아니라 다양한 유형과 크기의 AI 모델을 이미 활용하고 있다”고 지적했다. 

AI 기술이 이론적인 접근을 넘어 이제 실제 활용에 이르는 단계로 접어들면서, 극복해야 할 다양한 과제도 나타나고 있다. 대표적인 당면 과제는 비용과 보안, 데이터에서의 개인정보 문제, 실제 활용에서의 환각 등 신뢰성 문제 등이 꼽힌다. 또한 AI 기술이 데이터센터 기반의 거대모델 뿐만 아니라, 엣지와 디바이스 수준에 이르기까지 다양한 환경에서 활용될 수 있는 형태로 다양하게 확대되는 점에도 주목했다.

인텔은 이러한 AI 기술 생태계에서 데이터센터에서부터 디바이스 영역에 이르기까지 폭넓은 영역에서 기술을 제공하고 있다고 밝혔다. 특히, 인텔은 AI 기술의 생애주기 전반에서 필수적으로 활용되는 CPU 기술을 주도하고 있으며, 현재 AI 워크로드의 60% 이상이 인텔의 제온 프로세서 기반 인프라에서 운영되고 있다고 소개했다.

인텔의 최신 세대 데이터센터용 프로세서인 ‘5세대 제온 스케일러블 프로세서’는 AI 작업 유형에 최적화된 ‘가속기’의 탑재 등으로 이전 세대 대비 AI 워크로드 처리 성능을 최대 40% 이상 높인 것이 특징이다. 

나승주 상무는 “현재 대부분의 기업 데이터센터 워크로드는 제온 기반 인프라에서 운영되고 있다. 여기에 AI 기능을 추가하거나, 인프라에서 AI와 일반 워크로드를 함께 운영할 때 제온 프로세서 기반 환경은 최선의 선택이다”라고 강조했다.

또한 최신 세대 제온 스케일러블 프로세서는 실제 LLM 환경에서 충분히 실용적인 성능을 제공할 수 있다고 제시했다. 최신 제온 스케일러블 프로세서는 라마 2(Llama 2)의 130억 파라미터 모델 수준에서 사용자에 불편함이 없는 수준인 토큰간 100밀리초(ms) 이내 응답 속도를 충분히 달성할 수 있고, 서버 4대를 사용하면 700억 파라미터 모델 수준에서도 이 정도의 목표 성능을 달성할 수 있다는 것이다.

인텔은 CPU 뿐만 아니라, GPU와 비슷한 역할을 할 수 있는 ‘AI 가속기’ 제품 또한 갖추고 있다. 인텔의 대표 AI 가속기 모델은 ‘가우디 2(Gaudi 2)’로, 거대언어모델과 대규모 생성형 AI 환경 등에서 엔비디아의 GPU와 비교해 높은 경쟁력을 갖춘 점이 특징이다. 

나승주 상무는 “‘가우디 2’는 특히 비전 모델에서 뛰어난 모습을 보이며, 모델에 따라서는 엔비디아의 H100보다도 높은 성능을 제공할 수 있다”고 강조했다. 이어 “인텔은 차세대 모델인 ‘가우디 3’를 올해 선보일 계획이다. 이 ‘가우디 3’는 기존 ‘가우디 2’ 대비 연산 성능은 4배, 네트워크 대역폭은 2배, 메모리 대역폭은 1.5배 향상될 것이다”라고 소개했다.

한편, 인텔은 AI 기술을 쉽고 빠르게 활용하기 위한 소프트웨어 지원에서도 AI 기술 활용의 생애주기 전체에 걸쳐 지원을 제공하고 있다고 소개했다. 그리고 AI 기술의 생애주기에 있어 많은 부분이 CPU를 사용해 이뤄지고 있는 만큼, 인텔은 AI 생태계에서도 가장 넓은 범위에서 기술 지원을 제공하고 있다는 점을 강조했다.

권용만 기자 yongman.kwon@chosunbiz.com