나승주 인텔코리아 상무 “5세대 제온, AI 위한 최고의 CPU” [AI PC]

“5세대 제온 프로세서는 이전 세대보다 평균 21% 높은 성능을 제공하며, 특히 AI 추론에서는 최대 42% 향상된 성능을 제공해, AI를 위한 최고의 데이터센터용 CPU로 자리매김했다.”

나승주 인텔코리아 상무는 18일 서울 여의도 전경련회관에서 열린 ‘코어 울트라(Core Ultra)’, ‘5세대 제온(5th Gen Xeon) 프로세서’의 출시 행사를 통해 이와 같이 밝혔다. 앞으로 AI 시장의 움직임으로는 ‘하이브리드 AI’를 제시하며, 인텔은 이를 위한 다양한 제품과 개방형 소프트웨어, 업계 표준 API 제시 등에서 다양한 파트너들과 함께 협력하고 있다고 강조했다.

인텔의 ‘5세대 제온 스케일러블 프로세서’는 기존의 ‘4세대 제온’과 같은 플랫폼에서 더 나은 성능과 효율을 제공하는 것이 특징이다. 코어 수는 이전 세대보다 늘어난 최대 64개 구성을 제공하며, 캐시 용량은 이전 세대보다 최대 3배 늘어난 최대 320MB 구성을 제공한다. 인텔은 5세대 제온 프로세서가 이전 세대 대비 범용 컴퓨팅 환경에서 평균 21% 나아진 성능과 함께, 와트당 성능 효율은 36%까지 개선됐으며, 5년 전의 구형 서버를 교체시 총소유비용 절감 효과는 최대 77%에 이른다고 소개했다. 

나승주 인텔코리아 상무는 이 자리에서 “인텔은 고객들이 미래의 비즈니스를 설계하고 성장할 수 있게, 다양한 고객들의 요구 사항을 반영해 플랫폼을 발전시켜 왔다. 5세대 제온은 현재 고객들이 가장 중요하게 생각하는 ‘AI’ 워크로드에서의 성능에 집중했다”고 소개했다. 이어 “5세대 제온은 이전 세대보다 평균 21% 향상된 성능을 제공하며, 특히 AI 추론에서는 42% 향상된 성능을 제공해 AI를 위한 최고의 데이터센터용 CPU로 자리매김했다”고 강조했다.

5세대 인텔 제온 프로세서는 기존 4세대 제온 프로세서와 플랫폼 호환성을 가져, 기존 시스템 디자인에서 프로세서 교체로 성능 향상을 도모할 수 있다. CPU당 최대 코어 수는 이전보다 늘어난 최대 64코어를 제공하고, 캐시 구성은 이전 세대보다 최대 3배 늘어난 320MB를 제공한다. 지원 메모리도 이전 세대보다 한 단계 성능이 향상된 DDR5-5600 메모리를 지원하며, CXL(Compute Express Link) 1.1 타입3 메모리를 지원해 메모리 구성의 유연성도 높였다. 이 외에도, 더욱 안전한 클라우드 환경을 위해 전체 모델에서 TDX(Trust Domain Extensions)를 지원한다.

5세대 제온 프로세서는 이전 세대 대비 크게 향상된 AI 성능을 제공한다. 인텔은 IBM의 ‘왓슨x(watsonx)’가 이전 세대 프로세서 기반 시스템을 5세대 제온 기반 시스템으로 교체해 처리 성능을 2.7배 높인 사례를 소개했다. 또한 스태빌러티.ai(Stability.ai)는 인텔의 제온과 가우디2 가속기 조합의 AI 슈퍼컴퓨터 구현 계획을 발표했는데, 예상되는 성능은 전 세계 ‘톱 15’ 수준이다. 인텔은 스태빌러티.ai가 인텔의 솔루션을 선택한 이유로 제품 가용성과 효율성, 확장성을 꼽았다.

최신 제온 프로세서에서 AI 성능의 핵심은 ‘AMX(Advanced Matrix Extensions)’다. 4세대 제온 프로세서부터 도입된 이 ‘AMX’는 AI 워크로드에 많이 사용되는 행렬 연산의 성능과 효율을 크게 높이며, 인텔은 이 ‘AMX’를 활용해 AI 워크로드에서 최대 10배 향상된 성능을 제공한다고 소개했다. 또한 넷플릭스는 콘텐츠 다운스케일용 신경망 구축에서 AMX 활용으로 두 배의 성능 향상을 갈륨 스튜디오의 게임 ‘프록시(Proxi)’에서는 거대언어모델 기반 AI 모델 활용에서 AMX를 통해 GPU대비 6.5배 높은 성능을 얻었다고 밝혔다.

이전 세대 대비 향상된 성능과 전력 효율은 더 나은 지속가능성 제공으로도 이어진다. 인텔은 5년 전의 1세대 제온 스케일러블 프로세서 기반 시스템을 5세대 제온 프로세서 기반 시스템으로 업그레이드 하는 경우, 서버 대수는 최대 94% 줄이고, 이산화탄소 배출과 전력 소비량은 최대 90% 줄일 수 있으며, 총소유비용은 최대 77% 절감 가능할 것이라 제시했다.

한편, 인텔은 향후 AI 시장의 방향성으로 ‘하이브리드 AI’를 제시했다. 그리고 엣지와 클라이언트에서 클라우드에 이르기까지 다양한 위치에서 다양한 규모와 성격을 가진 모델들이 활용됨에 따라 현실적인 모델 활용에서의 지연시간 최소화, 비용과 전력 절감, 개인정보 보호 강화 등의 요건이 중요해질 것이라 소개했다. 또한 2020년 후반에 이르면 전 세계적으로 AI 추론 시장 규모가 4452억 달러(한화 약 578조원) 규모에 이를 것으로 전망했다.

한편, 인텔은 이 자리에서 딥러닝 훈련과 추론에 최적화된 ‘가우디 2(Gaudi 2)’ 가속기에 대해서도 간략히 소개했다. ‘가우디 2’는 거대언어모델(LLM)과 대규모 생성형 AI 모델 학습 등에 최적화됐고, 뛰어난 성능과 효율성, 그리고 대규모 작업을 위한 뛰어난 확장성을 모두 갖춘 것이 특징이다. 인텔은 ‘가우디 3’가 2024년 상반기에 선보일 예정이며, 기존의 ‘가우디 2’ 대비 BF16 기준 4배의 연산 성능과 2배의 네트워크 대역폭, 1.5배의 HBM 대역폭을 제공할 것이라 밝혔다.

인텔은 앞서 고객에 약속한 로드맵을 변함없이 실현해 나갈 방침이다. 인텔은 5세대 제온 프로세서 이후, 2024년 상반기 에피션트 코어 기반의 최대 288코어를 제공하는 ‘시에라 포레스트(Sierra Forest)’를 출시하고, 곧이어 퍼포먼스 코어 기반의 차세대 제온 프로세서가 될 ‘그래나이트 래피즈(Granite Rapids)’를 출시한다는 계획이다.

권용만 기자 yongman.kwon@chosunbiz.com