5세대 인텔 제온, 이전 세대보다 AI 성능 42% 높여 [5세대 인텔 제온]

인텔이 인공지능(AI) 성능이 크게 향상된 ‘5세대 인텔 제온 스케일러블 프로세서(5th Gen Intel Xeon Scalable Processor, 이하 ‘5세대 인텔 제온’)’를 14일(현지시각)공식 발표했다. 기존 ‘4세대’ 대비, 전체 성능에서는 최대 21%, AI 추론에서는 최대 42% 성능이 향상됐으며, 3세대 이전의 제품 대비로는 수 배의 성능, 효율 차이를 제시한다.

인텔은 11월 30일 미국 오레곤주 포틀랜드의 인텔 존스팜 캠퍼스(Jones Farm Campus)에서 미디어 워크샵을 개최하고 코드명 ‘에메랄드 래피즈(Emerald Rapids)’로 알려진 ‘5세대 인텔 제온 스케일러블 프로세서’를 소개했다.

5세대 인텔 제온 프로세서는 이전 세대 대비 더 늘어난 코어와 최대 3배까지 늘어난 캐시 등에 힘입어, 이전 세대 대비 평균 21% 향상된 성능을 제공한다. 특히, 고성능 컴퓨팅(HPC)에서는 최대 40%, AI 추론 워크로드에서는 최대 42%, 네트워크와 스토리지에서는 70%에 달하는 성능 향상을 달성했다. 그리고 3세대나 그 이전 세대와 비교하면 성능 향상 폭은 수 배까지 벌어지며, 새로운 서버로의 교체를 통해 운영 비용을 크게 절감할 수 있다고 제시했다.

◇ AI와 네트워크 등 ‘차세대’ 워크로드에서 성능 향상 두드러져

리사 스펠만(Lisa Spelman) 인텔 수석부사장 겸 제온 제품군과 솔루션 총괄은 5세대 인텔 제온 프로세서에서 주목할 만한 측면으로 ‘AI 성능’과 ‘비용 효율성’을 꼽았다. 5세대 제온은 이전 세대 대비 범용 컴퓨팅 환경에서 평균 21% 정도의 성능 향상을 제공하며, 특히 ‘AI 추론’ 영역에서는 이전 세대 대비 최대 42%의 성능 향상을, 네트워크와 스토리지 영역에서는 70%에 달하는 성능 향상을 제공한다.

또한 5세대 제온은 제조 공정의 안정화와 최적화 등으로 이전 세대 대비 더 높은 에너지 효율을 제공할 수 있게 됐다. 인텔은 5세대 제온이 다양한 워크로드 환경에서 이전 세대 대비 36% 높은 ‘와트당 성능’을 제공할 수 있다고 소개했다. 이러한 성능과 에너지 효율 향상은 세대가 누적되면서 효과가 더 커진다. 인텔은 5세대 전의 ‘1세대 제온 스케일러블’과 비교하면, 신형 서버 한 대는 구형 서버 24대를 대체할 수 있고, 1세대를 5세대로 교체하면 서버 수는 94% 줄이고 에너지 사용량과 이산화탄소 배출량은 90%를 줄여, 총소유비용은 77% 줄일 수 있다고 제시했다.

로낙 싱할(Ronak Singhal) 인텔 시니어 펠로우는 5세대 제온이 이전 세대 대비, CPU 교체만으로 평균 21% 성능 향상을 제공하며, AI 추론 영역에서는 최대 42%, HPC 영역에서는 최대 40%, 네트워크와 스토리지에서는 최대 70%의 성능 향상을 제공한다고 소개했다. 3세대 제온 프로세서에서 플랫폼까지 업그레이드 할 때는 이 성능 향상 폭이 더 커진다. 인텔은 5세대 제온이 3세대 대비로는 평균 84%의 성능 향상을 제공하며, 특히 AI 추론에서는 최대 14배, HPC 영역에서는 최대 2.1배, 네트워크와 스토리지에서는 최대 3.6배의 성능 향상을 제공한다고 밝혔다.

이전 세대 대비 워크로드별 성능 향상 측면에서는 웹 서비스나 데이터 서비스 등의 전통적인 워크로드보다 고성능 컴퓨팅(HPC)이나 인공지능(AI), 네트워크 등에서의 성능 향상이 두드러진다. 특히 세대별 최상위급 모델과 비교했을 때 5세대 제온은 4세대 대비 앤시스(Ansys)의 LS-DYNA 성능에서 42% 더 높은 성능을, Resnet34 추론에서는 40% 더 높은 성능을 선보였다. 인텔은 이러한 성능 향상의 이유로 이전 세대 대비 더 늘어난 코어 수와 높아진 동작 속도, 그리고 XCC 구성 기준 3배까지 늘어난 캐시와 향상된 메모리 성능 등을 이유로 꼽았다.

또한 5세대 제온 프로세서의 다양한 ‘가속기’는 프로세서의 성능과 에너지 효율을 크게 높일 수 있다고 소개했다. 5세대 제온 프로세서의 IAA(In-Memory Analytics Accelerator)는 락스DB 테스트에서 기본 프로세서로 처리하는 것보다 두 배 높은 성능을 내며, DSA(Data Streaming Accelerator)는 SPDK(Storage Performance Development Kit) 성능을 두 배 이상 높인다. 또한 QAT(QuickAssist Technology)는 마이크로소프트 SQL의 백업 압축전송 성능을 2.5배 가량 높인다.

특히, 4세대 제온 프로세서에서부터 제공되는 ‘AMX(Advanced Matrix Extensions)’는 최근 크게 주목받는 AI 성능을 기본 프로세서 처리 대비 10배까지 끌어올린다. 인텔은 5세대 제온에서 AMX를 사용하면, Resnet50 이미지 분류 성능은 FP32 대비 10배, BERT 라지 자연어 처리 성능은 FP32 대비 9.6배, DLRM 추천 시스템의 성능은 FP32 대비 10.3배 높아진다고 소개했다. 5세대 제온 프로세서의 가속기를 통한 성능 향상에서 프로세서의 전력 소비량은 가속기 사용 여부에 큰 차이가 없고, 이에 따라 성능이 향상되는 만큼 에너지 효율도 높아진다고 덧붙였다.

한편, 인텔은 5세대 제온 프로세서가 AI 워크로드에서 상당한 성능 향상을 이뤄낸, ‘AI 시대를 위한 최고의 프로세서’라는 점을 강조했다. 이러한 AI 성능 향상은 더 늘어난 코어 수와 함께 AMX 동작 조건의 최적화, 이전 세대 대비 3배까지 늘어난 LLC, 더 높아진 메모리 성능과 CXL을 통한 메모리 확장 지원, 인텔의 소프트웨어 최적화 지원이 모두 기여한 결과라고 설명했다.

◇ 모든 워크로드에서 더 높은 성능과 ‘비용 효율’ 제시

인텔이 제시하는 5세대 인텔 제온 프로세서의 핵심 가치 중 하나는 ‘워크로드 최적화’다.  이는 다양한 워크로드의 특성에 대응하는 ‘가속기’의 활용과 워크로드 특성에 맞춘 최적화된 구성의 제품군 투입 등으로 요약된다. 그리고 워크로드 별 시장 규모에서 가장 큰 부분은 33% 정도로 추산되는 ‘웹과 애플리케이션’ 영역이고, 21% 정도의 ‘데이터 서비스’ 영역까지 합치면 이미 전체 시장의 절반 정도에 이른다. 한편, 최근 빠르게 성장하고 있는 ‘AI’ 영역은 17% 정도의 비중이고, 전통적인 HPC 영역은 11% 정도인 것으로 소개됐다.

인텔은 여전히 중요성이 높고, 꾸준히 성장하는 ‘엔터프라이즈 애플리케이션’과 ‘관계형 데이터베이스’ 시장에서 5세대 제온 프로세서가 이전 세대 대비 높은 성능 향상을 제공한다고 소개했다. SAP 환경에서 5세대 제온은 4세대 대비 17% 높은 OLAP 성능을 제공했으며, IBM의 경우 빅데이터 분석에서 4세대 대비 15% 높은 성능을, 2세대 제온 대비로는 2.5배의 성능을 얻었다고 밝혔다. 한편, 마이크로소프트의 SQL 서버 성능에서도 이전 세대 대비 29% 성능 향상을 제공했으며, 경쟁 제품 대비로는 압축 사용시 두 배의 성능을 제공했다고 덧붙였다.

기업용 AI 자연어 처리 모델에서 5세대 제온 프로세서는 레드햇 오픈시프트 환경 기반에서의 BERT-Large 자연어처리 추론 모델에서 이전 세대 대비 1.3배의 성능을 제공하며, BioGPT 모델에서는 이전 세대 대비 9% 향상된 성능과 함께 15억 파라미터 구성의 분산 파인튜닝을 15분 48초에 끝냈다고 소개했다. 또한 실시간 리스크 관리 모델인 ‘Riskfuel AI’에서는 이전 세대 대비 최대 28% 성능 향상과 함께 배치 크기 1000 이하에서는 엔비디아의 A100 GPU보다도 성능이 높다고 덧붙였다.

인텔은 3~5년이 지난 구형 서버들을 5세대 제온 기반 시스템으로 교체하면 상당한 운영 비용 절감 효과를 기대할 수 있다고 제시했다. 3세대 제온 기반 서버 50대로 구성된 환경을 5세대 제온 기반 서버로 교체하는 경우, 웹 서버의 경우 동일 성능을 서버 29대로 낼 수 있고, 데이터 서비스의 경우는 14대로, AI 추론의 경우는 13대로, AI 추천 시스템의 경우는 10대만으로 대체할 수 있다는 것이다. 이에 따른 에너지 절감과 이산화탄소 배출 등을 비용으로 환산하면, 크게는 4년간 142만5000달러(한화 약 18억원) 정도의 효과가 된다.

5년 이상 사용한 1세대 제온 스케일러블 기반 서버와 비교하면 이 차이는 더 커진다. 5세대 제온 기반 시스템은 1세대 제온 스케일러블 기반 시스템 50대의 성능을 내는 데, 웹 서버의 경우는 7대, 데이터 서비스에서는 9대만으로 충분하다. 특히 AI 자연어처리 추론의 경우는 구형 서버 50대의 성능을 단 세 대로, AI 추천 서비스의 경우에는 구형 서버 50대의 성능을 단 네 대로 낼 수 있다. 이를 통해 4년간 절감 가능한 비용은 최대 54만1000달러(한화 약 7억원) 가량으로 추산된다.

5세대 제온 프로세서는 이전 세대 대비로도 다양한 AI  워크로드에서 크게는 40% 이상 높은 성능을 제공한다. 그리고 이 차이는 3세대 제온 등과 비교하면 더 커지며, 인텔은 5세대 제온 프로세서가 3세대 제온 프로세서 대비 엣지에서의 AI 추론에서 크게는 5배 이상 높은 성능을 제공한다고 소개했다. HPC 영역에서도 5세대 제온 프로세서는 3세대 대비 평균 2.14배 높은 성능을 제공하며, 유전자 분석에서도 5세대 제온은 3세대 대비 60% 더 높은 성능을 제공하고, 5년 전의 1세대 제온 스케일러블 프로세서보다는 3.5배의 성능을 제공한다고 소개했다.

5G와 소프트웨어 정의 네트워크 환경에서도 5세대 제온 프로세서의 성능 향상이 두드러진다. 인텔은 3년 전의 3세대 제온 기반 ‘제온 골드 6338N’을 5세대 제온 ‘제온 플래티넘 8592+’로 교체할 경우, 5G 유저 플레인 처리량과 VPP IPv4 패킷 처리 용량은 최대 3배, VPP Ipsec 멀티터널 성능은 3.64배 높아지며, 에너지 효율은 최대 1.8배까지 높다고 제시했다. 또한 4세대 제온 8470N과 비교해도, 5세대 제온 8592+와 QAT 하드웨어 가속을 활용하면 TLS 암호화 처리량에서 1.7배 높은 처리량을 제공한다고 덧붙였다.

포틀랜드=권용만 기자 yongman.kwon@chosunbiz.com