사피온, 차세대 AI 반도체 ‘X330’ 공개 “추론 특화·GPU대비 1.9배 효율”

“전세계 AI용 데이터센터 서버 시장 규모는 연평균 31% 증가할 것으로 기대된다. 특히 추론 시장의 성장세와 규모는 훈련 시장보다 더 크다. 사피온의 ‘X330’은 이러한 ‘추론’ 시장에 특화된 제품이다.”

류수정 사피온 대표는 15일 서울 중구 SK T타워에서 새로운 AI 반도체 ‘X330’을 소개하는 기자간담회를 통해 이같이 밝혔다. 

‘X330’은 이전 세대 대비 크게 향상된 기능과 성능을 기반으로 최신 거대언어모델(LLM)에서도 활용할 수 있다는 점이 특징이다. 특히 이전 세대 대비 절대 성능은 4배, 전력 효율은 두 배 증가했으며, 경쟁 제품으로 꼽은 엔비디아의 L40S GPU 대비 1.9배 뛰어난 전력 효율을 제공할 수 있다고 제시했다. 사피온은 ‘X330’이 훈련에도 사용할 수는 있지만, 추론에 최적화된 구성을 갖췄다고 소개했다.

◇ AI NPU 시장 가능성 충분, 협력 통한 시장 확장 전략

류수정 사피온 대표는 이 자리에서 “사피온이 독립 법인을 설립한 지 1년 반 정도 지났다. 그간 사피온은 안정적 투자를 유치했고, 30개 이상의 실증 사업과 사업화 과제를 수행하고 있으며, 설치된 인프라의 규모는 38페타옵스(POPS)에 이른다. 조직은 이제 100명 이상으로 확장됐고, 지속적 성장을 위한 인재발굴과 채용도 이어 나갈 것이다”라고 밝혔다.

원상호 사피온 사업개발 팀장은 이 자리에서 지금까지 사피온은 데이터센터 영역을 기반으로 미디어, 금융, 제조업에 이르기까지 다양한 영역에서 주목할 만한 성과를 거뒀다고 말했다. 특히 NHN 클라우드와 함께 ‘X220’ 기반 클라우드 AI 서비스 인프라를 구축한 사례는, 사피온의 AI 솔루션은 물론 NHN 클라우드의 AI 솔루션까지 검증을 완료했고, 신경망처리장치(NPU) 기반 클라우드 상품 개발로 이어졌다고 소개했다.

NHN 클라우드의 사례는 NPU팜 사업 참가와 SK텔레콤의 NPU팜 구축 사업 참여로도 이어졌다. 사피온은 지난해 12월 SK브로드밴드 가산 IDC 내에 ‘X220’ 장착 서버를 사용해 7.6페타옵스 처리량에 달하는 대규모 NPU 팜을 구축한 바 있다. 이 사례는 실증과제를 넘어 실제 서비스 상용화를 목표로 NPU 팜을 구축한 국내 최초의 사례로 꼽힌다. 또한 ‘X220’이 기존의 비전 영역을 넘어 언어 영역에 적용 가능하다는 사례를 만들었다고 덧붙였다.

이 외에도 미디어 부분에서는 MBC에 비디오 업스케일링을 위한 솔루션을 공급해 산업 특화 솔루션을 성공적으로 사업화한 사례를 만들었고, 금융에서는 하나금융TI와 개념검증(PoC)을 진행했다. 최근에는 국내 대형 병원과의 계약으로 새로운 레퍼런스를 만들었다고 밝혔다.

향후 전략 측면에서는 활용 확대를 위한 노력이 주목된다. 먼저, 사피온의 NPU는 SK텔레콤의 ‘AI 피라미드’ 전략 중 AI 인프라 영역의 핵심 요소 중 하나로 꼽힌다. 사피온은 SK텔레콤과 그룹의 서비스를 사피온의 NPU위에서 동작, 최적화해 경쟁력을 높이는 데 노력할 계획이다. 또한 K-AI 얼라이언스에 참여하는 많은 회사들과도 최적화된 솔루션을 만들기 위해 협력할 것이며, 특히 거대언어모델(LLM) 특화 솔루션에서 긴밀한 협력을 통해 레퍼런스 확보에 노력한다는 계획을 소개했다. 

글로벌 진출 또한 중요한 전략으로, 글로벌 데이터센터들과 많은 논의와 함께 해외의 대형 통신, 방송사들과 PoC를 논의하고 있다고 밝혔다. 또한 고객 확보를 위해 대형 SI 업체들과도 협력을 논의하고 있으며, 개발 측면에서는 칩 뿐 아니라 이를 탑재한 서버의 개발을 위한 글로벌 제조사들과의 협력을 진행하고 있다고 언급했다.

◇ X330 “이전 세대 대비 4배 성능, LLM 지원도 가능”

사피온의 ‘X330’은 이전 세대 대비 기능과 성능에서 큰 향상을 이룬 모델이다. 마이클 쉐바노우(Dr. Michael C. Shebanow) 사피온 CTO는 ‘X330’이 이전의 ‘X220’ 대비 연산 성능은 4배 이상, 전력 효율은 2배 이상 향상됐으며, 특히 경쟁 제품으로 꼽은 엔비디아의 L40S GPU 대비 1.9배 높은 효율을 제공할 수 있다고 밝혔다. 또한 이전 세대는 정수연산만 가능했지만 ‘X330’은 부동소수점(FP) 연산 기능이 추가돼 모델 지원 폭이 넓어졌고, 특히 거대언어모델(LLM) 지원이 가능해졌다고 덧붙였다.

사피온의 ‘X330’은 TSMC의 7나노미터(nm) 공정으로 생산되며, 메모리는 16GB GDDR6를 사용하고 256GB/s의 메모리 대역폭을 갖췄다. 내부적으로는 주요 자원들이 크게 네 개의 대칭형 슬라이스로 구성된 형태로, 각 슬라이스에는 AI 연산 가속을 위한 코어부와 메모리 컨트롤러, 고성능 비디오 코덱 클러스터, 호스트 프로세서의 작업을 오프로딩할 수 있는 RISC-V 기반 코어 4개 등을 갖췄다. 호스트와는 PCIe 5.0 인터페이스로 연결된다.

사피온은 이 X330 칩을 기반으로 두 개 모델의 카드를 마련했다. 이 중 ‘X330 컴팩트(Compact)’는 X330 칩 한 개를 사용한 구성으로, 16GB 메모리에 367테라플롭스(TFLOPS) 성능을 갖췄다. ‘X330 프라임(Prime)’은 X330 두 개 구성으로 모든 사양이 ‘X330 컴팩트’의 두 배다. 메모리는 32GB, 메모리 대역폭은 512GB/s, 734테라플롭스의 연산 성능을 제공하며 TDP는 250W 급으로 소개됐다.

사피온은 하드웨어의 역량을 극대화할 수 있는 ‘제로 터치(Zero-touch)’ 소프트웨어 스택을 함께 제공한다. 이 스택은 기본적으로 파이토치(PyTorch)나 텐서플로우(TensorFlow) 등의 포맷을 ONNX(Open Neural Network Exchange) 기반으로 바꿔 실행할 수 있게 지원한다. 제품화 측면에서는 칩과 카드 뿐 아니라 서버 탑재와 클러스터 구현을 위해 주요 서버 제조사들과 협력하고 있으며, 클라우드 서빙 플랫폼 ‘아티퍼런스(Artiference)’를 통해, 어디서나 원하는 모델을 서비스할 수 있게 지원한다고 덧붙였다.

류수정 대표는 “전 세계 AI용 데이터센터 서버 규모는 2027년까지 연평균 31% 증가가 예상될 정도로 빠르게 성장한다. 특히 추론 시장의 규모와 성장세는 훈련보다 더 크다”고 밝혔다. 이어 “X330은 아키텍처 수준에서 ‘훈련’도 지원 가능하지만, ‘추론’에 특화된 모델이다. 현재 빠르게 확장되고 있는 추론 시장을 목표로 하며, 기존 GPU나 CPU에 대비해 시장 흐름을 바꾸는 선두주자로 자리매김하고자 한다”고 강조했다.

한편, 사피온은 현재 주요 고객사를 대상으로 ‘X330’의 시제품 테스트와 신뢰성 검증 작업을 진행하고, 양산은 2024년 상반기부터 시작한다는 계획을 밝혔다. 또한 X330의 아키텍처를 기반으로 한 자율주행차용 IP, 엣지 디바이스용 NPU도 선보일 예정이다. 2025년 말 발표를 목표로 하는 차기 제품에서는 최신 공정과 칩렛(Chiplet) 구조, 고대역폭 메모리(HBM) 등 최신 기술을 적용할 계획이라고 언급했다.

권용만 기자 yongman.kwon@chosunbiz.com