AMD “추론 중심으로 AI 시장 변화, MI350 성능·효율 승부수” [AMD AAI 2025]

“몇 년 전까지는 AI 시장의 중심이 ‘훈련’이었지만 지금은 ‘추론’을 위한 인프라 수요가 늘고 있다. 성능이 크게 높아진 인스팅트 MI350 시리즈는 이제 경쟁 제품과 비교해도 훈련에서는 동급, 추론에서는 다양한 작업에서 20~30% 더 높은 토큰 생성 성능을 제공할 수 있게 됐다.”

앤드류 디크만(Andrew Dieckmann) AMD 데이터센터 GPU 사업 부문 부사장은 12일(현지시각) 미국 캘리포니아주 새너제이에서 열린 ‘AMD 어드밴싱 AI 2025’ 행사 중 마련된 기자단과의 인터뷰를 통해 이와 같이 밝혔다.

AMD는 이번 ‘어드밴싱 AI 2025’ 행사에서 새로운 ‘인스팅트 MI350 시리즈’ GPU와 이를 지원하는 소프트웨어 패키지 ‘ROCm 7’ 버전을 발표했다. 향상된 하드웨어 성능에 소프트웨어 지원 최적화를 더해, AMD의 인스팅트 MI350 시리즈 GPU는 이전 세대 대비 3~4배의 처리 성능 향상과 함께 최신 경쟁 제품 대비로도 훈련에서는 동급, 추론에서는 더 높은 성능과 효율을 제공한다. 그리고 향후 소프트웨어 지원의 중심은 ‘프레임워크’가 될 것이라는 점도 분명히 했다.

앤드류 디크만 부사장은 현재 시장에 대해 “몇 년 전에는 훈련이 중심이었지만 최근에는 추론을 위한 인프라 수요가 늘어가고 있다”며, “특히 클라우드 사업자들의 경우 이제 자체 모델 훈련보다는 기존의 오픈소스 모델을 서비스하는 것들이 핵심 모델로 꼽힌다. 에이전틱 AI의 등장도 이러한 변화를 가속화하고 있다. 이러한 점들이 시장 전반의 성장을 만들 것이다”라고 말했다.

새로운 ‘인스팅트 MI350 시리즈’의 변화에 대해서는 “새로운 디자인과 완전히 달라진 컴퓨트 엔진을 사용한다. 또한 FP4/6 데이터 형식을 새롭게 지원하며, 최신 HBM3E 사용으로 메모리 시스템이 업그레이드돼 더 큰 용량과 높은 대역폭을 제공할 수 있게 됐다”고 소개했다. 

이어 “성능 측면에서는 크게 업그레이드 됐다. 이제 경쟁 제품과 비교해도 훈련에서는 동급, 추론에서는 다양한 유형의 작업에서 20~30% 더 높은 토큰 생성 성능을 제공할 수 있게 됐다”고 밝혔다. 또한 “무엇보다 경쟁력 있는 성능과 비용 효율 측면을 제공할 수 있게 됐다. 추론 작업에서 MI350 시리즈는 경쟁 제품 대비 같은 비용에 40% 더 많은 토큰을 생성할 수 있다”며 “이런 부분이 고객들이 도입을 고려하는 데 중요한 이유가 될 것으로 기대한다”고 강조했다.

‘개방형 생태계’의 중요성도 강조했다. 앤드류 디크만 부사장은 “하나의 기업이 모든 요구를 맞출 수는 없다”며 “AMD는 개방형 생태계로 접근해 생태계 전반과 협력하고 있다. 오픈소스 소프트웨어들과 쉽게 적용, 통합 가능한 점들도 고객들에 장점이 될 것으로 기대한다”고 말했다.

한편, AMD는 이번 ‘어드밴싱 AI 2025’ 행사에서 GPU를 직접 다루는 프로그래밍 언어 ‘HIP(Heterogeneous-compute Interface for Portability)’이나 엔비디아 쿠다(CUDA, Compute Unified Device Architecture) 언어에서의 전환 등에 대해서는 전혀 언급하지 않았다. ROCm 7 버전의 핵심에도 이러한 부분이 아닌 파이토치(PyTorch)나 트리톤(Triton), 잭스(Jax) 등 새로운 프레임워크 지원에 대한 부분이 꼽힌다.

앤드류 디크만 부사장은 이에 대해 “이제 우리는 HIP에 대해 거의 이야기하지 않는다”며 “지난 몇년간 고객들의 트렌드는 좀 더 높은 수준의 추상화로 넘어갔다”고 밝혔다. 이어 “고객들에 있어 중요한 건 ‘속도’고, 고객들은 변화에 더 빨리 대응하고 유연성을 확보하고자 한다”며 “AMD에게도 최근의 화두는 HIP나 쿠다 수준의 언어가 아니라, 우리의 기술을 파이토치나 JAX 등 최신 프레임워크에 어떻게 통합하느냐, 트리톤 컴파일러에 우리의 하드웨어를 적용할 수 있는 추상화 계층을 제공하는 것 등에 대한 것이다”라고 강조했다.

또한 “고객들이 투자를 결정할 때 중요하게 고려하는 점도 이런 것들이다. 코히어(Cohere)나 xAI 등의 고객들이 AMD의 기술을 도입하는 데 있어 중요하게 여긴 부분도 ‘큰 수고 없이 쉽게 넘어갈 수 있는’ 경험에 대한 기대가 중요했다. 고객들에 있어 핵심 경쟁력은 그들의 엔지니어링 역량이고, 우리는 그들이 핵심 역량에 집중할 수 있게 지원하고자 한다”고 말했다. 

이와 함께 “우리의 프레임워크 지원은 성공을 위한 핵심 요소다. 기존 엔비디아 기반 환경 사용자들에게 있어, 우리의 환경은 같은 프레임워크에서 가장 쉽게 넘어올 수 있는 환경이다. 이러한 부분에서 고객들이 쉽게 전환할 수 있게 하는 부분에 투자하고 있다. 지난 2년간 많은 고객들이 이러한 방향으로 이동했다. 이제 고객들은 쿠다 등 저수준 언어로 코드를 작성하면서 특정 플랫폼에 묶이는 것을 원하지 않는다”며 “AMD 기술로의 전환은 더 폭넓은 생태계에서의 유연성, 경쟁력있는 비용 등을 얻을 수 있는 기회가 될 것”이라 말했다.

새너제이=권용만 기자

yongman.kwon@chosunbiz.com