양원석 델 전무 “AI 서버도 수랭이 기본, 냉각·전력 대비해야” [인터뷰]

“향후 그래픽처리장치(GPU) 서버의 열설계전력(TDP)은 계속 올라갈 것이고, 수랭 방식이 기본이 될 것이다. 고객들의 환경에도 수랭과 전력 공급에 대한 변화가 필요하다.”

양원석 한국 델 테크놀로지스 전무는 지난해와 올해의 AI 서버 시장에서 나타나는 중요한 변화에 대해 ‘냉각 기술’을 꼽으며 이와 같이 밝혔다. 또한 향후 데이터센터 인프라 환경에서 컨테이너형 ‘이동식 모듈형 데이터센터(PMDC)’에 대한 수요가 높아질 것으로도 전망했다.

올해 AI 인프라 환경은 기업들이 AI의 도입 검토 단계를 넘어 활용과 가치 창출의 단계에 진입하면서 변화가 나타나는 모습이다. 여전히 GPU 서버에 대한 수요는 높지만 목적이 ‘훈련’에서 ‘추론’으로 바뀌는 모습도 보이고 있다. 고성능 GPU서버를 운영할 수 있는 데이터센터 환경 확보 또한 과제다. 델은 이러한 상황에서 폭넓은 기술과 제품군을 통해 다양한 고객들의 요구에 충분한 선택권을 제시한다는 목표를 제시했다. 

양원석 전무는 “지난 1년간 IT 인프라 시장 변화의 핵심은 ‘AI’였다”며 “지난 해와 비교하면 올해는 엔터프라이즈와 에이전틱 AI들에 대해 기업들이 검증을 넘어 활용하는 사례가 늘고 있다”고 말했다. 또한 “기업들은 AI를 더욱 다양한 작업에 활용하고자 시도하고 있다. 델 내부에서도 업무에 AI 활용이 늘었다. 국내에서도 일부 고객사들은 기존의 ‘모델 훈련’ 중심을 넘어서 미세조정과 추론에 더 많은 투자를 고려하고, 훈련의 비중을 줄이는 모습도 보인다. 상황의 변화는 지금까지의 예상보다도 더 빨리 올 수도 있겠다”고 밝혔다.

지난 6월 한국IDC가 발표한 국내 서버 시장 조사 결과에 따르면 2024년 국내 서버 시장은 전년 대비 72.7% 성장했다. 이러한 성장의 핵심으로는 세 자리수의 성장을 기록한 ‘GPU서버’를 꼽는다. 하지만 GPU서버가 아닌 일반 범용 서버 시장도 전년 대비 29.6% 성장한 것으로 조사됐는데 업계에서는 이에 대해 기업들이 교체 주기에 도래한 서버를 더 미루지 않고 교체하는 수요가 견조했기 때문으로 해석한다.

양원석 전무는 “지난해 시장 전반적으로는 GPU서버가 시장을 견인한 모습이다. 기업들이 어려운 상황 속에서도 AI에 대한 투자는 우선적으로 집행했고, 범용 인프라에는 우선순위를 다소 조정하는 모습도 있었다. 이런 모습은 최근 들어 나아지고 있다. 지난해 하반기부터 일반 서버에 대한 투자도 늘어나는 모습인데, 이는 꼭 해야 할 필수 투자들이 집행된 것으로 보인다”고 말했다. 이어 “올해는 국가 단위의 AI 인프라 사업이 화두고 GPU 수요가 높을 것으로 본다. 또한 일반 서버도 공공 시장에서부터 투자가 살아나는 모습을 기대한다”고 덧붙였다.

대규모 AI를 위한 GPU서버 시장이 성장하면서 서버를 운영하는 데이터센터에 대한 요구사항 또한 크게 바뀌고 있다. 현재 최신 GPU서버의 운영에 있어 가장 까다로운 문제로는 ‘냉각’과 ‘전력 공급’ 측면이 꼽힌다. 이미 최신 고성능, 고밀도 서버 제품들은 기존의 공랭식 설계 대신 수랭식 설계를 사용하고 있는데, 이러한 최신 서버를 수용할 수 있는 데이터센터 시설이 부족한 상황이다. 

양원석 전무는 “향후 GPU서버의 TDP는 지속적으로 올라갈 것으로 예상된다. 이런 상태에서 전통적인 공랭 설계를 지속하는 것은 어려울 수 있다”고 예상했다. 또한 “글로벌 클라우드 사업자나 빅테크 기업 등 대규모 GPU 인프라를 갖추는 경우에는 GB200/300 등 슈퍼칩 기반 시스템을 우선적으로 도입하는 모습인데 이 시스템들은 수랭 환경이 기본이다. 앞으로는 수랭이 필수에 가까워질 것이고, 대형 고객 위주로는 더욱 그럴 것이다”라고 밝혔다.

델 또한 최신 고밀도 환경을 위한 수랭 기반 설계와 전통적인 환경을 위한 공랭 기반 설계 제품을 모두 갖추고 있다. 기존 공랭식 서버를 전제로 설계한 데이터센터 환경을 수랭식 환경에 맞게 전환해야 하는데, 델은 이를 위해 폭넓은 파트너 생태계를 바탕으로 전문 파트너들과 협력해 솔루션을 제공하고 있다.

공랭식 환경에서 수랭식 환경으로 전환하는 중간 과정에서는 델이 직접 제공하는 솔루션도 있다. 지난 5월 ‘DTW(Dell Technologies World) 2025’ 행사서 선보인 ‘파워쿨 밀폐형 후면 도어 열교환기(eRDHx: PowerCool Enclosed Rear Door Heat Exchanger)’가 대표적이다. ‘파워쿨 eRDHX’는 랙 수준에서 발생한 IT 열을 100% 포집하여 열을 발산함으로써 에너지를 많이 소모하는 냉각기에 대한 의존도를 낮춘다.

양원석 전무는 “파워쿨 eRDHx는 델의 특허 기술을 사용한 공랭과 수랭 사이의 하이브리드형 솔루션이다. 이 제품의 경우는 데이터센터 내에 설치하고 서버를 설치하면, 공랭 시설에서 냉방 공간 격리 정도의 변화로도 냉각 효율을 높일 수 있다”고 소개했다. 이어 “델은 고객이 처한 상황에 대해 함께 논의하며, 시설 부분에서의 문제를 완화할 수 있는 대안도 계속 제시할 것이다”라고 덧붙였다.

AI 시대로의 변화가 빠르게 진행되면서 GPU서버 대란 다음은 ‘데이터센터 대란’이 펼쳐지는 모습이다. 최신 GPU서버를 위한 수랭식 냉각설비와 높은 전력공급량 요건을 맞출 수 있는 데이터센터 공간을 충분히 확보하는 데는 비용 뿐만 아니라 시간도 부족한 상황이다. 이러한 시설 마련의 ‘시간’ 문제를 해결하기 위한 방법으로 다시금 ‘PMDC’ 모델이 주목받고 있다. 이 모델은 규격화된 모듈형 설계를 활용해 필요한 구성을 빠르게 구축할 수 있고, 설치 조건에 제약이 적다는 점 등이 장점으로 꼽힌다.

양원석 전무는 “델은 PMDC 분야에서 장기간의 솔루션 공급, 구축 경험을 갖고 있다. 이미 마이크로소프트의 빙(Bing) 데이터센터와 이베이를 비롯해 국내 사례 등  다양한 구축 사례가 있다. 최근 AI 인프라 수요가 늘면서 다시 관심이 높아지고 있고, 문의도 꽤 있다”고 언급했다. 이어 “PMDC는 클라우드 사업자들의 해외 시설 검토나 데이터센터 공간을 구하기 어려운 상황에서 서비스 출시에 맞춰 빠른 설치가 필요할 때 효과적이다. PMDC는 빠르면 3~5개월 정도만에 실제 서비스 운영이 가능한 수준으로 구축할 수 있다”고 설명했다.

소규모로 구축 가능한 모듈형 데이터센터는 상용 데이터센터 대비 전력 확보에 대한 부담도 덜한 편이다. 10메가와트(MW) 이상 시설의 경우 전력계통영향평가를 받아야 하지만 PMDC의 경우 이보다 작은 규모로 분산 배치하면 평가 대상이 아니기 때문이다. 부지 확보 문제 또한 좀 더 유연한 대처가 가능하다. 양원석 전무는 “PMDC는 고객의 요구도 있고 효과를 창출할 부분도 있는 것으로 판단하고 있어, 좀 더 적극적으로 비즈니스를 펼쳐 가고자 한다”고 밝혔다.

데이터센터 내부에서의 기술 구성에서도 향후 변화의 조짐이 기대된다. AI를 위한 고성능 GPU 클러스터 구축 이후, GPU 활용을 극대화하기 위한 네트워크와 스토리지에 대한 변화도 나타나고 있는 상황이다. 양원석 전무는 이에 대해 “네트워크에서는 지금까지 GPU서버 기반 환경에서 ‘인피니밴드(Infiniband)’가 주류였지만, 지금은 이더넷 기술도 대안으로 나오고 있다. 이미 성능적인 면에서도 충분히 올라왔고, 대규모 환경에서 검증되고 있다. 엔비디아도 최신 DGX B300 레퍼런스 아키텍처에서 이더넷 기반을 먼저 선보였을 정도다”라고 말했다. 

현재까지 데이터센터의 GPU서버 인프라의 주류는 엔비디아였지만 향후 다변화의 움직임도 기대된다. AMD는 최근 ‘MI350 시리즈’ 등 최신 GPU 제품을 발표하면서 GPU 자체의 경쟁력에서도 엔비디아에 근접했고, 대형 클라우드 사업자들을 레퍼런스 고객으로 확보한 모습이다. 인텔의 경우는 훈련 시장에서 플래그십 모델과의 경쟁보다는 추론 시장에서 미드레인지 급 제품과의 경쟁으로 자리를 찾고자 하는 움직임이 보인다. 

양원석 전무는 “아직은 의미있는 수준의 변화가 보이지 않는 상태다. 하지만 갑자기 크게 변하지 않더라도 이전과는 다를 것이다”라고 예상하며 “델은 고객의 요구에 맞는 모든 제품들을 갖추고 제안한다”고 밝혔다. 델은 엔비디아의 기술을 기반으로 한 ‘엔비디아 기반 델 AI 팩토리’ 뿐만 아니라, AMD 기술을 기반으로 한 ‘AMD 기반 델 AI 플랫폼’, 인텔 기술을 기반으로 한 ‘인텔 기반 델 AI 플랫폼’까지 기술 구성을 확장한 바 있다.

한편, 국내에서는 엔비디아의 최신 GPU서버 인프라 유형 중에서도 전통적인 ‘DGX/HGX’가 주류고, 글로벌 빅테크 기업이나 클라우드 사업자들이 도입하고 있는 GB200/300 등 ‘슈퍼칩’ 기반은 아직 제대로 도입된 사례가 알려지지 않은 상황이다. 양원석 전무는 이에 대해 “슈퍼칩 기반 서버는 같은 상면에서 많은 GPU가 고속 인터커넥트로 연결돼 훨씬 효율적으로 동작한다”며 “운영 환경이나 아키텍처의 차이, 비용 등으로 도입이 쉽지 않지만 비용을 떠나 효율은 높다. 대규모 클라우드 사업자 등을 위주로 사용이 늘어날 것으로 기대한다”고 말했다.

권용만 기자

yongman.kwon@chosunbiz.com