탈(脫) 엔비디아, 오픈AI·브로드컴 [윤석빈의 Thinking]

2025년 현재, 인공지능(AI) 산업을 지배하는 단 하나의 이름은 엔비디아(NVIDIA)다. AI 모델을 훈련하고 운영하는 데 필수적인 그래픽처리장치(GPU) 시장의 90% 이상을 장악한 엔비디아의 기술력은 AI 혁명을 이끄는 심장과도 같다. 하지만 그 막강한 영향력의 이면에는 ‘엔비디아 세금(NVIDIA Tax)’이라는 어두운 그림자가 짙게 깔려있다.

천정부지로 치솟는 GPU 가격과 독점적 공급망은 오픈AI(OpenAI), 구글, 마이크로소프트와 같은 빅테크 기업들에게조차 감당하기 힘든 비용 부담으로 작용하고 있다. 이러한 상황 속에서, AI 시대를 연 장본인인 오픈AI가 정면 돌파를 선언했다. 글로벌 통신용 반도체 강자 브로드컴(Broadcom)과 손잡고 자체 AI 칩 개발에 나선 것이다.

이들의 목표는 명확하다. 엔비디아의 GPU를 대체하고, AI 인프라 운영 비용을 최대 30%까지 절감하는 것이다. 이는 단순한 비용 절감을 넘어, 엔비디아의 독주 체제에 균열을 내고 AI 산업의 헤게모니를 재편하려는 거대한 도전의 서막이다.

AI 모델의 성능은 파라미터(매개변수)의 수와 학습 데이터의 양에 비례한다. 더 정교하고 뛰어난 AI를 만들기 위해서는 필연적으로 더 많은 컴퓨팅 파워가 요구된다. 엔비디아는 자사의 병렬 컴퓨팅 플랫폼 쿠다(CUDA)를 기반으로 한 강력한 생태계를 구축, AI 연산에 최적화된 GPU를 독점적으로 공급하며 이러한 수요를 흡수해 왔다. 문제는 비용이다. 엔비디아의 최신 AI 가속기인 H100, B200 등은 개당 수천만 원을 호가하며, 이마저도 공급 부족으로 웃돈을 주고 구매해야 하는 실정이다.

오픈AI의 샘 알트만 CEO가 “AI 모델을 한 번 훈련하는 데 수천억 원이 소요된다”고 토로할 만큼, GPU 확보 및 운영 비용은 AI 기업의 존속을 위협하는 수준에 이르렀다. 이는 단순히 하드웨어 구매 비용에 그치지 않는다. 막대한 전력 소모와 그에 따른 데이터센터 냉각 비용까지 고려하면, AI 서비스를 운영하는 데 드는 총소유비용(TCO)은 기하급수적으로 증가한다.

이 ‘엔비디아 세금’은 AI 기술 발전의 가장 큰 족쇄가 되고 있다. 빅테크 기업들조차 감당하기 힘든 비용은 스타트업이나 연구 기관의 시장 진입을 가로막고, 결국 기술 혁신의 다양성을 저해하는 결과로 이어진다. AI 기술의 민주화와 대중화를 위해서는 엔비디아에 대한 과도한 의존도를 낮추는 것이 최우선 과제가 된 셈이다.

오픈AI는 이 문제의 근본적인 해결책이 ‘범용 GPU’가 아닌 ‘특정 목적용 반도체’, 즉 ASIC(Application-Specific Integrated Circuit)에 있다고 판단했다. 범용으로 설계된 엔비디아 GPU와 달리, 자사의 GPT와 같은 특정 AI 모델의 아키텍처와 연산 방식에 완벽하게 최적화된 맞춤형 칩을 만든다면 훨씬 높은 효율성과 전력 대비 성능을 구현할 수 있다는 계산이다. 이를 위한 파트너로 브로드컴을 선택한 것은 필연에 가깝다.

브로드컴은 이미 구글의 AI 칩 ‘TPU(Tensor Processing Unit)’와 메타, 마이크로소프트의 맞춤형 반도체 개발에 깊숙이 관여하며 ASIC 분야에서 세계 최고 수준의 기술력과 노하우를 입증한 기업이다. 오픈AI가 AI 모델 설계와 소프트웨어 최적화를 담당하고, 브로드컴이 이를 물리적인 칩으로 구현하는 협력 모델은 성공 가능성이 매우 높은 조합으로 평가받는다.

양사의 목표는 명확하다. 엔비디아 GPU 대비 최소 30%의 비용 절감이다. 이는 단순히 칩 구매 단가를 낮추는 것을 넘어, 전력 효율성 개선을 통한 데이터센터 운영 비용 절감까지 포함하는 포괄적인 개념이다. 특정 연산에 불필요한 기능을 제거하고, 데이터 처리 경로를 최적화한 ASIC 칩은 범용 GPU보다 월등한 전력 효율성을 보일 수 있다. 이는 AI 인프라 비용의 절반 이상을 차지하는 전기 요금과 냉각 비용을 획기적으로 줄여, 전체 TCO를 극적으로 낮추는 핵심 요인이 될 것이다.

오픈AI의 도전은 AI 산업 전반에 걸친 거대한 흐름의 일부다. 이미 구글, 아마존, 마이크로소프트등은 자체 AI 칩 개발에 막대한 투자를 하며 ‘탈(脫) 엔비디아’를 가속화하고 있다. 여기에 오픈AI까지 가세하면서, AI 하드웨어 시장은 소수의 공급자가 지배하던 시대에서 수요자가 직접 생산에 나서는 ‘맞춤형 실리콘’의 시대로 빠르게 전환하고 있다.

이러한 지각 변동 속에서 또 다른 거인, 오라클(Oracle)의 행보 역시 주목해야 할 핵심 변수다. 오라클은 자체 칩 개발 경쟁에 직접 뛰어들기보다, 엔비디아의 GPU를 대량으로 구매해 자사의 클라우드 인프라(OCI)를 AI 연산에 최적화된 거대 클러스터로 구축하는 정공법을 택했다. 특히 오픈AI, 마이크로소프트와의 파트너십을 통해 GPT 모델의 학습 및 추론에 필요한 막대한 컴퓨팅 파워를 제공하며, AWS, 구글 클라우드, 애저(Azure)가 지배하던 기존 클라우드 시장에 균열을 내고 있다. 이는 ‘탈 엔비디아’ 흐름과 동시에, 엔비디아 칩을 기반으로 한 새로운 AI 인프라 강자가 부상하는 복합적인 시장 재편이 일어나고 있음을 시사한다.

이러한 흐름은 엔비디아에게 분명한 위협이자 기회다. 최대 고객사들이 자체 칩으로 전환할 경우 매출 타격은 불가피하지만, 오라클과 같은 새로운 파트너의 등장은 오히려 엔비디아 생태계의 확장을 의미하기도 한다. 물론 엔비디아가 쉽게 무너지지는 않을 것이다. 쿠다(CUDA)라는 강력한 소프트웨어 생태계와 네트워킹 기술(인피니밴드) 등은 여전히 강력한 해자로 작용하며, 후발주자들이 넘어야 할 높은 진입장벽이다. 하지만 분명한 것은, 오픈AI와 브로드컴의 도전이 성공할 경우 AI 산업의 패러다임이 바뀔 것이라는 점이다. 특정 기업에 종속되지 않은, 개방적이고 다각화된 AI 인프라 환경이 조성될 수 있다. 이는 AI 서비스의 비용을 낮춰 더 많은 기업과 개인에게 AI 기술의 혜택이 돌아가게 하는 선순환 구조를 만들 것이다.

엔비디아의 아성에 도전하는 오픈AI의 담대한 여정은 이제 막 첫발을 떼었다. 그 결과가 ‘찻잔 속의 태풍’으로 그칠지, AI 산업의 지형을 근본적으로 바꾸는 ‘거대한 나비효과’가 될지는 아무도 단언할 수 없다. 하지만 분명한 것은 이들의 도전이 AI 기술의 미래를 결정할 중요한 변곡점이 될 것이라는 사실이다. AI 인프라의 새로운 시대를 향한 거인들의 싸움을 주목해야 하는 이유가 바로 여기에 있다.

※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.

윤석빈 트러스트 커넥터 대표는 서강대 AI·SW 대학원 특임교수로 투이컨설팅 자문과 한국 경영학회 디지털 경영 공동위원장, 법무 법인 DLG 고문으로 활동하고 있다. 한국 오라클과 한국 IBM 등 IT 업계 경력과 더불어 서강대 지능형 블록체인 연구센터 산학협력 교수로도 활동했다.