엔비디아·오라클, 기업 에이전트 AI 추론 가속화 위해 협력

엔비디아는 오라클과 전 세계 기업들이 에이전트 AI 애플리케이션을 더욱 신속하게 개발할 수 있도록 협력한다고 20일 발표했다. 이번 협력을 통해 엔비디아의 가속 컴퓨팅과 추론 소프트웨어가 오라클의 AI 인프라와 생성형 AI 서비스에 통합될 계획이다.

양 사의 협력을 통해 오라클 클라우드 인프라스트럭처(OCI)와 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼 간 통합으로 160개 이상의 AI 도구와 100개 이상의 엔비디아 NIM 마이크로서비스를 OCI 콘솔에서 직접 활용할 수 있게 될 예정이다. 또한 엔비디아 ‘AI 블루프린트’의 노코드 배포 지원이나 엔비디아 cuVS 라이브러리를 활용해 ‘오라클 데이터베이스 23ai’에서 AI 벡터 검색을 가속화하기 위해 협업하고 있다.

이번 협력 발표를 통해 엔비디아 AI 엔터프라이즈는 추론 모델 배포 시간을 단축하기 위해 OCI 콘솔에서 직접 제공된다. 이를 통해 고객들은 최신 엔비디아 라마 네모트론(Llama Nemotron) 모델을 포함해 엔비디아 NIM을 빠르고 손쉽게 활용할 수 있다. 

OCI 베어메탈 인스턴스와 OCI 쿠버네티스 엔진을 사용하는 쿠버네티스 클러스터에서 엔비디아 AI 엔터프라이즈를 배포 이미지로 사용할 수 있으며 OCI 콘솔 고객은 오라클을 통해 직접 결제하고 고객 지원을 받을 수 있다.

기업들은 OCI의 AI와 클라우드 서비스를 엔비디아 가속 컴퓨팅과 엔비디아 AI 엔터프라이즈와 결합해 데이터센터, 퍼블릭 클라우드, 엣지 환경에서 AI를 배포할 수 있다. 이 솔루션은 데이터 프라이버시, 소버린 AI, 저지연성 요건을 충족하는 통합 AI 스택을 제공한다.

OCI AI 블루프린트는 AI 워크로드를 신속하게 실행할 수 있도록 지원하는 노코드 배포 레시피를 제공한다. 이 블루프린트는 엔비디아 GPU, NIM 마이크로서비스, 사전 구성된 가시성 도구에 대한 명확한 하드웨어 권장 사항을 제공해 기업이 AI 프로젝트를 몇 주에서 몇 분으로 단축할 수 있도록 돕는다.

엔비디아 블루프린트는 엔비디아 스택 전반에 걸친 통합된 개발자 경험을 제공하며 엔터프라이즈 AI 활용 사례를 위한 참조 워크플로우를 지원한다. 기업은 이를 통해 엔비디아 ‘AI 엔터프라이즈’와 ‘옴니버스’ 소프트웨어, API, 마이크로서비스를 사용해 맞춤형 AI 애플리케이션을 구축하고 운영할 수 있다. 물리적 AI와 시뮬레이션 애플리케이션의 개발, 배포, 확장을 간소화하기 위해 엔비디아 옴니버스 플랫폼은 올해 말 OCI 마켓플레이스에서 제공될 예정이며 엔비디아 L40S GPU로 가속된 컴퓨팅 베어메탈 인스턴스가 사전 구성된다.

데이터 과학자는 OCI 데이터 사이언스에서 사전 최적화된 엔비디아 NIM 마이크로서비스를 직접 활용할 수 있다. 이를 통해 기업은 복잡한 인프라 관리 없이 실시간 AI 추론을 구현할 수 있다. 데이터 보안과 규정 준수를 위해 모델은 고객의 OCI 테넌시(Tenancy) 내에서 실행된다. 고객은 유연한 종량제 기반의 시간 요금제를 통해 모델을 구매하거나 오라클 유니버설 크레딧을 적용할 수 있다.

양 사는 오라클 데이터베이스 23ai에서 AI 벡터 검색 워크로드의 벡터 임베딩과 벡터 인덱스 생성 속도를 가속화하기 위해 엔비디아 GPU와 엔비디아 cuVS를 활용하기 위해 협력하고 있다. 오라클 데이터베이스 고객들은 엔비디아 GPU로 가속화된 AI 벡터 검색을 활용해 AI 파이프라인 성능을 대폭 향상시켜 대규모 AI 벡터 워크로드를 지원할 수 있다.

한편, 양 사는 다양한 클라우드 환경에서 AI 인프라를 지속적으로 발전시키기 위해 협력하고 있다. OCI는 엔비디아 GB200 NVL72 시스템을 OCI 슈퍼클러스터에서 제공할 예정이다.  최대 13만1072개의 엔비디아 GPU를 지원하는 이 시스템은 곧 일반에 제공될 예정이다. 아울러 엔비디아 블랙웰 울트라 GPU를 탑재한 클라우드 기반 최대 규모의 AI 슈퍼컴퓨터에 대한 주문을 접수 중이다. OCI는 엔비디아 블랙웰 가속 컴퓨팅 플랫폼의 차세대 버전을 제공하는 최초의 클라우드 서비스 제공업체 중 하나가 될 것이다. 

새프라 캐츠(Safra Catz) 오라클 CEO는 “오라클은 AI 훈련과 추론을 위한 최적의 플랫폼으로 자리 잡았으며, 이번 협력으로 고객은 더욱 혁신적인 비즈니스 성과를 창출할 수 있게 됐다. 엔비디아의 기술과 OCI의 뛰어난 유연성, 확장성, 성능, 보안성의 결합은 AI 도입을 가속화하고, 데이터 활용 가치를 극대화할 것”이라고 말했다.

젠슨 황 엔비디아의 창립자 겸 CEO는 “엔비디아와 오라클은 추론의 시대를 함께하는 최고의 파트너다. AI와 가속 컴퓨팅을 선도하는 엔비디아와 전 세계의 많은 기업 데이터를 처리하고 있는 오라클이 만나, 에이전트 AI 혁신을 통해 기업이 고객과 파트너를 위한 놀라운 서비스를 제공할 수 있도록 지원하고 있다”고 말했다.

권용만 기자

yongman.kwon@chosunbiz.com