빈센트 칼데이라 아태 CTO “레드햇 AI 3, AI 인프라 효율 크게 높였다”

“평가 단계에서는 경제성 있다고 평가된 인공지능(AI) 프로젝트가 대규모 배포 단계에서는 경제성이 없어지는 경우도 있다. AI를 위한 그래픽처리장치(GPU)를 도입한 기업 중 단 7%만이 GPU 활용도 85% 이상을 달성했다. 레드햇은 이러한 기업의 AI 환경 효율 문제를 오픈 소스 기반으로 해결한다.”

빈센트 칼데이라(Vincent Caldeira) 레드햇 아시아태평양 지역 최고기술책임자(CTO)는 28일 서울 강남구 웨스틴 서울 파르나스에서 열린 레드햇 서밋 커넥트 2025(Red Hat Summit: Connect) 행사의 기자간담회에서 기업의 AI 효율화 방향성을 제시하며 이와 같이 밝혔다.

레드햇의 ‘레드햇 AI 3’은 엔터프라이즈 AI의 생애주기 전반에 걸쳐 필요한 다양한 요소들을 통합 제공한다. 특히 고효율 추론 환경을 위해 llm-d 분산 추론 기능과 vLLM 등이 통합된 점 등이 주목받는다. 또한 AI 시대를 위한 새로운 역량들이 기존 ‘오픈시프트’ 기반 운영 환경을 기반으로 하이브리드 클라우드 환경까지 확장될 수 있으며, 오픈소스 생태계를 기반으로 해 AI 시대 여정 전반에서 특정 기술에 대한 종속성 우려도 근본적으로 해결할 수 있다.

빈센트 칼데이라 레드햇 아태 지역 최고기술책임자는 이 자리에서 “전 세계가 AI 도입의 변곡점을 지나는 중”이라며 “이제 AI로의 움직임은 비즈니스뿐만 아니라 정부 차원에서도 전략적 당위성으로 자리잡고 있다. 생성형 AI 도입에서 투명성과 감사 가능성, 통제권에 대한 관심도 높아지고 있다”고 지적했다. 이어 “최근 조사결과에 따르면 소버린 AI에 대해 조직의 79%가 전략적 우선순위로 판단하고 있고, 조직의 93%는 AI에 있어 글로벌 협력이 필수라고 인식하고 있다”고 덧붙였다.

최근 관심이 높아지고 있는 ‘소버린 AI’를 위해 고려해야 될 점으로는 데이터 통제, 보안과 신뢰성, 하이브리드 클라우드 구성에서의 기술 종속성 측면, 인재 역량 등 지역 생태계 측면을 꼽았다. 빈센트 칼데이라 CTO는 이에 대해 “오픈소스 기반 플랫폼은 이러한 문제들을 해결할 수 있는 접근법을 제공한다”고 말했다.

현재 많은 조직들이 AI 도입의 ‘초기 단계’에 있고, 소규모로 사용하던 기술을 대규모로 확장 적용할 때에는 지금까지 겪지 못했던 다양한 문제에 직면한다. 이러한 다양한 리스크에 대응하는 기업들의 역량은 전반적으로 부족한 것으로 파악된다. 이어, 이러한 문제를 해결하는 데 있어서는 생애주기 전반에서의 투명성, 보안과 공급망 관리, AI 시스템에 대한 평가 기준이 필요하다.

레드햇은 이 또한 ‘오픈소스’ 기반으로 접근한다. 투명성 측면에서는 ‘모델 개방성 프레임워크(MOF: Model Openness Framework)’를 활용하고, 보안 및 공급망에서는 AI 모델을 표준화된 OCI(Open Container Initiative) 아티팩트로 패키징하고, AI 자재 명세서(AI BOM)와 암호화 서명을 통해 무결성을 보장한다. 평가와 위험 관리에서는 트러스티AI(TrustyAI) 같은 오픈 프레임워크를 통해 지속적인 모니터링과 편향 감지, 런타임 가드레일을 구현하고 있다.

AI의 활용을 확장하는 데 있어서 ‘효율성’도 중요한 과제로 꼽힌다. 빈센트 칼데이라 CTO는 “소규모 평가 단계에서는 경제성이 있다고 판단된 프로젝트가 사용자가 늘면서 비용이 폭발적으로 증가해 경제성이 사라지는 경우도 있다”며 “효율성 증대에 대한 관심이 높아지고 있다. 운영과 실행 비용을 줄이면서 비즈니스 타당성을 확보할 수 있어야 한다”고 지적했다. 이어 “현재 AI를 위한 GPU를 도입한 기업 중 단 7%만이 GPU 활용도 85% 이상을 달성하고 있다. 인프라가 효율적으로 사용되지 못하고 비용이 낭비되고 있다”고 덧붙였다.

이에 대한 대안으로는 vLLM과 llm-d 프로젝트를 제시했다. vLLM은 페이지드어텐션(PagedAttention)과 연속 배치 등을 통해 GPU 메모리 사용을 최적화하고 처리량을 최대 24배까지 향상시킨다. llm-d는 쿠버네티스 네이티브 분산 추론 프레임워크로 AI 인식 라우팅과 동적 오토스케일링을 구현해 GPU 활용도를 극대화한다. 이러한 기술과 GPU 가상화와 슬라이싱 기술 등이 결합돼, AI 워크로드에서 성능과 효율성을 극대화할 수 있다.

레드햇은 ‘레드햇 AI 3’를 통해 엔터프라이즈 AI 라이프사이클 전반에 걸쳐 다양한 요소들을 통합 제공한다. 레드햇 AI 3는 유연하고 효율적인 추론 환경을 위한 llm-d 분산 추론 기능과 vLLM의 개선 사항들을 포함하며, 모델과 데이터 연결 부분에서는 ‘도클링(Docling)’ 기반의 데이터 처리, 합성 데이터 생성, 훈련 허브, 평가 기능을 모듈화해 제공한다. AI 플랫폼 부문에서는 모델 카탈로그와 레지스트리, 서비스형 모델 제공자 개선, 서비스형 GPU(GPUaaS) 개선, 데이터 드리프트 감지 등이 추가됐다.

한편, 빈센트 칼데이라 CTO는 “AI 시대에 근본적으로 완전히 새로운 플랫폼을 도입하고 역량을 배우는 것은 아니다”라며 “새로운 AI 환경도 기존 오픈시프트 기반으로 모든 것이 이뤄질 수 있다. 고객들이 이미 쓰고 있던 시스템을 바탕으로 이를 AI로 확장, 재사용할 수 있게 된다”고 말했다. 이어 “레드햇은 오픈시프트 상에서 AI 워크로드도 쉽게 사용할 수 있게 제공하고자 한다”고 덧붙였다.

김경상 한국레드햇 사장은 이 자리에서 “지난 해 한국레드햇이 제시한 목표는 오픈소스 커뮤니티 활성화와 기업용 오픈소스 AI 제공으로 AI 대중화 기여였다”며 “커뮤니티 활성화에서는 vLLM, llm-d 등에서 주목할 만한 성과가 있었다. 리벨리온과 vLLM 관련 협력도 진행됐고, 지난 8월에는 vLLM 밋업 행사도 국내에서 진행됐다”고 말했다.

2026년 한국레드햇의 활동 방향성으로는 ‘AI 확산 기여’와 ‘효율 향상과 현대화를 통한 클라우드 최적화 지원’을 제시했다. 김경상 사장은 “많은 기업들이 AI 기술의 평가에서 실행 단계로 넘어가고 있다. 평가 단계에서는 퍼블릭 클라우드를 많이 썼지만 프로덕션 단계에서는 규제 준수 등에서 프라이빗 클라우드 환경에 구축하게 되면서 상황이 달라진다”며 “고객들이 겪는 대규모 추론 서비스 가능한 AI 플랫폼, 하이브리드 구성 지원에 대한 고민은 레드햇이 가장 잘 지원할 수 있다”고 강조했다.

고비용 AI 인프라의 최적화에 핵심은 GPU 비용 부담 줄이기를 꼽는다. 레드햇은 비용 효율적 모델 학습을 위해 GPU 가상화와 서비스형 GPU(GPUaaS)를 통한 유연한 자원 할당을, 추론을 위해서는 GPU 활용률 최적화와 분산 추론 환경 지원을 제시했다. 

김경상 사장은 효율 향상과 현대화를 위한 클라우드 최적화에 대해 “AI 서비스의 근간 기술은 클라우드 기술이고, AI에 맞는 준비가 필요하다”며 “현재 국내 기업들의 물리적 클라우드 도입 수준은 많이 높아졌으나 성숙도 측면에서는 아직 할 일이 남아 있다”고 밝혔다. 효율 향상 측면의 핵심 요소로는 IT 자원 관리, 운영 단순화와 자동화를 꼽으며, 핵심 제품으로는 레드햇 엔터프라이즈 리눅스 10(RHEL 10), 앤서블 자동화 플랫폼, 오픈시프트 환경을 제시했다.

환경의 ‘현대화’ 측면은 클라우드 기반 기술들이 잘 동작할 수 있는 제반 환경 구현을 통해 클라우드의 장점을 극대화하는 것으로 소개됐다. 이 부분에서 현대화의 대상으로는 가상 머신, IT 운영, 개발자 생산성이 꼽혔다. 이 중 가상머신의 현대화는 가상머신을 컨테이너처럼 다룰 수 있는 ‘오픈시프트 가상화’가, IT운영 현대화는 앤서블 플랫폼을 통한 자동화 운영의 고도화가 제시됐다. 개발자 생산성의 현대화에서는 개발부터 배포까지의 체계를 다듬어 개발자의 개발에서 배포까지 과정의 효율을 높인다는 점이 제시됐다.

권용만 기자

yongman.kwon@chosunbiz.com