구글 클라우드가 맞춤형 머신러닝 하드웨어 가속기 ‘클라우드 TPU(Tensor Processing Unit)’의 4세대 버전, TPU v4 포드(Pod) 기반의 머신러닝 클러스터를 31일 발표했다.
구글 I/O 2022에서 프리뷰 버전으로 선보인 머신러닝 클러스터는 세계 최고 수준의 속도를 지닌 머신러닝 인프라 허브다.
클라우드 TPU v4 포드로 구동되는 구글 클라우드의 머신러닝 클러스터를 이용해 대규모 자연어처리(NLP), 추천 시스템, 컴퓨터 비전 모델용 워크로드를 클라우드 TPU v4에서 훈련할 수 있게 됐다. 대규모 모델의 고속 훈련도 가능하다. 각각의 클라우드 TPU v4 포드는 4096개의 칩이 상호연결된 초고속 네트워크로 구성돼 있다. 호스트 당 6Tbps(초당 테라비트) 대역폭을 지원해 업계 최고 속도를 제공한다.
피크 플롭스(peak FLOPS)를 시스템 성능의 비교 기준으로 삼는 경우가 많은데, 클라우드 TPU v4 칩은 클라우드 TPU v3 대비 2.2배나 향상된 피크 플롭스를 지원한다. 달러 당 피크 플롭스도 1.4배 높아졌다.
실제 모델 훈련 시 할당된 전체 칩에서 연산이 지속되는지 여부가 모델 훈련의 효율성을 좌우한다는 것이 회사 측의 설명이다.
이 외에도 구글 클라우드 머신러닝 클러스터가 위치한 구글의 오클라호마 데이터센터는 동일한 전력망 안에서 시간 당 90%의 무탄소(CFE) 에너지로 운영된다. 구글은 지속가능성을 위한 노력의 일환으로 2017년부터 데이터센터 및 클라우드 리전의 연간 에너지 소비량과 재생 에너지 구매량을 100% 동일하게 맞추고 있으며, 2030년까지 전체 비즈니스의 무탄소 에너지 운영을 목표로 한다.
구글 클라우드는 구글 I/O 2021에서 클라우드 TPU v4를 처음 발표하고 LG AI연구원, 카카오브레인, 메타AI, 세일즈포스리서치, 코히어 등 국내외 유수의 AI 연구팀에 클라우드 TPU v4 포드의 얼리 액세스 버전을 제공했다.
LG AI연구원은 구글 클라우드의 전략적 연구 파트너로서 구글의 최신 머신러닝 슈퍼컴퓨터인 TPU v4가 상용화되기 전 테스트에 참여해 3000억개 매개변수 규모의 초거대 AI인 ‘LG EXAONE(엑사원)’을 학습시켰다.
카카오브레인 또한 클라우드 TPU v4의 대규모 데이터 학습 테스트에 참여해 초거대 AI 언어 모델 ‘KoGPT’의 연구개발 역량을 강화했다. 카카오브레인은 기존의 GPU 서버 환경에 클라우드 TPU를 추가로 도입해 대규모 모델 학습 시 발생하는 네트워크 병목 현상을 해결하고 60억개의 파라미터와 2000억개 토큰에 달하는 한국어 데이터를 처리했다.
배경훈 LG AI연구원 원장은 "멀티모달 기능을 갖춘 LG EXAONE은 TPU v4를 활용해서 6000억 개 이상의 말뭉치와 2억5000만 개 이상의 이미지로 구성된 방대한 데이터를 학습하고 있으며 커뮤니케이션, 생산성, 창의성 등의 측면에서 인간 전문가를 뛰어넘는 것을 목표로 한다"며 "TPU v4의 성능은 동급 최고의 컴퓨팅 아키텍처를 능가할 뿐만 아니라 고객 지원 능력 역시 기대 이상이었다"고 말했다.
장화진 구글 클라우드 코리아 사장은 "구글 클라우드는 구글 검색, 유튜브와 같은 구글 제품에 실제로 사용되는 업계 최고 수준의 AI 성능을 구글 클라우드 고객에게 클라우드 TPU를 통해 제공하고 있다"며 "클라우드 TPU v4의 강력한 성능과 기술력을 바탕으로 국내 기업 및 연구 기관이 차세대 AI 및 머신러닝 혁신을 가속화할 수 있도록 적극 지원하겠다"고 말했다.
류은주 기자 riswell@chosunbiz.com