카카오 자회사 ‘카카오브레인'이 구글 클라우드를 사용해 초거대 인공지능(AI) 언어 모델을 개발한 배경에 관심이 쏠린다. 카카오브레인이 구글 클라우드와 협력한 이유는 안타깝게도 ‘초거대 AI 모델을 개발할 수 있는 슈퍼 컴퓨팅 인프라가 국내에 없기 때문이다. 국내 기업들은 초거대 AI 개발을 위해 대부분 해외 기업들과 손을 잡는 형국이다.
구글 TPU는 구글 클라우드에서 사용할 수 있는 대용량 연산 인프라다. GPU(3D 그래픽 연산을 위한 전용 프로세서)를 여러 대 컴퓨터에 분할 설치해 사용하지 않고, GPU보다 빠르고 복잡한 연산을 갖춘 상위 시스템을 슈퍼컴퓨터 한 대에 구축해 활용한다.
카카오브레인은 해당 인프라를 활용해 초거대 AI 언어모델 ‘KoGPT’ 의 연구 효율을 100배 이상 높이겠다는 계획이다. KoGPT는 Open AI의 언어 모델 ‘GPT-3’를 고도화한 한국어 특화 버전이다. GPT-3는 인간의 언어를 이해할 수 있는 단계의 AI다. 긴 문장을 한 줄로 요약하거나, 질문을 하면 문맥을 이해해 답변하는 것이 가능하다.
카카오 관계자는 "국내에는 AI 빅모델을 개발할 수 있는 슈퍼 컴퓨팅 인프라가 아직 없다"며 "카카오브레인은 카카오 클라우드도 활용하고 있지만, 대규모 연산이 필요한 빅모델 연구에 한해서는 구글 클라우드 인프라를 사용한다"고 말했다.
초거대 AI를 개발 중인 LG AI 연구원도 구글 컴퓨팅 인프라를 활용하는 것으로 알려졌다.
네이버가 5월 공개한 초거대 AI 언어모델 ‘하이퍼 클로바'는 엔비디아와의 협력을 통해 만들어졌다. 카카오는 구글 클라우드 서버 이용 계약을 맺었지만, 네이버는 서버 자체를 구매한 셈이다.
네이버는 2020년 하반기 10월 국내 기업 최초로 700 페타플롭(PF) 성능의 엔비디아 슈퍼컴퓨터를 도입했다. 슈퍼컴퓨터를 기반으로 AI 모델을 학습시킨 결과, 오픈 AI의 GPT-3(1750억개)를 뛰어넘는 204B(2040억개) 파라미터(매개변수) 규모의 ‘하이퍼 클로바’가 탄생했다. AI 모델의 크기를 나타내는 파라미터의 수가 높아질수록, AI는 더욱 많은 문제를 해결할 수 있게 된다.
네이버 관계자는 "네이버 클라우드는 슈퍼컴퓨터를 생산하는 회사가 아니기 때문에 컴퓨팅 인프라는 다른 기업의 제품을 사용해야 한다"며 "엔비디아는 그래픽처리장치(GPU) 서버 성능이 세계 1위인 업체기에 선택했다"고 말했다.
이어 "타 기업은 클라우드를 임대하는 형태지만, 네이버는 많은 비용을 투자해 슈퍼 컴퓨터를 자체 보유하고 있는 상황이라 큰 차이가 있다"며 "데이터 보관과 학습에도 차별성이 있다"고 덧붙였다.
국내 주요 기업들이 초거대 AI 개발에 해외 제품을 사용하는 이유는 국내에 초거대 AI 모델 개발에 활용할 인프라 자체가 없기 때문이다.
우리나라 기업과 기관에서 등재한 슈퍼컴퓨터 대는 7대다. 세계 9위다. 기상청이 중복으로 보유한 2대의 기기를 제외하면 사실상 5대에 불과하다. 처음 도입 시 기계가 고장이 날 수도 있어 안정화 단계까지 2기를 이중으로 사용하기 때문에 다음 순위 발표에서는 2대가 빠질 확률이 높다.
국내 보유 슈퍼컴퓨터 7대 중에서 4대는 기상청의 슈퍼컴퓨터(마루, 구루, 누리, 미리)다. 민간에서 순위에 오른 것은 삼성종합기술원의 SSC-21과 SSC-21 스케일러블 모듈 단 2대 뿐인데, 미국 휴렛팩커드엔터프라이즈(HPE)의 제품이다. 기상청을 비롯한 국내 슈퍼컴퓨터는 HPE, 레노버와 같은 해외 기업 제품에 의존하고 있다.
이식 KISTI 국가슈퍼컴퓨팅본부 본부장은 "기술적 문제라기보다는 비용의 문제며, 민간 기업의 경우 보유한 슈퍼컴퓨터를 잘 등재하지 않기도 한다"며 "기존에는 대규모 AI 개발에 대한 필요성이 적다 보니 큰 돈을 기업들이 투입할 여지가 많지 않았지만 최근 들어 분위기가 바뀌고 있다"고 말했다.
한국과학기술정보연구원(KISTI)은 슈퍼컴퓨터 누리온 5호기를 운영 중인데, 2023년에는 초거대 AI 모델에 활용할 수 있는 6호기를 도입할 예정이다.
이 본부장은 "기존에는 슈퍼컴퓨터를 시뮬레이션 용도로만 사용하는 경우가 많았다"며 "투자할 여력이 없는 대학, 중소기업 등의 엔지니어의 대규모 AI 연구개발을 지원할 수 있도록 슈퍼컴퓨터 도입을 준비 중이며, 예산은 아직 협의 중이다"고 말했다.
류은주 기자 riswell@chosunbiz.com