[AI 소개서] ①‘AI 업스케일링’ 화질 개선 손품으로 2주, AI는 단 3시간

기업들이 인공지능(AI) 기술을 활용한 서비스를 쏟아내고 있다. 그런 만큼 AI는 이미 우리 삶 속 깊게 침투해 있다. 일상에서 손쉽게 접할 수 있는 AI 서비스는 어떤 것이 있는지, 이의 활용법을 살펴봤다. [편집자주]

4K 디스플레이가 상용화됐지만 유튜브나 OTT(Over The Top)가 제공하는 다수의 콘텐츠는 화질이 그에 미치지 못하는 경우가 있다. 이런 경우처럼 낮은 화소의 영상을 보다 큰 디스플레이에 맞춰 개선할 수 있어 주목받는 기술이 있다. 바로 업스케일링(upscaling)이다.

업스케일링은 이미지나 영상 안에 부족한 픽셀을 채워 넣어 화질을 개선한다. 이 기술은 AI와 비(非)AI 업스케일링으로 나눌 수 있다. AI가 접목되기 전 활용됐던 비AI 업스케일링은 보다 전통적인 방식으로 오랜 노동을 필요로 하는 고인력, 저효율 작업이었다. 프레임 하나하나, 픽셀 하나하나를 사람의 눈으로 살피며 미세 조정해야 하는 디테일이 필요했기 때문이다.

AI로 달라진 업스케일링 시장

비주얼 테크 솔루션 기업 포바이포(4by4)는 이에 대해 "AI가 도입되기 이전엔 단순한 ‘오픈소스 필터’를 활용해 픽셀 사이를 채워 넣었다. 작업자들이 30장의 정지 이미지를 각각의 필터로 한 장 한 장 작업해 작업 시간과 노동 강도가 길고 강할 수 밖에 없었다"고 말했다.

이와 같이 과거의 업스케일링 작업은 사람의 주관으로 판단되는 이미지 개선도를 최대한 많은 사람들이 만족할만한 수준으로 이끄는 작업이었다는 설명이다. 사람의 주관, 즉 사람의 눈에 의존했기 때문에 그만큼 작업 시간도 길어질 수 밖에 없었다.

하지만 AI의 도입과 함께 업스케일링 작업의 효율은 기하급수적으로 증가했다. AI 업스케일링 솔루션을 제공하는 포바이포는 "사람이 작업하면 편당 2주 이상 걸리는 작업에 3시간이 채 걸리지 않았다"며 AI 기술이 도입된 후의 변화를 설명했다. 포바이포는 현재 영상 서비스 업체를 통해 소비자에게 다가가는 ‘B2B2C’ 형태의 접근법을 취하고 있다.

일반 소비자들이 사용할 수 AI 업스케일링 기술로 마이크로소프트의 VSR, 엔비디아의 RTX VSR 등도 있다.

마이크로소프트(MS)의 엣지 브라우저 VSR

마이크로소프트(MS)는 최근 엣지 브라우저의 VSR(Video Super Resolution) 기능을 소개했다. VSR은 머신러닝(ML)을 통해 (엣지) 브라우저에서 시청하는 모든 비디오 품질을 향상시키는 기술이다.

마이크로소프트의 VSR 기술은 흐릿한 압축 흔적(artifact)을 지우고 브라우저에서 재생되는 영상의 해상도를 업스케일링한다. 사용자는 VSR을 통해 네트워크 대역폭을 희생하지 않고도 유튜브 등 비디오 스트리밍 플랫폼에서 개선된 영상 콘텐츠를 이용할 수 있다.

엣지 브라우저 VSR을 사용하기 위해선 엔비디아 RTX 20·30·40 시리즈 그래픽카드나 AMD RX 5700부터 7800시리즈까지의 그래픽카드가 필요하다. 브라우저에 재생되는 영상이 720p 미만의 해상도로 재생되어야 하고 사용하는 기기가 AC 전원에 연결돼 있어야 VSR 기능을 이용할 수 있다.

엣지 브라우저 VSR은 최신 기술을 시험하는 카나리아 채널에서 사용할 수 있으며 기능이 활성화되면 사용자의 주소 표시줄에 HD 아이콘이 표시된다. 해당 아이콘을 클릭하면 해당 기능을 활성화·비활성화할 수 있다. 사용자는 VSR을 수동으로 활성화시킬 수도 있다.

마이크로소프트 관계자는 VSR 기능 상용화에 대해 "마이크로소프트는 더 많은 사용자에게 더 나은 경험을 제공하기 위해 ML(머신러닝) 모델과 하드웨어 적용 범위를 개선하고 있다. 상용화 시점은 추후 공개 가능한 시점이 오면 공개 가능 여부에 따라 관련 내용을 공유할 수 있을 것이라 예상한다"고 밝혔다.

엔비디아의 RTX VSR

엔비디아는 최근 531.18 버전 드라이버 업데이트의 일환으로 RTX VSR(Video Super Resolution) 기능을 선보였다. RTX 30·40 시리즈 그래픽카드가 탑재된 컴퓨터에서 사용할 수 있는 RTX VSR은 사용자가 웹브라우저에서 시청하는 영상을 AI 기술로 업스케일링한다. RTX VSR은 크로미움 프레임워크에서 작동하기 때문에 이를 기반으로 한 구글 크롬, 마이크로소프트 엣지 등의 웹브라우저에서 활용할 수 있다.

RTX VSR에선 기존의 업스케일링 방식인 쌍입방(bi-cubic) 업스케일링과 AI를 통한 업스케일링이 함께 진행된다. 기존 업스케일 이미지가 남기는 압축 아티팩트를 AI가 생성한 이미지를 통해 개선하는 방식이다. 김선욱 엔비디아 테크니컬 마케팅 매니저는 "인공지능(AI)의 결과물은 사람이 알고리즘을 기반으로 만드는 프로그램보다 우수하다"며 AI 기반 업스케일링이 다른 업스케일링과 비교했을 때 갖는 장점에 대해 설명했다.

RTX VSR을 사용하기 위해선 먼저 엔비디아 제어판을 실행한 뒤 ‘비디오 이미지 설정 조정’ 창을 열어야 한다. ‘RTX 비디오 향상’ 아래에 위치한 초고해상도 확인란을 선택하면 가장 낮은 수준부터 가장 높은 수준의 업스케일링 품질을 선택할 수 있다. RTX VSR은 최신 지포스 게임 레디 드라이버나 최신 엔비디아 스튜디오 드라이버가 설치된 상태에서 사용할 수 있다.

‘무료’ VSR 서비스 vs ‘유료’ 업스케일링 소프트웨어

마이크로소프트, 엔비디아 외에도 AI 업스케일링 서비스를 제공하는 업체는 다양하다. 위에 소개한 VSR 서비스들은 해당 기능을 활성화하면 웹 브라우저에 나타나는 영상이나 이미지를 업스케일해주는 방식이다. 이러한 방식은 사용자가 쉽고 빠르게 업스케일링 기능에 접근할 수 있다는 장점이 있지만, 사용자가 직접 후처리에 크게 관여할 수 없다는 단점도 존재한다.

토파즈랩스(Topazlabs) 등 여러 회사가 유료로 제공하는 업스케일링 소프트웨어를 구매하면 사용자들은 업스케일링 과정에서 더 많은 처리 옵션을 이용할 수 있다. 영상이 ‘개선’되는 정도는 결국 사용자의 주관에 의해 결정되기 때문에, 영상 처리 과정에서 사용자가 더 많은 옵션을 갖는 것은 업스케일링에 있어 중요한 요소다. 다만 이러한 유료 업스케일링 소프트웨어와 VSR 서비스를 비교했을 때 시간과 비용의 차이가 존재하기 때문에 소비자들은 득과 실을 따져 어떤 업스케일링 서비스를 사용할지 고민해봐야 할 것이다.

이상훈 기자 leesh@chosunbiz.com