유니티 인더스트리서밋 2019’ 이상화 스마트스터디 TA 강연
콘텐츠 연구개발팀, 초기에는 업계 경력 1년차 미만 팀원 모여 영상 제작
목표 제작 시간을 정하고 영상의 질적 수준을 끌어올리는 방식 사용
기획자가 프리셋을 바탕으로 영상 직접 만드는 구조 확립, 생산성 향상
‘리타게팅’ 등 고민 끝에 3D 영상 콘텐츠도 빠른 시간에 제작할 수 있어

"핑크퐁 영상 콘텐츠를 하나 만드는 데 이틀밖에 안 걸린다"

이상화 스마트스터디 테크니컬 아티스트(TA)는 22일, 서울 삼성동에 위치한 코엑스에서 개최된 ‘유니티 인더스트리 서밋 2019(Unity Industry Summit 2019)’에서 이같이 말했다.

이상화 TA가 ‘유니티 인더스트리 서밋 2019’에서 강연했다. / 오시영 기자
이상화 TA가 ‘유니티 인더스트리 서밋 2019’에서 강연했다. / 오시영 기자
이상화 TA에 따르면 영상 창작자는 일반적으로 영상의 질적 수준을 목표로 잡고 계획을 세운다. 이를테면 ‘이만한 콘텐츠를 얼마나 빨리 만들 수 있을까’라는 식이다.

업계 경력 1년 차도 안되는 팀원이 모여 소규모로 시작한 콘텐츠 연구개발팀은 달랐다. 이들은 시장 트렌드부터 파악했다. 당시에는 틱톡, 인스타그램 등을 중심으로 30초쯤 되는 숏 폼 콘텐츠가 인기를 끌었다. 특정 행사 방문 브이로그 등 시의성을 타는 콘텐츠도 인기였다.

하지만, 유튜브나 틱톡에서 활동하는 개인 창작자는 이런 콘텐츠를 거의 실시간에 가까운 속도로 쏟아낸다. 이 탓에 팀은 비용과 시간에 대한 목표를 우선 정하고, 이후 질적 수준을 올리는 방식을 채택했다.

사업 초기에는 3D 영상을 다룰 줄 아는 사람이 없었기에 2D 영상 제작을 우선 시작했다. 2D 영상은 일반적으로 3D 영상에 비해 영상 소스를 재사용하는 것이 어렵다. 콘텐츠 연구개발팀은 이를 개선하기 위해 고민했다.

그 결과 도입한 것이 게임에서 많이 활용하는 ‘라이브 2D 큐비즘’ 방식이다. 이를 활용하면 프로그램 내 수치를 조정하는 것만으로 실시간으로 애니메이션을 움직이도록 만들 수 있다. 팀은 이에 더해 목소리를 인식해 입 모양을 움직이는 기술과 다채로운 표정 프리셋을 적용했다.

이상화 TA는 "라이브 2D 기술을 활용하면 애니메이션을 일일이 그리지 않아도 되기 때문에 핑크퐁 2D 애니메이션 제작에 적합한 도구라고 생각했다"고 밝혔다.

스마트스터디 콘텐츠 연구개발팀은 최근 라이브 2D 방식과 함께 유니티 엔진을 활용한다. / 오시영 기자
스마트스터디 콘텐츠 연구개발팀은 최근 라이브 2D 방식과 함께 유니티 엔진을 활용한다. / 오시영 기자
이 방식으로 영상을 10분에 하나 정도 만들 수 있었으나, 구현할 수 있는 움직임이 한정적이고, 개발자가 없으면 기술을 유지·보수하거나 새 기능을 추가·확장하는 것이 매우 어려웠다. 결정적으로 이 정도 수준의 영상에 대한 수요가 적었다.

이 탓에 스마트스터디 콘텐츠 연구개발팀은 유니티 엔진을 활용해 애니메이션을 만들기 시작했다. 캐릭터 구현은 물론, 배경, 카메라 움직임, 후처리 등을 전부 유니티에서 작업한다.

자주 쓰는 배경을 유니티 엔진 내에 ‘세트장’처럼 구현했고, ‘시네머신’ 기술을 도입해 타임라인에서 영상 두 개를 겹치는 등 동작을 하면 미리 정한 대로 카메라가 움직이게 만들었다.

유니티 내에 자주쓰는 배경을 ‘세트장’처럼 만들어 활용하는 모습. / 오시영 기자
유니티 내에 자주쓰는 배경을 ‘세트장’처럼 만들어 활용하는 모습. / 오시영 기자
디자이너는 영상에 활용할 리소스, 모션을 제작한다. 개발자는 디자이너가 만든 리소스를 기술적으로 적용하고, 프로그램의 기능 유지·확장하는데 힘쓴다. 팀은 이 모든 과정을 분산형 버전 관리 시스템인 ‘깃(git)’으로 관리한다.

이 덕에 영상 기획자는 git에 있는 소스를 활용해 영상을 직접 만들 수 있게 됐다. 디자이너나 개발자는 자신의 일에만 집중할 수 있어 새 리소스 추가도 비교적 손쉽게 이뤄졌다.

결과적으로 생산성이 늘었다고 분석할 수 있다. 이상화 TA는 "13분짜리 애니메이션을 기획자가 직접 이틀만에 만든다"며 "이 방식은 기획자가 생각하는 영상을 그대로 구현할 수 있다는 장점이 있다"고 설명했다.

스마트스터디의 대표 2D 애니메이션 콘텐츠 중 하나인 핑크퐁 라디오 ‘퐁퐁클럽’. / 핑크퐁 유튜브 채널

이후 콘텐츠 연구개발팀은 3D 영상을 만들때도 비슷한 시행착오를 겪으며 제작 파이프라인을 확립해나갔다. 처음에는 3D 모션캡처 실시간 방식만을 활용하다가, ‘유모션’이라는 프로그램으로 캐릭터의 세부 동작을 수정했다.

이후 영상 소스의 재사용도를 높이기 위해 캐릭터가 움직이는 기준을 재배열하는 ‘리타게팅(Retargeting)’ 작업에 집중했다. 최근에는 고해상도 렌더 파이프라인(High Definition Render Pipeline)을 활용해 영상의 질을 높이기도 했다.

스마트스터디 콘텐츠 연구개발팀이 3D 애니메이션 콘텐츠를 만드는 과정을 도식화한 장표. / 오시영 기자
스마트스터디 콘텐츠 연구개발팀이 3D 애니메이션 콘텐츠를 만드는 과정을 도식화한 장표. / 오시영 기자
이상화 TA는 "30초 쯤의 3D 숏폼 콘텐츠의 경우 단 두명의 인력으로 5월 말부터 10월 2일까지 27개 정도 만들 수 있었다"며 "실시간 렌더링 기술을 통해 바로 결과 값을 보며 작업했다는 점이 빠르게 콘텐츠를 만들 수 있었던 비결이다"고 설명했다.

그는 발표를 마치며 "3D 숏폼 콘텐츠를 만드는 기술은 아직 연구·개발이 많이 필요한 영역으로, 앞으로도 발전할 여지가 많다고 본다"라고 설명했다.