구글 표준 스마트폰 '픽셀2'와 '픽셀2XL'은 스마트폰 중 가장 우수한 사진·영상 촬영 기능을 가진 것으로 알려졌다. 구글 픽셀2는 이미지 벤치마크 사이트 DxO마크에서도 역대 최고 점수를 획득했다.

구글 픽셀2 시리즈의 카메라 성능 중 호평 받는 것이 '퓨즈드 영상 흔들림 보정(Fused video stabilization)이다. 이 기능은 렌즈를 활용한 광학식 흔들림 보정과 소프트웨어 전자식 흔들림 보정을 병용, 영상 촬영 중 일어나는 각종 문제(흔들림·화질 저하·피사체가 찌그러지게 찍히는 롤링 현상)를 줄여준다.

구글은 11월 10일, 연구 블로그를 통해 구글 픽셀2 시리즈의 퓨즈드 영상 흔들림 보정 동작 원리를 소개했다.

구글이 공개한 퓨즈드 영상 흔들림 보정 시연 화면. / 구글 연구 블로그 갈무리
구글이 공개한 퓨즈드 영상 흔들림 보정 시연 화면. / 구글 연구 블로그 갈무리
일반적으로 쓰이는 광학식 흔들림 보정 기능은 유효하다. 자이로 센서로 흔들림을 검출, 그 반대 방향으로 렌즈를 움직여 흔들림을 상쇄한다. 반면, 렌즈가 움직이는 범위가 제한적이어서 큰 폭의 흔들림은 줄이지 못한다. 스마트폰이 크게 흔들릴 경우, 렌즈를 통해 들어오는 빛이 분산되며 오히려 화면을 울렁이게 하기도 한다.

소프트웨어 전자식 흔들림 보정은 영상 촬영 중 프레임 단위로 흔들림을 분석, 묘사력을 최적화한다. 간편하게 구현할 수 있지만, 해상도가 낮아지고 고도의 연산 유니트가 있어야 한다.

구글 퓨즈드 영상 흔들림 보정은 영상 촬영 시 자이로 센서로 흔들림을 실시간 검출한다. 이후 머신러닝과 신호 처리를 결합, 카메라가 앞으로 어느 쪽으로 움직일 지 예측한다. 이어 전자식 흔들림 보정을 가미할 때도 머신러닝을 응용, 롤링 현상을 줄인 후 프레임에 반영한다. 이 때 자이로 센서가 미처 감지하지 못한 흔들림까지 수정된다.

이어 퓨즈드 영상 흔들림 보정은 의도적인 상황에서의 흔들림 관련 머신러닝 데이터를 다시한번 적용, 영상 화질을 높인다. 예를 들어 자이로 센서가 패닝(옆으로 이동하며 촬영하는 기법) 동작을 감지하면, 머신러닝으로 획득한 위아래 흔들림 보정 데이터가 자동으로 적용된다. 자이로 센서가 위아래 동작을 감지하면 머신러닝 좌우 흔들림 보정 데이터가 반영된다.

퓨즈드 영상 흔들림 보정의 머신러닝은 모션 블러(영상 촬영 중 카메라를 빠르게 이동하면 영상 전체가 흐려지는 현상) 보정에도 유효하다. 촬영 전후 영상을 실시간 분석, 예측하고 그에 알맞은 흔들림 데이터를 실시간 반영하는 덕분이다.

구글은 퓨즈드 영상 흔들림 보정 기능을 활용하면 짐벌(흔들림 보정 기구)이 필요 없을 정도라고 강조하며, 카메라·센서 부문 하드웨어와 알고리즘을 결합해 기능을 완성했다고 밝혔다.