국내 연구팀이 오래된 앨범 속 사진과 스마트폰으로 찍은 최근 사진을 이용, 세대 간 공감대를 확보하고 소통을 돕는 인공지능(AI) 기반 사진 검색 서비스를 개발해 공개했다.
POSTECH(포항공과대학교)와 KAIST(한국과학기술원), 한국기술교육대학교 공동 연구팀이 개발한 모바일 기반 일상생활 밀착형 AI 서비스 ‘모멘트멜드(MomentMeld)’는 서로 다른 시대와 장소에서 촬영한 두 개 이상의 사진첩에서 장소나 표정, 구도, 맥락, 스토리텔링 등이 비슷한 사진을 찾아내 함께 표시하는 기능을 제공한다.
구글이나 페이스북 등이 제공하는 ‘1년 전 오늘’과 같은 AI 기반 사진 추천 서비스는 개인의 사진첩 중에서 특정 시간, 특정 방문지에서 찍은 과거 사진을 추천해 사용자의 회상을 촉진하는 유형의 서비스다. ‘앨리스와 당신’처럼 개인의 사진첩 중에서 특정인과 함께 찍은 사진들을 추천해 둘 사이의 추억을 떠올리게 하는 서비스도 상용화됐다. 그러나 이들 서비스는 특정 사진의 검색 대상이 당사자의 개인 사진첩으로 한정되어 있다.
모멘트멜드는 둘 이상의 사용자 각각의 사진첩을 동시에 검색해 문맥적으로 연결돼있는 사진들을 찾아 추천하는 데서 차별된다고 연구진은 강조한다. 사용자들이 각각 다른 시간대를 뛰어넘어 새로운 공감대를 발견하고 서로 간 회상을 촉진한다는 점에서 기존 유사 서비스와 차별된다는 설명이다.
모멘트멜드는 스마트폰으로 사진을 촬영하는 순간으로부터 일련의 신호처리, 네트워킹, 기계학습 과정을 거쳐 최적의 MSM(Mutually Stimulatory Memento)을 추천한다. MSM은 시간대가 달라도 장소나 표정 등 공통의 맥락을 공유하는 서로 다른 세대의 사진들을 찾아내 함께 제시한다. 이 서비스는 공동 연구팀에서 설계한 복수의 심층 신경망 모델을 결합한 앙상블 AI 모델 및 모바일-클라우드 환경에서의 복합 런타임에 기반을 둔다.
연구팀은 각기 3대(조부모, 부모, 자녀)로 구성된 가족을 대상으로 세대 간 소통의 양적, 질적 변화에 초점을 맞춰 검증을 진행했다. 여섯 가족에게 8주 동안 모멘트멜드 서비스를 배포한 결과, 세대 간 소통이 양적으로 약 90%, 질적으로는 약 50% 정도 증가한 것으로 나타났다.
연구팀은 모멘트멜드와 이러한 결과를 인간-컴퓨터 상호작용 분야의 세계적인 콘퍼런스인 ‘ACM CHI 2021(ACM SIGCHI Conference on Human Factors in Computing Systems)’에서 공개했다.
1저자인 강범수 KAIST 박사과정은 "이 서비스의 기술적 실증 및 사용성 평가를 위해 사용자 스터디에 기반한 서비스 디자인, 앤드 투 앤드(end-to-end) 시스템 개발, 실사용자 배포, 장기간에 걸친 실험 등을 포괄적으로 수행했다"라고 말했다.
공동저자인 강승우 한국기술교육대 교수는 "세대 간 공감대를 형성할 수 있는 소통의 실마리를 제공해주는 모멘트멜드는 노년층의 사회적 위축이라는 우리 사회의 문제를 해결하고, 소통을 촉진하는 사회적 가치에 기여할 수 있다"고 말했다.
한편, 이 연구는 한국연구재단 중견연구자지원사업의 ‘실생활 밀착형 인간-AI 상호 액추에이션 프레임워크 및 응용서비스’ 사업(주관기관 POSTECH) 및 정보통신기획평가원 ICT연구센터의 ‘일상-항시적 건강 관리 Earable-IoT 플랫폼’ 사업(주관기관 KAIST)의 지원으로 수행됐다.
최용석 기자 redpriest@chosunbiz.com