인공지능(AI) 기술을 활용해 웹문서 검색을 고도화하는 '그리핀 프로젝트'를 추진 중인 네이버가 11월말 '웹문서'와 '사이트' 검색 영역을 웹사이트로 통합한다고 20일 밝혔다.
네이버는 통합된 웹사이트 영역의 이름을 11월말 '웹사이트'로 변경하지만, 당분간 이용자 혼란을 방지하기 위해 통합검색 결과 내에 사이트와 웹문서를 한시적으로 구분해 노출한다. 또 웹사이트 탭 안에서도 기존의 웹문서와 사이트 검색결과를 선택해 볼 수 있는 옵션을 제공하는 등 점진적으로 개선할 예정이다.
네이버는 외부의 좋은 문서를 이용자가 쉽고 편리하게 검색할 수 있도록 웹문서 검색 고도화를 위한 연구를 진행해왔다. 2014년 '타우린 프로젝트'에 이어, 2017년 AI기반 기술을 적용해 더욱 고도화된 '그리핀 프로젝트'를 진행 중이다.
네이버는 그리핀 프로젝트를 통해 ▲수집 로봇이 실시간으로 공신력 있는 사이트와 다량의 웹문서를 가져와 검색 결과에 빠르게 반영 ▲딥러닝 기술을 기반으로 새롭게 등장하는 복잡하고 다양한 스팸 문서에 대응 ▲이용자의 검색 의도까지 반영해 더욱 신뢰할 수 있는 검색 결과를 제공 등 노력을 진행 중이다.
수집 로봇은 뉴스·위키백과 등 신규 콘텐츠를 상시 분석하며, 새롭게 등장하는 웹문서를 발견해 빠르게 수집한다. 실시간으로 스트리밍 구조의 문서 수집 시스템을 통해 이용자가 선호하는 웹사이트의 문서를 더 빨리 발견하고, 이용자 선호도 변화를 반영할 예정이다.
AI 기반 매칭 기술을 통해 사용자가 '국립중앙박물관 가는 법'을 검색했을 때 사이트 내부의 '국립중앙박물관 오시는 길' 혹은 '약도'나 '길찾기' 등 서로 다른 단어가 명시된 웹문서라도 자동으로 매칭해 제공한다. AI 기반 기술은 사이트 구조를 분석해 이용자가 자주 방문하는 페이지나 선호도 높은 문서·메뉴 등을 자동으로 추출해 검색 결과에 사이트와 함께 요약 정보를 보여준다.
김상범 네이버 웹문서검색 리더는 "모바일에서 사이트 보다 정답형 정보나 하나의 웹페이지를 통해 정보를 확인하는 이용자가 늘었다"며 "AI 기반 기술의 발전과 웹문서 검색 영역이 고도화된 만큼 신뢰할 수 있는 웹문서를 정확하고 신속하게 보여주고, 많은 웹문서가 더욱 공정하게 노출되도록 노력하겠다"고 말했다.