페이스북, 99개 언어를 영어 거치지 않고 바로 '한글 번역' 기술 공개

북마크 완료!

마이페이지의 ‘북마크한 기사’에서 읽으실 수 있습니다.

북마크한 기사 보러가기 close
입력 2020.10.20 15:24
외국어를 공부하지 않아도 되는 시대가 성큼 다가왔다.

19일(현지시각) 외신에 따르면 페이스북은 100개 언어를 번역하는 머신러닝(기계학습) 시스템 M2M-100을 20일 오픈소스로 공개했다. 페이스북 측은 M2M-100은 영어를 기반으로 하지 않는 최초의 다국어 번역이라고 소개했다.

페이스북이 100개 언어를 직해하는 AI를 공개했다. /페이스북
다수 AI번역기는 영어를 중심으로 번역을 진행한다. 예를 들어 ‘일본어-한국어’ 번역 과정의 경우, 기존 AI번역기는 직해(直解)하지 않고 ‘일본어-영어’와 ‘영어-한국어’과정을 각각 진행한다. 반면 M2M-100은 100개 언어에 관해 별도 중간 과정없이 직해한다.

페이스북이 글로벌 서비스로 제공하는 번역 덕분이다. 많은 AI번역기는 영어 외 언어 학습 데이터 확보가 쉽지 않았지만, 페이스북은 달랐다. 페이스북 시스템이 번역하는 양은 하루 평균 약 200억개에 이른다.

이들 중 100개 언어에서 75억 문장을 선정해 데이터 세트를 구축했다. 페이스북은 150억개에 이르는 매개변수를 사용하기 위한 다양한 기술을 개발 및 적용했고, 해당 범용AI모델을 위한 오픈 프로젝트도 진행 중이다.

결과도 기존 AI번역기보다 더 뛰어나다. M2M-100은 기계번역 평가 방법 중 하나인 BLEU 미터법에서 영어 중심의 AI번역기보다 10점 이상 높았다. 일반적으로 점수가 높을수록 원어민에 가까운 해석으로 평가한다.

페이스북 측은 공식 블로그를 통해 "페이스북AI가 수년간 기계번역 분야에서 쌓아온 기초 작업의 정점이다"며 "다른 개발자가 다국어 모델 재생산할 수 있도록 AI모델, 훈련, 검증 등도 출시했다"라고 밝혔다.

송주상 기자 sjs@chosunbiz.com


0
주요 뉴스
지금 주목할 뉴스