외국어를 공부하지 않아도 되는 시대가 성큼 다가왔다.
19일(현지시각) 외신에 따르면 페이스북은 100개 언어를 번역하는 머신러닝(기계학습) 시스템 M2M-100을 20일 오픈소스로 공개했다. 페이스북 측은 M2M-100은 영어를 기반으로 하지 않는 최초의 다국어 번역이라고 소개했다.
페이스북이 글로벌 서비스로 제공하는 번역 덕분이다. 많은 AI번역기는 영어 외 언어 학습 데이터 확보가 쉽지 않았지만, 페이스북은 달랐다. 페이스북 시스템이 번역하는 양은 하루 평균 약 200억개에 이른다.
이들 중 100개 언어에서 75억 문장을 선정해 데이터 세트를 구축했다. 페이스북은 150억개에 이르는 매개변수를 사용하기 위한 다양한 기술을 개발 및 적용했고, 해당 범용AI모델을 위한 오픈 프로젝트도 진행 중이다.
결과도 기존 AI번역기보다 더 뛰어나다. M2M-100은 기계번역 평가 방법 중 하나인 BLEU 미터법에서 영어 중심의 AI번역기보다 10점 이상 높았다. 일반적으로 점수가 높을수록 원어민에 가까운 해석으로 평가한다.
페이스북 측은 공식 블로그를 통해 "페이스북AI가 수년간 기계번역 분야에서 쌓아온 기초 작업의 정점이다"며 "다른 개발자가 다국어 모델 재생산할 수 있도록 AI모델, 훈련, 검증 등도 출시했다"라고 밝혔다.
송주상 기자 sjs@chosunbiz.com