스마일게이트 AI센터(이하 AI센터)는 인공지능(AI) 언어 모델 평가 플랫폼 ‘휴릭’(HuLiC, Human Like AI Conversation)을 공개한다고 29일 밝혔다.
AI센터는 이를 위해 인간처럼 쌍방향으로 대화를 주고받으며 생성된 대화의 양상을 검토하기 적합한 평가 항목과 기준을 정의했다. 이후 다수의 참여자가 AI 모델을 통해 도출한 대화 데이터에 대한 평가를 진행했다.
이처럼 휴릭은 실제 전문가가 참여해 사람만이 평가 가능한 지표를 토대로 AI 언어 모델을 평가했다는 점에서 기존 자동화 방식의 평가와 차이점을 갖고 있다. 휴릭은 또 오픈 도메인을 지향하며 외부에서 공유, 참고할 수 있도록 고안돼 있다.
AI센터는 이번 휴릭 공개를 기점으로 일상 대화 외에도 윤리, 혐오 등 특정 주제에 대한 언어 모델 평가를 이어갈 계획이다.
한우진 AI센터장은 "기존 AI 평가 플랫폼은 대부분 한정적으로 정의된 정량적 평가에 집중하고 있다"며 "기술 발전에 따라 AI의 종합 능력을 평가해야 하는 시기가 도래했으며, 이는 곧 인간다운 AI를 실현하기 위한 필수 과정이다"고 밝혔다. 그는 이어 "첫 선을 보이는 휴릭뿐 아니라 대화 및 윤리 평가 데이터가 AI 기술 발전의 토대가 될 수 있을 것으로 기대된다"고 덧붙였다.
임국정 기자 summer@chosunbiz.com
키워드