AI, 첫 법률 자문 대결에서 사람 변호사에 완승

입력 2019.08.29 18:17

검색시간 차이가 승부 갈라시간에 쫓긴 사람 변호사 당황
법률에도 과감히 기술 도입해야 함을 실감

인공지능(AI)이 역사적인 첫 법률 자문 대결에서 사람 변호사를 이겼다. 1~3등을 휩쓴 완승이다.

29일 오후 서울 서초동 변호사회관 5층에서 한국 리걸테크(LegalTech) 산업의 서막을 알리는 ‘알파로 경진대회’가 열렸다. 리걸테크는 법률(legal)과 기술(technology)의 합성어로 미국과 영국 등 주요 선진국에선 이미 활성화했다.

대회는 인간 변호사 2인 1조로 구성된 ‘변호사팀’ 9팀과 AI와 변호사 1명으로 구성된 ‘혼합팀’ 2팀, AI와 일반인으로 구성된 ‘혼합팀’ 1팀 총 12팀이 참가했다. 대회 출전 변호사들은 익명을 요구해 주최 측은 자세한 정보를 공개하지 않았다.

문제지 번호를 추첨하는 알파로 경진대회 이명숙 심사위원장 / 김동진 기자
공정한 대결을 위해 시작 전 각 팀은 무작위로 팀별 코드를 뽑았다. 이후 코드에 맞는 문제를 심사위원장의 추첨을 통해 배정받았다. 대결의 승자를 가릴 심사도 팀별 코드를 보고하므로 어떤 팀이 답안을 냈는지 알 수 없다.

각 팀의 답안지를 전달받은 심사위원단 3인은 정량평가와 정성평가 방식으로 심사해 승자를 가렸다.

결과는 혼합팀의 완승이다. 상위 5개 팀 점수를 보면 차이가 컸다. 1~3등의 점수를 받은 것은 모두 혼합팀이었다. 120, 118, 107점으로 변호사팀 61, 52점과 큰 차이를 보였다.

이명숙 심사위원장은 심사 강평을 통해 "채점하며 AI인지 사람인지 금방 느꼈다. 주관식을 하나도 못 쓴 팀도 있었다"며 "아마도 변호사팀이 시간 부족에 시달린 듯하다"고 성적 차이 배경을 설명했다. 그는 "혼합팀 안에서도 점수 차이를 보인 문항이 있어 누가 AI를 활용하는지 여부도 중요한 이슈가 될 것으로 본다"라고 덧붙였다.

한 혼합팀 참가자는 "근로계약서 분석기를 사용하며 법률전문가인 저조차도 몰랐던 사례를 추천해 놀라웠다"며 "시간 제약이 있는 상황에서 어려운 문제를 줘 인간이 처리하기는 쉽지 않았다. 기술을 수용하고 변화를 과감히 받아들여야 하는 시기가 왔다는 것을 느낄 수 있었다"고 전했다. 그는 특히 AI가 연봉을 상여금과 복리후생까지 쪼개 분석해 위법 여부를 잡아내는 것에 감탄했다.

또 다른 혼합팀 참가자는 "최저임금법이나 기간제법, 미성년자나 파견근로자 보호법 등 근로계약과 관련된 세부 사항을 포괄적으로 고려해 결과를 제시하는 기술이 놀라웠다"고 말했다.

반면 3위를 차지한 혼합팀 일반인 참가자는 "빠른 속도로 계약서를 분석한 것은 사실이지만, 복잡한 근로 계약 문제에도 성능을 발휘할지, 법률 전문가가 아닌 사람도 서비스를 쉽게 활용할 수 있을지는 의문"이라며 신중한 반응을 보였다.

변호사팀 참가자는 "보통 사람이 계약서를 검토할 땐 꼼꼼하고 정확함이 필수다. 빠른 시간 안에 답을 내야 하는 상황이 당황스러웠다"며 "근로계약서 분석기를 사용해보지 못했지만, 대결을 펼치며 흥미가 생겼다. 법조인의 업무 효율을 높일 기술이라면 거부할 이유가 없다"고 밝혔다.

근로계약서 분석기를 사용해 문제를 푸는 혼합팀 모습 / 김동진 기자
AI와 변호사로 구성한 혼합팀은 인텔리콘연구소가 개발한 ‘근로계약서 분석기’를 사용했다.
이 분석기는 자연어 처리 기술을 기반으로 AI를 활용해 법률 용어를 분석한다.

근로계약상 위험 요인과 관련 법령, 판례 등을 찾아주는 근로계약서 분석기 이미지 / 인텔리콘연구소 제공
근로계약서 분석기는 ‘지능형 검색기’와 맞물려 움직인다. 근로계약서 문제를 분석기에 올리면 AI가 계약서 전체를 읽고 자동으로 조항별 위험 요소를 표시한다. 분석 버튼을 누르면 결과를 내기까지 7초 안팎의 시간이 걸렸다. 계약서에 있어야 할 필수 조항이 누락된 경우 어떤 조항이 빠졌는지도 알려준다. ‘지능형 분석기’는 위험 요소와 관련된 법령과 판례, 해설을 제공한다. 누락 조항이 지닌 법적 의미와 설명도 덧붙인다. 계약 당사자의 특성(나이, 성별, 기업 규모, 근무 형태 등)을 고려한 해설도 제공했다.

변호사 2명으로 1팀을 구성한 변호사팀은 네이버와 구글 등 포털 사이트의 검색 기능과 자신이 지닌 법률 지식을 활용했다.

알파로 경진대회에 참가한 변호사팀과 혼합팀 모습 / 김동진 기자
각 팀이 받은 문제는 생년월일, 성별, 기업 규모, 계약 기간 등의 내용을 담은 ‘근로계약서’다. 변호사팀과 혼합팀은 문제인 근로계약서를 분석해 답안지에 수기로 답한다. 근로계약서 1개당 객관식 1문항 주관식 2문항, 총 3문항으로 구성했다.

객관식은 근로자의 계약 기간과 업무 내용, 근무 장소가 적정한지 판단해 위험, 적정, 모름 칸에 체크하도록 구성됐다. 정답을 맞출 경우 +1점, 모름은 0점, 오답은 -1점을 준다.

주관식은 2문항이다. 2-1문제는 근로계약서를 검토한 후 보완해야 할 조항이나 누락 사항을 약술하는 방식이다. 2-2문제는 근로계약서에 대한 종합자문의견을 적도록 구성했다. 예를 들면 근로계약서가 전체적으로 적정한지, 근로자의 나이를 고려하면 무엇을 주의해야 하는지 등의 법률 자문을 적는 것이다.

1라운드에서 각 팀은 근로계약서 2개를 부여받아 30분 동안 답안을 작성했다. 2라운드에서는 근로계약서 1문제를 20분간 분석해 답안지를 채웠다.

알파로 경진대회에서 축사하는 이주영 국회부의장 / 김동진 기자
주영 국회부의장은 이날 축사를 통해 "며칠 전 2019 스마트 차이나 엑스포에 참석했는데 충칭에 있는 서남정법대가 세계 최초로 인공지능법학원을 설립해 전문 인재를 길러낸다고 들었다"라며 "중국 하이난 고등법원 형사 법정은 AI양형시스템을 사용한다. 우리나라도 오늘 이 대회를 통해 법률 AI 현주소를 진단할 필요가 있다. 많은 관심 부탁드린다"고 말했다.


키워드