검색시간 차이가 승부 갈라…시간에 쫓긴 사람 변호사 당황
법률에도 과감히 기술 도입해야 함을 실감
인공지능(AI)이 역사적인 첫 법률 자문 대결에서 사람 변호사를 이겼다. 1~3등을 휩쓴 완승이다.
29일 오후 서울 서초동 변호사회관 5층에서 한국 리걸테크(LegalTech) 산업의 서막을 알리는 ‘알파로 경진대회’가 열렸다. 리걸테크는 법률(legal)과 기술(technology)의 합성어로 미국과 영국 등 주요 선진국에선 이미 활성화했다.
대회는 인간 변호사 2인 1조로 구성된 ‘변호사팀’ 9팀과 AI와 변호사 1명으로 구성된 ‘혼합팀’ 2팀, AI와 일반인으로 구성된 ‘혼합팀’ 1팀 총 12팀이 참가했다. 대회 출전 변호사들은 익명을 요구해 주최 측은 자세한 정보를 공개하지 않았다.
각 팀의 답안지를 전달받은 심사위원단 3인은 정량평가와 정성평가 방식으로 심사해 승자를 가렸다.
결과는 혼합팀의 완승이다. 상위 5개 팀 점수를 보면 차이가 컸다. 1~3등의 점수를 받은 것은 모두 혼합팀이었다. 120, 118, 107점으로 변호사팀 61, 52점과 큰 차이를 보였다.
이명숙 심사위원장은 심사 강평을 통해 "채점하며 AI인지 사람인지 금방 느꼈다. 주관식을 하나도 못 쓴 팀도 있었다"며 "아마도 변호사팀이 시간 부족에 시달린 듯하다"고 성적 차이 배경을 설명했다. 그는 "혼합팀 안에서도 점수 차이를 보인 문항이 있어 누가 AI를 활용하는지 여부도 중요한 이슈가 될 것으로 본다"라고 덧붙였다.
한 혼합팀 참가자는 "근로계약서 분석기를 사용하며 법률전문가인 저조차도 몰랐던 사례를 추천해 놀라웠다"며 "시간 제약이 있는 상황에서 어려운 문제를 줘 인간이 처리하기는 쉽지 않았다. 기술을 수용하고 변화를 과감히 받아들여야 하는 시기가 왔다는 것을 느낄 수 있었다"고 전했다. 그는 특히 AI가 연봉을 상여금과 복리후생까지 쪼개 분석해 위법 여부를 잡아내는 것에 감탄했다.
또 다른 혼합팀 참가자는 "최저임금법이나 기간제법, 미성년자나 파견근로자 보호법 등 근로계약과 관련된 세부 사항을 포괄적으로 고려해 결과를 제시하는 기술이 놀라웠다"고 말했다.
반면 3위를 차지한 혼합팀 일반인 참가자는 "빠른 속도로 계약서를 분석한 것은 사실이지만, 복잡한 근로 계약 문제에도 성능을 발휘할지, 법률 전문가가 아닌 사람도 서비스를 쉽게 활용할 수 있을지는 의문"이라며 신중한 반응을 보였다.
변호사팀 참가자는 "보통 사람이 계약서를 검토할 땐 꼼꼼하고 정확함이 필수다. 빠른 시간 안에 답을 내야 하는 상황이 당황스러웠다"며 "근로계약서 분석기를 사용해보지 못했지만, 대결을 펼치며 흥미가 생겼다. 법조인의 업무 효율을 높일 기술이라면 거부할 이유가 없다"고 밝혔다.
이 분석기는 자연어 처리 기술을 기반으로 AI를 활용해 법률 용어를 분석한다.
변호사 2명으로 1팀을 구성한 변호사팀은 네이버와 구글 등 포털 사이트의 검색 기능과 자신이 지닌 법률 지식을 활용했다.
객관식은 근로자의 계약 기간과 업무 내용, 근무 장소가 적정한지 판단해 위험, 적정, 모름 칸에 체크하도록 구성됐다. 정답을 맞출 경우 +1점, 모름은 0점, 오답은 -1점을 준다.
주관식은 2문항이다. 2-1문제는 근로계약서를 검토한 후 보완해야 할 조항이나 누락 사항을 약술하는 방식이다. 2-2문제는 근로계약서에 대한 종합자문의견을 적도록 구성했다. 예를 들면 근로계약서가 전체적으로 적정한지, 근로자의 나이를 고려하면 무엇을 주의해야 하는지 등의 법률 자문을 적는 것이다.
1라운드에서 각 팀은 근로계약서 2개를 부여받아 30분 동안 답안을 작성했다. 2라운드에서는 근로계약서 1문제를 20분간 분석해 답안지를 채웠다.
