“인공지능(AI)은 선한 영향력을 발휘할 수도 있지만 악용될 여지가 상당히 많기 때문에 신뢰성에 대해 꾸준히 고민하고 내부 프로세스가 필요하다.”
김동환 포티투마루 대표는 14일 IT조선이 서울 웨스틴 조선호텔에서 개최한 ‘AI&CLOUD 2025’ 콘퍼런스에 연사로 참석해 ‘거짓말 하는 AI를 잡아라’를 주제로 발표하며 이같이 밝혔다.
생성형 AI 스타트업 포티투마루는 사용자의 질의 의도를 의미적으로 이해하고 방대한 비정형 데이터에서 단 하나의 정답을 도출하는 ‘딥 시맨틱 QA(Question Answering) 플랫폼’을 개발·서비스한다. 특히 딥러닝 기반으로 언어처리하고 텍스트 분석을 중심으로 한 개발 역량을 보유했다.
포티투마루는 2018년 11월 미국 스탠포드대학이 주관한 글로벌 기계독해(MRC) 경진대회인 ‘SQuAD2.0’에서 구글과 공동 1위에 올랐다. 2020년에는 미국 마이크로소프트(MS)가 주관한 생성형 AI 경진대회인 ‘GLGE’에서도 1위를 차지했다.
포티투마루는 한국 거대언어모델(LLM) 1호 신뢰성 인증(CAT)를 획득한 AI 신뢰성을 확보하기도 했다. 이러한 경쟁력을 바탕으로 스마트 디바이스부터 AI 기반 챗봇 등을 기업 내부 도메인에 특화시키는 사업을 하고 있다.
김 대표는 “최근 해외 리포트를 보면 앞으로 3년 뒤에는 챗GPT나 구글 제미나이 같은 큰 모델 보다 소형언어모델(sLMM)이라는 경량화 모델 시장이 3배 이상 더 커질 것이라고 한다”며 “이전에는 언어 처리만 했는데 이제 이미지, 동영상, 음성 등과 결합되는 멀티 모달(Multi-Modal)로 가고 있다”고 진단했다.
그는 LLM에 대해 “환각(Hallucination) 문제와 보안, 고비용 등을 고민해야 한다”며 보안, 고비용의 경우 경향화 버전을 만들고 자사 도메인에 특화시켜 sLLM을 사용하지만 AI가 잘못된 정보를 전달하는 환각 문제에 대한 해결 노력을 강조했다.
김 대표는 “챗GPT에 ‘세종대왕 맥북 사건 설명해줘’ 했더니 ‘세종대왕이 집현전 학자와 대화를 나누다 협압이 올라 맷북을 집어던졌다’고 답변했다”며 “이러한 상황은 웃고 넘어갈 수도 있지만 업무용으로 쓴다면 상당히 심각해진다”고 했다.
그는 “GPT4가 이미 2023년말 미국에서 변호사 시험도 통과하고 의사 시험도 통과했다”며 “근데 정확도를 보면 커트 라인인 85점, 90점 수준이다. 이를 믿고 일한다는 게 상당히 불안하다”고 말했다.
그러면서 그는 검색증강 생성(RAG), 인공지능 기계독해(MRC) 등 AI 답변의 정확도와 신뢰성을 높일 수 있는 자사 기술력을 소개했다. RAG는 방대한 양의 데이터로부터 AI가 필요로 하는 특정 정보를 정확하게 검색하는 기술이다. MRC는 질문을 이해하고 문맥을 파악해 관련 정보를 추출하면서 정확한 답변을 생성한다.
김 대표는 “MRC로 테스트를 하면 90점 점수를 받았던 테스트 성적이 98, 99점 이상으로 나온지만 정확하지 않으면 대답을 안 하는 등 불편한 측면이 있다”며 “RAG, MRC 등을 통해 AI 시스템 정확도만 높인다고 해서 AI 신뢰성이 확보되는 건 아니다”고 했다.
그러면서 그는 AI 답변의 정확도와 함께 투명성이나 편향성 등 여러 항목들을 다 만족할 수 있도록 거버넌스를 확립하고 이를 실행해야 한다고 강조했다.
김 대표는 “포티투마루는 이러한 체계를 갖추기 위해 내부 구성원들을 대상으로 안정성, 신뢰성, AI 윤리 관련해 고민을 많이 하고 외부 전문가를 모셔서 교육하는 과정부터 시작했다”며 “과학기술정보통신부, 한국정보통신기술협회(TTA)에서 발간한 ‘신뢰할 수 있는 인공지능 개발 안내서’를 만드는 데 포티투마루도 참여했으며 이를 지속 준수·점검하면서 개발하고 있다”고 말했다.
또 그는 과기부, 정보통신정책연구원(KISDI)이 발간한 ‘인공지능 윤리기준 실천을 위한 자율점검표’를 언급하며 “포티투마루가 내부에 이러한 체계를 자체적으로 만들어 개발하거나 기획하는 과정에서 반드시 준수하도록 프로세스화했다”고 했다.
이외에도 개인정보보호위원회, 한국인터넷진흥원(KISA)가 발간한 ‘온라인 개인정보 처리 가이드라인’를 거론하며 포티투마루의 개인정보 준수 노력을 설명했다.
김 대표는 AI 신뢰성 확보를 위한 프로세스 구축에 대해 재차 강조했다. 그는 “2023년부터 포티투마루 사내에 위원회를 만들어 실제 신뢰성 구축 실행에 나섰다”며 AI 신뢰성, 윤리, 안정성 등에 관심을 많이 가지면서 내부 거버넌스를 구축하는 작업을 진행하고 있다”고 했다.
포티투마루는 사내 조직 외에도 외부 전문가 조직을 통해 AI 솔루션 품질을 관리할 수 있는 시스템을 갖췄다. 2024년에는 AI 모델을 공격하는 모의실험을 통해 이를 방어하면서 객관적으로 도출된 문제점을 보완하는 과정을 거치기도 했다.
김 대표는 “AI 신뢰성 확보는 개발할 때만 잘한다고 해서 되는 게 아니다”며 “전반적인 프로세스, 더 나아가 조직에서 문화로 정착되는 작업들이 필요하다”고 말했다.
이성은 기자
selee@chosunbiz.com