신뢰받는 AI는 AI 거버넌스에서 시작

송주상 기자
입력 2021.02.23 16:23
IBM이 인공지능(AI) 거버넌스를 통한 지속적인 관리로 바닥에 떨어진 AI에 대한 신뢰를 확보할 수 있다는 입장을 밝혔다. 한국에서는 최근 이루마 앱이 AI의 편향성과 부족한 가명화 처리로 한 달도 안돼 서비스가 중단된 사태가 있었다.

세뜨 도브린 IBM AI 전략 부문 최고데이터책임자(CDO)은 23일 화상으로 진행된 미디어 세션에서 신뢰를 AI 활용 기업에 가장 중요한 가치로 꼽았다. 도브린 CDO는 "AI가 비즈니스 환경에 큰 영향을 미친다"며 "사람의 결정을 돕는 AI가 믿을 수 없다면 큰 문제다"고 밝혔다.

세뜨 도브린 IBM 최고데이터책임자 / IBM
현재 대다수 AI는 머신러닝(기계학습) 기반으로 설계된다. 이 머신러닝은 기술 특성상 중간 과정을 정확히 알 수 없어 ‘블랙박스’로 비유되곤 한다. AI가 내놓는 결과의 근거, 배경 등을 알 수 없어 뒤늦게 편향성이나 위험 여부 등을 감지하는 경우가 빈번히 발생한다. 연초 국내 AI윤리 논의의 불을 지핀 이루다 역시 개인정보침해와 편향성 등 문제가 서비스 후 지적되며 논란으로 번졌다.

도브린 CDO는 AI개발에서 AI가 아닌 AI 거버넌스를 목표로 하는 것을 제안했다. 그는 "개인정보침해 등 AI 관련 문제를 예방하기 위해서는 AI 모델이 아닌 AI 거버넌스로 접근해야 한다"며 "데이터를 관리하고 AI를 지속해서 모니터링하는 등 총체적으로 봐야 한다"고 말했다.

AI 거버넌스는 AI를 단순히 기술로 취급하지 않고, 각 분야 관계자가 참여하는 공동체 개념이다. 기술 이상의 접근을 통해서만 AI 신뢰성을 확보할 수 있다는 그의 설명이다.

AI 거버넌스는 3가지가 중요하다. 도브린 CDO는 "AI 모델을 잘 알아야 하고, 신뢰할 수 있으며, 무엇보다 제대로 사용할 수 있어야 한다"고 밝혔다. 다시말해 AI 모델을 계속해서 문서화해 문제가 생길 경우 원인을 찾아 낼 수 있어야 하며, AI 검증도 실시간으로 이뤄져야 하며, 개발 이후에도 지속적인 모니터링과 수정 과정이 내재화돼 있어야 한다는 것이다.

하지만 AI 신뢰도 확보를 위한 AI 알고리즘 공개는 필요 없다는 입장이다. 도브린 CDO는 "기업과 기관이 알고리즘을 모두 공개할 필요는 없다"면서도 "다만 AI에 영향을 받는 개인에게는 결과와 과정 등을 설명할 수 있어야 한다"고 말했다.

이어 "예를 들어 금융, 의료 분야 AI는 어떤 방식으로 결과를 내놨는지 구체적으로 설명해야 한다"며 "식료품에 적힌 성분표와 비슷한 것이다"고 덧붙였다.

송주상 기자 sjs@chosunbiz.com


T조선 뉴스레터 를 받아보세요! - 구독신청하기
매일 IT조선 뉴스를 받아보세요 닫기