최근 빠르게 발전하는 인공지능(AI)의 핵심 기술인 인공신경망은 뇌의 뉴런 간 연결 구조를 단순화시켜 모방한 것이다. 사람이 많은 반복적 경험 데이터로부터 최적의 패턴을 찾아 학습하는 것처럼 많은 인공신경망의 입출력 데이터로부터 뉴런 간 신호 연결 가중치를 최적화하도록 학습시켜 인식·분류·탐지·예측·최적화 등을 모사하는 식이다.

AI는 영상인식·통역·대화·의료·법률·뉴스·교육·제조공정·신약 및 신물질 발견·로봇·자율 운전자동차·악기연주 등 거의 모든 분야에 활용된다. 사람의 뇌 구조, 학습 및 인지 과정을 모사해 1000억개 이상 뉴런을 연결하는 수준에 이르렀다. 대뇌피질 1세제곱 밀리미터(㎣) 당 50억개의 뉴런을 갖고 있는 인간의 뇌에는 아직 이르지 못하지만, 구글·아마존·IBM 등 유명 기업이 AI 경쟁에 뛰어들고 있어 인공신경망 기술이 빠르게 발전할 것으로 예상된다.

초대형 인공신경망의 막대한 연산을 위해 초병렬 계산용 그래픽카드와 전용 신경망 반도체 칩, 양자컴퓨터 기술이 빠르게 개발되고 있다. 미래학자 레이 커즈와일의 말대로 20~30년 후에는 AI가 인간을 앞지르는 특이점에 이를지도 모른다. 하지만 AI의 발전으로 유토피아가 될지 디스토피아가 될지 논란이 뜨겁다. 빌 게이츠·마크 주커버그 등과 스티븐 호킹·엘론 머스크 등이 팽팽히 맞서고 있다.

인간의 뇌를 모방하는 AI가 인간의 장점만 배우는 것은 아니다. 인간의 뇌와 인지적 능력은 원천적으로 많은 문제를 갖고 있다. 인지심리학의 고전인 중 하나로 1982년 발간된 카네만·슬로빅·트버스키의 '불확실한 상황에서의 판단: 경험적 발견과 편견(Judgment under uncertainty: Heuristics and biases)'에서 인간은 1에 가까운 확률에서는 차이를 거의 구분하지 못한다. 베이지안 확률 이론에서 설명하는 것과는 달리 새로운 정보를 얻고도 과거의 믿음을 합리적으로 수정하지 못하는 등 다양한 인지적 오류와 왜곡을 제시한다. 카네만은 인지오류에 대한 연구로 행동과학·공학·의학에 큰 영향을 미친 점이 인정돼 2011년 노벨경제학상을 받았다. 인간의 인지적 오류가 그만큼 심각하고 중요하다고 할 수 있다.

최근 존 그로홀이라는 심리학자는 가장 흔한 인지오류를 15가지로 정리했다. 이 중 몇 가지만 인용해본다.

첫째, 긍정적인 점을 배제하고 부정적인 점을 부각하는 경향이 있다. 요즘 우리 언론·정치·사회 운동이 이러한 점을 활용하고 있는지 모른다.

둘째, 맞든지 틀리든지 둘 중 하나만 집착하는 흑백논리에 빠지기 쉽다. 공자 때부터 중용을 군자의 중요한 덕목으로 강조해 온 이유를 알만하다.

셋째, 어쩌다 한 번 일어난 사건을 보고 이런 사건이 연속해서 계속 일어날 것으로 믿거나 일부 사례를 보고 전체가 그럴 것이라 믿는 등 과잉 일반화에 빠지기 쉽다.

넷째, 별 중요하지 않은 사건을 과장하거나 정말 중요한 것은 축소해 생각하기 쉽다.

이쯤까지만 읽었는데도 최근 우리 사회를 달구는 여러 가지 정치·경제·복지·안보·에너지 이슈에 대한 첨예한 논쟁이 떠오른다. 소통과 절차적 정당성의 문제도 있겠지만, 사람의 원초적인 인지적 한계를 활용해 문제를 증폭시키거나 합리적·과학적 논리를 압도하는 것 같아 걱정된다. 고대로부터 동서양 현자는 인류가 이러한 인지적 한계를 극복해 합리적인 사고와 판단을 할 수 있는 힘을 갖도록 가르치려고 부단히 노력했다. 교육의 본래 목표도 인간의 인지적 한계와 오류를 극복하도록 가르치는 것 아니었을까? 물론 일방적으로 정보를 전달하고 기능적 지식만 주입하는 교육이나 잘 풀리도록 설계된 문제의 정답만 찾는 교육은 이러한 고민조차 하지 않는다.

사람의 뇌를 모방하거나 사람이 생성한 많은 데이터와 사례로부터 학습해 사람의 판단과 의사결정을 모방하는 AI가 발전할수록 걱정이 앞선다. 이유는 다음과 같다.

첫째, 앞에서 설명한 인간의 인지적 오류를 AI가 답습할 가능성이 아주 높다. 뇌 신경망 연산 방식의 본질적인 문제를 그대로 답습할뿐 아니라, 사람이 생성한 판단과 결정 데이터에 인지적 오류가 다수 포함돼 있음에도 여과 없이 학습하기 때문이다. 사람은 AI처럼 단순 반복적으로만 학습하지 않고 부모·선생님에게서 감독과 지도를 받아 학습 내용을 교정하고 보완한다. AI의 학습 과정을 감독하고 교정하는 기술은 아직 초보 단계다. 이는 결국 사람의 몫이다.

둘째, 의도적으로 왜곡되거나 비윤리적인 데이터로 학습시키면 AI는 오류나 정확성의 문제 뿐 아니라 비윤리적·반사회적 행태를 갖게 된다. 예를 들면, 개인의 신용 데이터를 학습할 때 의도적으로 지역적·인종적·성적 차별을 학습하게 할 수 있다. 데이터가 의도적으로 왜곡되지 않았더라도 AI가 사회적 규범이나 가치·법으로 제대로 보정·감독·통제받지 않고 데이터에만 의존해 의사결정을 내리게 되면 이러한 문제 행동을 보일 수도 있다.

이미 학습된 것을 교정하기는 아주 어렵다. 예로부터 잘못 배우느니 배우지 않는 게 낫다고 했다. 오죽하면 빅 데이터 전문가인 캐시 오닐이 '대량살상 수학무기'라는 최근 저서로 이러한 문제를 설파했을까? AI의 행태를 감시하고 감독하는 기술과 전문가가 필요하다.

셋째, 진정한 지능은 단순히 데이터와 지식만 학습하는 것이 아니라 온전한 가치 체계를 함께 갖춰야 한다. 사람은 특정 분야의 기술과 기능도 배우지만 인간·윤리·사회에 대해 다양한 지식과 가치를 배우고, 가족·부모·친구·교사와 다양한 독서와 매스컴을 통해 가치 체계와 사고 체계를 종합적으로 학습한다. 이 과정에서 데이터로부터 학습한 지식을 가치 체계, 사고 체계에 맞춰 적절하게 필터링·보완·조정·구조화한다.

하지만 오늘날 AI 기술은 아직 이러한 수준과는 거리가 멀다. '제대로 된 가르침'은 사람뿐 아니라 AI에도 필요하다. AI의 학습과정을 지속적으로 모니터링하고 교정하고 감독하는 것은 사람의 몫이다. 이러한 역할을 담당할 AI 학습 전문가 또는 AI 교사가 필요하다. 물론 이들이 학습하게 될 윤리의식·법률지식·교양·가치는 건전해야 한다. 이들은 어떻게 가르칠 것인가? 쉽지 않은 과제다.

마지막으로, AI가 갈수록 고속화되는 통신 네트워크로 상호 연결되면 반드시 협동하는 것은 아니고 경쟁하거나 적대할 수도 있다. 흔히 많은 수의 AI가 네트워크로 연결되면 능력이 과도하게 높아져 영화 터미네이터의 스카이넷처럼 인간에 대항할 수 있다는 걱정이 나온다. 하지만 이에 앞서 AI가 서로 경쟁하고 적대하는 것이 더 큰 문제가 될 수 있다. AI가 인간의 행태를 학습하고 모사할수록 인간의 문제를 그대로 답습해 서로 다투고 속이고 싸우게 될 가능성이 높다.

누구나 팀웍과 협력이 바람직하다고 한다. 하지만 사람이 셋만 모여도 상호 커뮤니케이션과 지식·가치 체계의 차이 때문에 온갖 복잡성이 생기고 경쟁·견제로 팀웍이 잘 이뤄지기 어렵다는 주장도 있다. 오늘날 국제간 분쟁이나 사회적 갈등, 격차가 생기는 이유는 인간 지능의 본성 때문일지도 모른다. 상위 20%가 80%의 부를 차지한다는 파레토 법칙은 구성 요소 간 경쟁이 있는 거의 모든 문제에서 보편적으로 발생한다. AI 간에도 이러한 파레토 법칙이 나타날 수 있다.

현명한 인류는 이러한 문제가 생기지 않도록 AI에 협동과 협력을 학습시키려고 할 것이다. 하지만 우리는 협동·협력을 가르치는 것이 쉽지 않다는 점을 잘 알고 있다.

미래 AI가 데이터로부터 무가치적인 기능적 판단과 결정만 학습하게 하는 것은 바람직하지 않다. AI의 용도와 역할이 확대될수록 인류가 오랜 역사 동안 수많은 시행착오와 대가를 치르고 발전시킨 사회적 가치와 인류 정신을 가르쳐야 한다. 인류가 후세대에게 단순 반복적 기능적 지식의 전수에 그치지 않고 정신적·사회적 가치를 가르치려고 노력해 온 이유가 무엇일까? 미래 AI의 성패는 여기에 있다.

※ 외부필자의 원고는 IT조선의 편집 방향과 일치하지 않을 수 있습니다.

이태억 교수는 KAIST 산업 및 시스템 공학과 교수, 교육원장이며 대한산업공학회 회장입니다. 대통령 직속 규제개혁위원회 위원, 교육부 대학구조개혁위원회 위원, 신성장동력기획단 위원, KAIST 정보시스템연구소장 등을 역임했습니다. 자동화, 정보기술 응용, 산업지능 분야 전문가이며, 일방전달방식강의에서 탈피하는 수업방식 혁신을 통한 교육혁신, 교육의 기회 균등 실현을 위한 온라인대중공개강좌(MOOC) 확산에 노력하고 있습니다. 서울대, KAIST, 오하이오 주립 대학에서 학·석·박사 학위를 받았으며 과학기술정보통신부(옛 미래창조과학부) 및 한국연구재단의 '이달의 과학기술자상'을 수상했습니다.