국내 연구팀이 전혀 경험하지 않은 새로운 환경에서도 인공지능(AI)이 적용될 수 있도록 하는 획기적인 전기를 마련했다.

연세대학교는 글로벌융합공학부 김시호 교수 주도의 공동연구팀이 인공지능 학습 과정에서 경험하지 못한 복합적으로 변화하는 환경에 대응 가능한 스킬(Skill) 기반의 차세대 심층강화학습 기술 개발에 성공했다고 29일 밝혔다.

기존의 강화학습 기반 인공지능 알고리즘은 리워드(Reward)에 기반해 사전 지식이 없이도 시행착오를 통해 기능을 학습할 수 있어 주목받았다. 그럼에도 학습 과정에서 경험한 환경 내에서만 학습된 태스크(Task)만을 수행 가능하고, 동작 환경이 변화하면 재학습을 해야만 하는 어려움이 있었다.

하지만 이번 연구 성과를 바탕으로 형태 변화 및 규칙 변화가 지속적으로 발생하는 경험하지 못한 환경(Unseen Environment)에서도 기존에 학습한 여러 스킬을 활용해 재학습 과정 없이 정해진 태스크를 정상적으로 수행할 수 있게 됐다고 연구팀은 설명했다. 예를 들면, 로봇의 다리가 절단되어 Agent의 형태가 변화된 상황이나, 자동차의 바퀴가 고장이 나거나, 자율주행 자동차의 통행 방법이 우측통행에서 좌측통행으로 바뀌는 등의 규칙이 변화된 상황에 대응하기 위해, Agent가 가진 스킬을 활용해 동적으로 계획을 수립함으로써 끝까지 주어진 임무를 수행하는 식이다.

MuJoCo 물리 시뮬레이터 엔진에서 한쪽 다리가 절단된 4족보행 로봇이 재학습 과정 없이 핸디캡을 극복하며 정상적인 태스크 수행 장면 / 연세대 제공
MuJoCo 물리 시뮬레이터 엔진에서 한쪽 다리가 절단된 4족보행 로봇이 재학습 과정 없이 핸디캡을 극복하며 정상적인 태스크 수행 장면 / 연세대 제공
연구팀은 학계에서 널리 활용되는 물리 시뮬레이터인 MuJoCo와 자율주행 시뮬레이터인 CARLA 시뮬레이터를 통해 스킬 기반의 심층강화학습 기술의 동작을 검증했다. 한쪽 다리가 절단된 4족보행 로봇이 스킬을 활용해 재학습 과정없이 핸디캡을 극복해 정상적으로 거동하는 결과를 보였으며, 한쪽 타이어가 주저앉은 배달로봇이 시스템 고장에 빠지지 않고 목적지까지 배달을 완수하는 결과를 보였다.

자율주행 시뮬레이터 CARLA에서 바퀴 한쪽이 주저앉은 배달로봇 프레임이 정상적으로 주행하는 모습 / 연세대 제공
자율주행 시뮬레이터 CARLA에서 바퀴 한쪽이 주저앉은 배달로봇 프레임이 정상적으로 주행하는 모습 / 연세대 제공
연구팀 책임자인 연세대학교 김시호 교수는 "시뮬레이터에서 검증된 차세대 인공지능 기술을 실제 물리 환경에 동기화해나가고 있으며, 최근 언택트 시대에 주목받고 있는 배달로봇에 스킬을 활용한 자가개선 자율주행 인공지능을 탑재하여, 차세대 인공지능 기술을 우리의 일상에 도입하는 것이 궁극적인 목표"라고 밝혔다.

한편 이번 연구 결과는 연세대학교 김시호 교수 및 손광훈 교수, 이화여자대학교 민동보 교수, 그루크리에이티브랩 김건형 대표로 구성된 인공지능 컨소시움(과제책임자 연세대 김시호 교수)이 공동으로 수행하는 ‘현실 세계에서 변화하는 상황에 따라 지속적으로 자가 개선하는 인공지능 기술 개발’ 과제를 수행하면서 이룩한 성과다. 해당 과제는 국방 관련 미래혁신기술 연구를 지원하는 美 DARPA(국방고등연구계획국)에서 SAIL-ON(Science of Articifial Intelligence and Learning for Open-world Novelty)이라는 프로그램으로 전략적 개발 중인 연구주제와 동일하게 과학기술정보통신부 IITP(정보통신기획평가원)에서 지원하는 ‘차세대인공지능핵심원천사업’ 사업의 일환이다.

콘텐츠부