정희연 토스 CDO “AI로 더 나은 고객경험 제공” [DT금융포럼]

“금융상품이나 IT 이해도가 높은 기획자나 디자이너, 개발자는 ‘이 정도만 설명해도 되겠지’ 하는 경우가 많습니다. 실제 고객은 금융상품이나 IT를 잘 모를 때가 많습니다. 토스는 이런 격차를 해결하기 위해 사용성 테스트(UT)를 하는데 여기에 AI를 사용합니다.”

토스 운영사 비바리퍼블리카의 정희연 최고디자인책임자(CDO)는 19일 서울 여의도 FKI타워 컨퍼런스센터에서 열린 ‘2024 디지털금융포럼’에서 이 같이 말했다. 2024 디지털금융포럼은 조선미디어그룹 디지털 전환 전문매체 IT조선이 ‘AI가 선보일 금융의 미래’를 주제로 개최한 행사다.

정희연 CDO는 “젊은 세대는 전자기기를 쉽게 이해하고 쓸 수 있어도 부모님 세대는 사용을 어려워하듯 이런 격차를 줄이기 위해 사용성 테스트가 필요하다”며 “기존 사용성 테스트 방식은 테스트에 참여할 이용자를 모집하고 누가 모집됐는지 확인하고 그들과 일정을 조율하고 만약 비대면으로 하면 화상으로 테스트할 환경도 조성해야 하는데 그래도 일정이 맞지 않을 수 있다”고 말했다.

실제 사람과 사용성 테스트를 하려면 1명의 이용자를 만나기 위해 일주일에서 한달쯤의 시간이 걸릴 수 있다. 정희연 CDO는 다양한 제품을 만드는 토스 팀이 한 번의 사용성 테스트를 하고 수정사항을 반영하고 다시 사용성 테스트를 진행하기에는 시간적 한계가 있어 여러 명의 이용자로부터 의견을 받기 어렵다고 봤다. 토스 팀이 AI ‘휴리봇’을 만든 이유다. 토스는 휴리봇을 다양한 사용성 테스트에 활용하고 있다.

정희연 CDO는 “사용성 테스트를 사람이 해야 하는데 인공지능의 답변이 실제 이용자 의견과 다를 때 그걸 무비판적으로 수용했을 때 실제 사용성 테스트 결과와 다르면 어떡하냐는 우려의 목소리도 있었다”며 “이런 점은 듣는 사람이 실제 사람 이용자의 의견을 들을 때도 개인적 경험에 따라 왜곡된 의견은 수용하지 않고 생각해 볼 법한 의견만 수용하는 것처럼 선별해서 들으면 된다고 생각했다”고 말했다.

그는 이어 “만약 휴리봇을 사용해 사용성 테스트를 하다가 문제가 생기면 휴리봇을 사용하지 않으면 된다고 봤다”며 “실제 휴리봇을 사용해보니 첫 시도부터 놀라운 결과를 얻었다”고 덧붙였다.

정 CDO는 휴리봇을 사용해 토스 앱 내 신세계 유니버스 클럽 가입 소개 페이지 사용성 테스트를 진행했을 때 ‘화려한 이미지가 뭘 많이 줄 것 같은데 3000원을 더 돌려준다는 게 언제 어떻게 돌려준다는 건지 모르겠다’는 답변을 받았다. 그는 휴리봇의 의견이 실제 사람 이용자가 낼 만한 의견이라고 생각해 해당 이미지를 수정해야겠다는 생각을 했다고 설명했다.

휴리봇은 또 친구에게 이벤트를 공유하면 이벤트 당첨 할인율이 올라가는 페이지에 관해 ‘걷는 이벤트 같아 보인다’고 답변했다. 해당 이벤트는 걷는 이벤트가 아니지만 친구에게 공유한다는 점에 착안해 두 사람이 나란히 걷는 이미지를 사용했다. 정 CDO는 걷기와 전혀 상관 없는 이벤트인데 걷는 이벤트라고 생각할 수 있겠다고 보고 이미지를 교체했다.

정 CDO는 “이런 휴리봇의 사용성 테스트 피드백이 유의미하다고 생각해 토스 디자이너가 사용하는 디자인 툴에 휴리봇이 도입됐다”며 “AI가 생활에 어떤 영향을 미칠지 여러 기대와 우려의 목소리가 있는데 토스 팀은 AI를 이용자를 위한 더 좋은 제품 개발에 도움을 주는 도구라고 생각한다”고 밝혔다.

변인호 기자 jubar@chosunbiz.com