“AI 고도화, '신뢰할 수 있는 데이터' 없으면 불가능”

최근 국내 인공지능 분야에서 ‘신뢰할 수 있는 데이터’에 대한 중요성이 강조되고 있다. 인공지능 솔루션이 한 단계 진화하기 위해서는 방대한 데이터의 양보다는 품질이 입증된 데이터가 더 필요하다는 것이다.

딥러닝의 대가로 불리는 스탠포드 대학의 앤드류 응(Andrew Ng) 교수는 "AI 시스템의 성능을 높이려면 AI 모델링 코드를 개선할 것이 아니라 데이터를 개선해야 한다"고 지적한 바 있다.

왜 ‘신뢰할 수 있는 데이터’가 중요한가?

인공지능 솔루션은 ‘AI모델 + 데이터’로 구현되며, 성능은 품질 좋은 데이터에 의해 보장된다. 특히 AI 서비스는 배포가 된 이후에도 지속적으로 성능 유지를 해야 하기 때문에 정확성을 높일 수 있는 품질 좋은 데이터가 공급돼야 한다.

한국지능정보사회진흥원(NIA)에서는 정확한 데이터 품질을 가리기 위해 2021년 ‘인공지능 학습용 데이터 품질관리 가이드라인’을 발간했다. 이 가이드라인에서는 데이터의 준비성, 완전성, 적합성, 정확성 등의 기준을 제시하고 있다.

현실의 데이터

많은 기업이나 기관들이 AI 서비스를 자체적으로 구축하고 있다. 하지만 데이터의 품질 기준이나 오류 검수 등의 과정이 제대로 이뤄지지 않고 있다.

인공지능 데이터 및 검증 전문기업 테스트웍스에서 발행한 ‘인공지능 데이터 품질 검증’ 관련 전문글을 보면 "라벨링 후 자체 인력으로 검수를 해 오류 수정을 통한 데이터 셋의 품질을 높이기도 하지만, 실질적인 오류에 대한 분석은 이뤄지지 않고 있는 것으로 보여진다"는 현실적 측면을 설명하고 있다.

특히 데이터 품질 검증의 경우 업체에서 사용한 툴을 통해 일일이 수작업으로 진행해야 하는 현실적 어려움이 존재한다.

테스트웍스, AI 데이터 품질 검증 서비스 본격화

지난 27일 테스트웍스에서 ‘AI 모델 검증 및 AI 데이터 품질 검증 서비스’를 본격화하겠다고 밝힌 이유도 여기에 있다. 즉, 정확하지 않고 체계화 되지 않은 AI 데이터 품질 검증을 위해 신뢰성 있는 기준을 제시하겠다는 것이다.

테스트웍스가 제공하는 서비스는 ‘AI 모델 시험결과서’와 ‘AI 데이터 품질 시험결과서’다.

AI 모델 시험결과서는 AI 모델 성능에 대해 4단계의 체계적인 검증 프로세스 기반으로 모델 개발의 목적성에 따라 모델 성능을 확인하고 제시된 성능 기준에 따라 평가해 최종 결과서로 제공된다.

AI 데이터 품질 시험결과서는 고객의 데이터 셋 구축 단계부터 참여해 데이터 검증 가이드를 함께 작성 및 검토하며 샘플링 데이터 검증과 함께 데이터 적합성, 데이터 정확성, 데이터 유효성을 기반으로 검증한 결과서를 제공한다.

이은영 테스트웍스 이사는 "이전에도 AI 데이터 품질 검증에 대한 고객들의 요구가 있었고, 개별적으로 진행하던 품질 검증 서비스를 이번에 본격화 한 것이다. 해외의 경우 MLOps와 같은 방법을 통해 데이터 품질 검증이 매우 디테일하게 진행되고 있는데, 한국도 이에 관심을 가지고 단계별 AI 성능 확보를 통한 ‘신뢰성 있는 인공지능’을 고도화 시켜야 한다"고 강조했다.

테스트웍스는 이러한 필요성을 파악하고 지난 3월 제3자 데이터 품질 검증 도구인 ‘ADQ’ 베타 버전을 출시한 바 있다. 특히 이 도구는 AI 데이터 품질 검증을 수행해야 하는 기업과 기관들의 현업에서의 어려움을 반영해 개발됐다.

윤석원 테스트웍스 대표는 "다양한 신기술로 급변하는 세상에서 비즈니스 경쟁력은 품질 확보와 빠른 상용화로 결정된다. 하지만 제품 또는 서비스의 상용화에 있어서 가장 어려운 점은 지속적인 품질 관리를 통한 품질 비용을 줄이면서 목적에 맞는 성능과 사용 적합성을 확보하는 것이 중요하다"고 조언했다.

조상록 기자 jsrok@chosunbiz.com