최근 ‘챗GPT(ChatGPT)’의 등장 등으로 초거대모델 기반 인공지능에 대한 관심이 높아지고 있는 가운데, 인공지능 애플리케이션을 위한 환경의 구축과 운영 부분에 대한 어려움도 제기되고 있다. 메가존클라우드는 이러한 인공지능 개발과 활용의 어려움을 극복하기 위해, 전체 워크플로우에 걸쳐 ‘ML옵스’를 제시하는 ‘마틸다’ 플랫폼을 제시했다.
IT조선은 8일 ‘대한민국 인공지능전망 2023 AI 경영자 포럼’ 행사를 열고 2023년 한해 인공지능 분야를 대표하는 기관, 기업, 학계 주요 인사들이 모여 정책, 기술, 비전을 공유하는 자리를 마련했다.
한지운 메가존클라우드 하이브리드&AI 플랫폼 센터장은 이 자리에서 AI를 위한 메가존클라우드의 마틸다(Matilda) ML옵스(MLOps) 플랫폼을 소개했다. 마틸다 플랫폼은 ‘하이브리드 ML옵스 아키텍처’를 표방하며 하이브리드, 멀티 클라우드 환경의 다양한 클러스터에서 AI 작업의 신속한 확장, 제어, 오케스트레이션 수행이 가능한 것이 특징이다. 특히 ML옵스를 통한 AI 워크로드의 자동화로 ‘실전 중심’ AI가 쉽고 빠르게 도입될 수 있게 지원한다.
한지운 센터장은 이 자리에서 현재 인공지능의 활용이 전 산업 분야로 확대되며 전체 시장 규모 또한 빠르게 성장하고 있다고 소개했다. 이러한 성장세 속에 업계 전반이 해결해야 될 과제도 산적해 있다고 지적했다. 대표적인 과제로는 기술 구현에서의 제한된 인적 자원이나 활용 가능한 인프라 확보에서의 예산 제약, 자원 관리나 조직간 데이터 공유 문제, 하이브리드 멀티 클라우드에서의 연결과 상호운용성 문제 등이 있다.
이러한 현실적 어려움을 극복하기 위한 방법으로 워크로드의 자동화 도구인 ‘ML옵스’가 제시되고 있다. 특히, 지금까지 AI 엔지니어들은 주로 개인 환경에서 모델 자체의 연구, 개발에 집중해 왔지만, 이 모델 개발을 위한 ‘코딩’은 인공지능 기술의 구현에서 작은 부분만을 차지하고 있을 뿐이다. 실제 기술 개발에서는 모델 뿐 아니라 데이터의 수집과 정제, 컴퓨팅 환경 구성, 자원 관리, 프로세스, 모니터링 등 다양한 요소의 기술이 필요하다고 지적했다.
이에, 한 센터장은 "머신러닝 기반 애플리케이션의 개발과 운영에 참여하는 많은 이해관계자를 연결하는 새로운 도구가 필요하다"고 지적했다. 이어 "인공지능 개발은 코드 중심이 아니라 데이터 중심의 전체 워크플로우 개발이 필요하다"고 강조했다.
한 센터장은 실제 제조 공정에서의 인공지능 기술 활용 사례에서, 공정 전반의 센서들에서 데이터를 모두 모아 정제해 학습 가능한 데이터로의 모음인 ‘데이터 레이크’로 구성하는 과정에서, 처리해야 하는 트랜잭션 수는 초당 7000억 건에 이르는 경우도 있었다고 소개했다. 이런 규모의 데이터를 처리하고 모델을 구현하는 데는 새로운 기술이 필요하다고 지적했다. 이렇게 만들어진 모델의 배포와 통제도 중요한 부분이라고 덧붙였다.
메가존클라우드는 마틸다 플랫폼이 인공지능 기술의 적용과 운영 과정에서 엔지니어들의 부담을 크게 줄여줄 수 있다고 소개했다. 특히 이 플랫폼을 활용함으로써 대량의 데이터를 처리하고 모델을 생성하는 데 드는 작업 시간을 80% 이상 줄일 수 있고, 만들어진 모델을 배포하고 모니터링, 통제하는 데 드는 부담 또한 애플리케이션 배포 자동화 등으로 부담을 90%까지도 줄일 수 있다고 제시했다.
‘마틸다’ 플랫폼은 인프라와 플랫폼, 서비스의 세 개 계층으로 구성되어 인공지능을 위한 인프라, 플랫폼에서 인공지능 서비스까지 통합한 형태다. 이를 통해 데이터와 개발, 운영 환경을 통합하고 프로세스를 자동화, 효율화해 산업에서 실전 중심의 AI가 쉽고 빠르게 도입될 수 있게 지원한다.
특히 다양한 특징을 가진 이종 하드웨어 구성에서도 하드웨어 특성별 최적의 모델 구성을 제시할 수 있다는 점이 마틸다 플랫폼의 핵심 경쟁력으로 꼽혔다. 또한 기업의 온프레미스 데이터센터 뿐 아니라 퍼블릭 클라우드, 멀티클라우드 환경에 이르기까지 유연한 AI 학습 지원 환경을 제공한다는 점도 강조했다.
하이브리드 학습 지원은 인공지능 기술의 활용에서 현실적 부담으로 작용하는 인프라 확보 문제에 대한 해결책을 제시한다. 온프레미스와 퍼블릭 클라우드를 필요에 따라 유연하게 사용할 수 있는 환경을 통해 전략적인 GPU 자원 활용이 가능하고, 이를 통해 인프라 활용 비용을 최적화할 수 있다는 것이다. 이외에도 만들어진 모델의 ‘자동 앱 배포’에서는 외부와 단절된 내부 네트워크에 대해서도 자동 배포를 구현할 수 있는 방법을 제공한다고 덧붙였다.
한지운 센터장은 마틸다 플랫폼에 대해 "기업이 최적의 머신러닝 모델을 빠르게 적용하기 위해서는 제대로 된 ML옵스 플랫폼이 필요하다"고 강조하며 "마틸다 플랫폼과 메가존클라우드의 다양한 경험은 기업의 머신러닝 기술 도입을 효과적으로 지원할 수 있을 것이다"고 밝혔다.