모티프, 자체 개발 LLM ‘Motif 12.7B’ 오픈소스로 공개

인공지능(AI) 스타트업 모티프테크놀로지스(Motif Technologies)가 자체 개발한 대규모 언어모델(LLM)인 ‘Motif 12.7B’를 허깅페이스에 오픈소스로 공개했다고 5일 밝혔다.

127억개의 매개변수(파라미터)를 기반으로 하는 이 모델은 모티프테크놀로지스가 ‘프롬 스크래치(From scratch)’ 방식으로 모델 구축부터 데이터 학습까지 전 과정을 직접 수행한 순수 국산 기술의 집약체다. 지난 7월 T2I(Text to Image) 모델인 ‘Motif-Image-6B’를 공개한 모티프테크놀로지스는 현재 국내 유일하게 LLM과 LMM(대형 멀티모달 모델)을 모두 독자 개발하고 있다.

모티프테크놀로지스는 독자적으로 개발·고안한 ‘그룹 단위 차등 어텐션(Grouped Differential Attention)’과 ‘뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘’이라는 두 가지 LLM 개발 기술을 활용했다. 모티프테크놀로지스가 도입한 ‘그룹 단위 차등 어텐션’ 메커니즘은 헤드 할당을 전략적으로 비대칭화해 기존 '차등 어텐션(DA)' 메커니즘의 구조적 한계를 넘어선 기술이다.

벤치마크 결과 Motif 12.7B는 ‘AIME25’, ‘GPQA-Diamond’, ‘지브라로직(ZebraLogic)’ 등 추론 능력을 평가하는 수학, 과학, 논리 과제에서 720억 매개변수를 가진 알리바바 큐원 2.5(72B)를 능가했다. 구글 젬마3 동급 모델과의 비교에서도 주요 추론 능력 관련 평가 지표에서 더 나은 점수를 얻었다는 설명이다.

모티프테크놀로지스는 LLM 개발 단계에서 가장 비용이 많이 소요되는 강화학습 단계 없이 ‘추론 중심 지도학습(Reasoning-Focused SFT)’ 방식을 통해 모델이 스스로 논리적 사고와 문제 해결을 수행할 수 있도록 설계했다. 사용자의 질문 특성에 따라 ‘Think(심층 추론)’와 ‘No Think(즉시 응답)’ 방식을 모델이 스스로 판단하도록 구현해, 상황에 맞는 최적의 연산을 수행하도록 했다.

임정환 모티프테크놀로지스 대표는 “GDA와 뮤온 옵티마이저 병렬화 알고리즘은 각각 LLM의 ‘두뇌’와 ‘에너지 효율’을 혁신적으로 재설계한 기술”이라며 “이 기술로 완성한 Motif 12.7B는 단순한 성능 향상을 넘어 AI 모델의 구조적 진화를 보여주는 사례가 됨과 동시에 보다 비용 효율적인 고성능 LLM을 원하는 기업들에게 모범 답안이 될 것”이라고 말했다.

한편, 모티프테크놀로지스는 지난 7월에 공개한 T2I(Text to Image)에 이어 연말까지 T2V(Text to Video) 모델과 100B 규모의 LLM을 오픈소스로 공개할 예정이다.

김경아 기자
kimka@chosunbiz.com